炼数成金 大数据Hadoop
订阅

Hadoop

顶级Hadoop发行版的四个对比因素
顶级Hadoop发行版的四个对比因素
通过检查顶级的Hadoop发行版的关键特征,你可以决定哪些订阅适合你的组织。虽然软件组件构成的Hadoop生态系统堆栈是开源技术,但是采用付费订阅使用其供应商的商业Hadoop平台会为企业带来许多好处。例如,订阅可以提 ...
行业厂商推出管理Hadoop集群新的可视化工具
行业厂商推出管理Hadoop集群新的可视化工具
Hadoop生态系统组成部分的广度是其优势之一,但这也是一个弱点:行业开发商可以找到一个流媒体框架,适合几乎任何大数据用柱状数据存储或其他类型的架构模块,而如何将这些碎片组合在一起,对于应用程序来说是具有挑 ...
Hadoop Raid-实战经验总结
Hadoop Raid-实战经验总结
分布式文件系统用于解决海量数据存储的问题,腾讯大数据采用HDFS(Hadoop分布式文件系统)作为数据存储的基础设施,并在其上构建如Hive、HBase、Spark等计算服务。HDFS块存储采用三副本策略来保证数据可靠性,随着数 ...
一篇文看懂Hadoop:风雨十年,未来何去何从
一篇文看懂Hadoop:风雨十年,未来何去何从
本文分为技术篇、产业篇、应用篇、展望篇四部分技术篇2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”(即Core Hadoop项目)以及与之 ...
Hadoop生态系统在壮大:十大炫酷大数据项目
Hadoop生态系统在壮大:十大炫酷大数据项目
Hadoop其实是开源大数据领域的旗舰技术。它是由雅虎的一个编外项目发展起来的,当时开发人员需要一种方法来存储和处理他们使用新的搜索引擎收集而来的海量数据。Apache Hive最初由Facebook开发,后来捐献给了Apache ...
十年回顾:Hadoop老矣,尚能饭否?
十年回顾:Hadoop老矣,尚能饭否?
Hadoop,十岁生日快乐!于2006年1月28日诞生的它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。InfoQ特别策划了系列文章,为大家梳理Ha ...
解密Apache HAWQ —功能强大的SQL-on-Hadoop引擎
解密Apache HAWQ —功能强大的SQL-on-Hadoop引擎
作者简介:常雷,博士,Pivotal中国研发中心研发总监,HAWQ并行Hadoop SQL引擎创始人,Pivotal HAWQ团队负责人,曾任EMC高级研究员。专注于大数据与云计算领域,在国内外顶级数据管理期刊和会议发表数篇论文,并拥有 ...
大数据技术Hadoop面试题,看看你能答对多少?答案在后面
大数据技术Hadoop面试题,看看你能答对多少?答案在后面
大数据技术Hadoop面试题,看看你能答对多少?下面哪个程序负责 HDFS 数据存储。HDfS 中的 block 默认保存几份?下列哪个程序通常与 NameNode 在一个节点启动?下列哪项通常是集群的最主要瓶颈。关于 SecondaryNameNod ...
弹性MapReduce 4.0.0版本发布,更新应用已可用
弹性MapReduce 4.0.0版本发布,更新应用已可用
Amazon EMR是一个托管的集群平台,它简化了大数据框架(如 Apache Hadoop和 Apache Spark)在AWS上的运行,可以处理和分析大量的数据。通过使用这些框架和相关的开源软件,如 Apache Hive和 Apache Pig,你可以处理 ...
大数据与Hadoop之间是什么关系
大数据与Hadoop之间是什么关系
大数据在近些年来越来越火热,人们在提到大数据遇到了很多相关概念上的问题,比如云计算、 Hadoop等等。那么,大数据是什么、Hadoop是什么,Hadoop和大数据有什么关系呢?大数据概念早在1980年,著名未来学家阿尔文·托 ...
基于Hadoop的大规模网络流量分析
基于Hadoop的大规模网络流量分析
Hadoop搭建的网络流量分析系统比之传统的分析手段有着以下的优点:1.更节省成本。只用少量的廉价机器就可以搭建起一个基于Hadoop的分布式计算平台;2.更具扩展性。使用分布式计算框架,每个节点都参与运算,计算效率 ...
盘点SQL on Hadoop中用到的主要技术
盘点SQL on Hadoop中用到的主要技术
考虑到系统使用的广泛程度与成熟度,在具体举例时一般会拿Hive和Impala为例,当然在调研的过程中也会涉及到一些其他系统,如Spark SQL,Presto,TAJO等。而对于HAWQ这样的商业产品和apache drill这样成熟度还不是很 ...
Hadoop哪家强?Hortonworks、Cloudera、MapR案例集锦
Hadoop哪家强?Hortonworks、Cloudera、MapR案例集锦
本文综合了Hortonworks、Cloudera、MapR三家主要的Hadoop发行版供应商的Hadoop应用案例,真是各有神通,不服来辩。Cloudera:加速数据分析Edo Interactive是一家美国市场营销公司,帮助广告主连接线上广告和线下数据 ...
R+Hadoop大数据方案有哪些坑?
R+Hadoop大数据方案有哪些坑?
为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案?因为他们在不懂R和Hadoop的特征应用场景的情况下,恰好抓到了一根免费,开源的稻草。R:R的应用场景不在于无与伦比的统计学习能力,而在于结构化数据下 ...
飞起来的大象-Hadoop从离线到在线
飞起来的大象-Hadoop从离线到在线
时代在变迁,市场在变化,周边的软硬件环境也突飞猛进般的发展,同时企业的业务需求也不断升级,从规模到成本都有较高的要求,这刺激Hadoop生态圈的变革。据AMR研究显示,到2020年Hadoop将拥有502亿美元市场。如此多 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-13 09:18 , Processed in 0.108472 second(s), 16 queries .