炼数成金 大数据Hadoop
订阅

Hadoop

Hadoop 0.23.x从原理详解到安装体验
Hadoop 0.23.x从原理详解到安装体验
从0.23.0开始,Hadoop开始支持分布式NameNode,通过NameNode federation的形式实现。这样实现了NameNode的横向扩展,使得Hadoop集群的规模可以达到上万台。同时在NameNode HA机制方面,trunk中的代码也开始merge进ha ...
MongoDB Hadoop Connector发布
MongoDB Hadoop Connector发布
MongoDB Hadoop Connector的主要流程是让Hadoop从MongoDB中读取原始数据,在通过Hadoop计算完成后,再将结果导入到MongoDB中。原始数据的读取和结果写入可以对同一个MongoDB,也可以是不同的。其主要目的是让使用Mon ...
不将Hadoop用于数据分析的五大理由
不将Hadoop用于数据分析的五大理由
我一度是Hadoop的忠实拥护者。我喜欢它可以轻而易举地处理PB级别的数据,喜欢它可以将运算扩展到数千个节点的分布式计算能力,也喜欢它存储和加载数据的灵活性。但在经历过一系列的探索与使用之后,我对Hadoop非常失 ...
CIO如何利用Hadoop降低大数据分析成本
CIO如何利用Hadoop降低大数据分析成本
大数据将成为代替云计算的新一代热门话题。这是必然的结果:随着时间的推移,企业产生的数据量已经越来越大了,这些数据包括客户购买偏好趋势、网站访问和习惯、客户审查数据等等;那怎样才能把这么大的数据集整理成综 ...
Hadoop掀起大数据革命 三巨头齐发力
Hadoop掀起大数据革命 三巨头齐发力
开源的数据处理平台凭借其低成本、高扩展性和灵活性的优势已经赢得了多数网络巨头的认可。现在Hadoop将进入更多企业。IBM将在明年推出内置NoSQL技术的DB2旗舰级数据库管理系统。上个月Oracle和Microsoft也分别透露了 ...
大数据开源时代 Hadoop能淘到金吗
大数据开源时代 Hadoop能淘到金吗
IDC的大数据市场预测,大数据将会迎来大时代。分析公司表示截止到2015年大数据产值将达169亿美元。不过我们尚不明确,这个市场有多新,或者除了大数据新兴企业是否真正会刮起一个淘金热。   这是开源的炒作吗?按大 ...
Sqoop成为Apache顶级项目
Sqoop成为Apache顶级项目
Sqoop是一个Hadoop的周边工具,它的主要作用是在结构化数据存储与Hadoop之间进行数据交换,通过Sqoop,你可以批量将你关系型数据库中的数据导入到Hadoop中,也可以将Hadoop中的数据导出到其它结构化存储中。
Hadoop使用常见问题以及解决方法
Hadoop使用常见问题以及解决方法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少 ...
hadoop上运行c++程序步骤
hadoop上运行c++程序步骤
一。写一个程序保存为wordcount-simple.cpp:#include "hadoop/Pipes.hh"#include "hadoop/TemplateFactory.hh"#include "hadoop/StringUtils.hh"const std::string WORDCOUNT = "WORDCOUNT";const ...
Hadoop实现云中分布式“大数据”处理
Hadoop实现云中分布式“大数据”处理
  开源Hadoop在大量服务器上实现了“大数据”应用程序的分布式数据处理。它将给云中的应用程序带来冗余和更高的性能,从而防止出现故障。  Hadoop是Apache软件基金会的一个开源项目,它的出现是基于谷歌、雅虎、 ...
掌握方法 如何利用Hadoop廉价大数据分析
掌握方法 如何利用Hadoop廉价大数据分析
大数据将成为本年度的云计算。这是必然发生的结果:随着时间的推移,企业产生的数据集已经越来越大了,这些数据包括客户购买偏好趋势、网站访问和习惯、客户审查数据等等;那么您怎样才能把这么大量的数据整理成综合 ...
Hadoop——Microsoft大数据战略的核心
Hadoop——Microsoft大数据战略的核心
众所周知,大数据浪潮正在渐渐的席卷全球的各个角落。而Hadoop正是这股风暴的动力之源。Microsoft更是史无前例的与Apache Hadoop社区合作。Microsoft此举就是希望利用自己在软件领域的优势构建一个打上Microsoft烙印 ...
下一代Hadoop战略——数据即平台
下一代Hadoop战略——数据即平台
在上周的Strata大会上,与会者透露出有关下代Hadoop的消息。包括对6000节点的支持、配备高可用性的HDFS以及下一代MapReduce的特性等。而未来Hadoop替代操作系统的大胆想法也让我们充满无限遐想。
hadoop的1TB排序
hadoop的1TB排序
1、1TB(或1分钟)排序的冠军作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,Hadoop赢得1T ...
Hadoop生态图谱
Hadoop生态图谱
当下Hadoop已经成长为一个庞大的体系,貌似只要和海量数据相关的,没有哪个领域缺少Hadoop的身影,下面是一个Hadoop生态系统的图谱,详细的列举了在Hadoop这个生态系统中出现的各种数据工具。 这一切,都起源自Web数 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-11-22 15:28 , Processed in 0.136828 second(s), 16 queries .