炼数成金 大数据Hadoop
订阅

Hadoop

Apache Hadoop 3.0.0 GA版正式发布,可以部署到线上
Apache Hadoop 3.0.0 GA版正式发布,可以部署到线上
今天凌晨 Apache Hadoop 3.0.0 GA 版本正式发布,这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本,有很多重大的改进,比如支持 EC、支持多于2个的NameNodes、 ...
最常见的7 种 Hadoop 和 Spark 项目案例
最常见的7 种 Hadoop 和 Spark 项目案例
如果您的 Hadoop 项目将有新的突破,那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情 ...
如何根据数据冷热程度分层存储,让HDFS更高效?
如何根据数据冷热程度分层存储,让HDFS更高效?
随着大数据技术相关技术的发展和普及,越来越多的公司开始使用基于开源Hadoop的平台系统,同时,越来越多的业务和应用也在从传统的技术架构迁移到大数据平台上。在典型的Hadoop大数据平台中,人们使用HDFS作为存储服 ...
云计算与Hadoop11年来相爱相杀!
云计算与Hadoop11年来相爱相杀!
同时诞生于2006年,十年间云计算革了架构的命,那Hadoop呢?Doug Cutting,在外界看来至少有两个称谓:作为技术大牛他是Hadoop之父,作为商业领袖他是Cloudera首席架构师。近日,Doug Cutting来到北京,也因此接受了 ...
Hadoop之父Doug Cutting:AI将为Hadoop社群的未来带来挑战
Hadoop之父Doug Cutting:AI将为Hadoop社群的未来带来挑战
随着数据量愈加庞大,想要有更高效率的处理方式,就需要有新的工具出现,Hadoop 就是其中的代表。Hadoop技术不仅开启了大数据时代,更成为孕育大数据技术的摇篮,至今发展也超过十个年头。起初,Doug Cutting 希望以 ...
5分钟让你了解 ZooKeeper 的原理
5分钟让你了解 ZooKeeper 的原理
ZooKeeper 是一个开源的分布式协调服务,由雅虎创建,是 Google Chubby 的开源实现。分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布 ...
大数据公司Cloudera上市首日涨20% 市值23亿美元
大数据公司Cloudera上市首日涨20% 市值23亿美元
4月29日消息 据外媒(TechCrunch)报道,在以每股15美元的定价上市后,企业大数据公司Cloudera股价一日上涨超20%至18.09美元。这一价格也超出了此前公司12到14美元的预期范围。大涨幅令新投资者欣喜,但可能令一些公 ...
Cloudera将于4月底登陆纽交所,基于Hadoop的商业公司前景何在
Cloudera将于4月底登陆纽交所,基于Hadoop的商业公司前景何在
当地时间2017年3月31日,Cloudera,这家建立在开源项目Hadoop之上的商业公司终于公布了其备受期待的IPO备案,在公布的文件中,曾经大力支持它的英特尔也成为了其最大的股东。这将是继Snapchat之外,今年又一个备受瞩 ...
阿里 HBase 超详实践总结:一文读懂大数据时代的结构化存储
阿里 HBase 超详实践总结:一文读懂大数据时代的结构化存储
HBase 是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的 BigTable 建模,是一个高可靠性、高性能、高伸缩的分布式存储系统,使用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。HBase 最初是以 ...
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用
ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和 ...
到2021年,Hadoop大数据分析市场产值将达406.9亿美元
到2021年,Hadoop大数据分析市场产值将达406.9亿美元
据市场研究咨询公司MarketsandMarkets新发布的一份市场研究报告声称,Hadoop大数据市场产值预计会从2016年的67.1亿美元猛增至2021年的406.9亿美元,2016年至2021年的年复合增长率(CAGR)将高达43.4%。这份报告名为 ...
Hadoop namenode高可用性分析:QJM核心源代码解读
Hadoop namenode高可用性分析:QJM核心源代码解读
HDFS namenode 在接受写操作时会记录日志,最早 HDFS 日志写本地,每次重启或出现故障后重启,通过本地镜像文件+操作日志,就能还原到宕机之前的状态,不会出现数据不一致。如果要做高可用 (HA),日志写在单个机器 ...
优步在Hadoop上做增量处理的案例
优步在Hadoop上做增量处理的案例
优步的任务是提供“对每个人来说,在任何地方都可以获得像自来水一样可靠的出行服务”。为了履行这一承诺,优步依赖于在每个层面做出数据驱动的决策。大部分的决策都得益于更快的数据处理。例如,使用数据来理解一个 ...
Hadoop十年 推动数据驱动型分析快速发展
Hadoop十年 推动数据驱动型分析快速发展
Hadoop迎来了10周年的生日。关于Hadoop,有很多大事件依然历历在目:Hadoop成为Apache的子项目并获得命名,第一版Hadoop代码发布,第一批用户部署了该代码。为了纪念这些事件,大数据供应商的高管们为该分布式处理框 ...
想要从大数据中获益?请先做好Hadoop管理
想要从大数据中获益?请先做好Hadoop管理
Hadoop管理正在成为大数据用户和供应商首先考虑的分部署处理框架,它在企业的业务运营中中扮演着越来越重要角色。Comcast公司的IT团队在对Hadoop数据湖泊进行性能管理时,考虑的十分周全。数据湖泊是一个大量信息的 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

热门文章

    社区热帖

       

      GMT+8, 2018-2-18 12:30 , Processed in 0.088822 second(s), 16 queries .