炼数成金 大数据Hadoop
订阅

Hadoop

一文理解 Apache Hadoop 机架感知
一文理解 Apache Hadoop 机架感知
分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之 ...
Hadoop和大数据最炫目的60款顶级开源工具
Hadoop和大数据最炫目的60款顶级开源工具
说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market Research的一份报告预测, ...
在 OpenStack 上部署 Hadoop
在 OpenStack 上部署 Hadoop
现在,数据随处生成,数据量呈指数增长。来自 Web 服务器、应用程序服务器、数据库服务器的数据以用户信息、日志文件和系统状态信息的形式提供。大量的数据也由物联网设备产生,如传感器、车辆、工业设备等。从科学 ...
Apache Hadoop 3.1.0 正式发布,原生支持GPU和FPGA
Apache Hadoop 3.1.0 正式发布,原生支持GPU和FPGA
4月6日,Apache Hadoop 3.1.0 正式发布了,Apache Hadoop 3.1.0 是2018年 Hadoop-3.x 系列的第一个小版本,并且带来了许多增强功能。不过需要注意的是,这个版本并不推荐在生产环境下使用,如果需要在正式环境下使用 ...
HDFS 副本存放磁盘选择策略详解
HDFS 副本存放磁盘选择策略详解
在 HDFS 中,DataNode 将数据块存储到本地文件系统目录中,具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中,一般都会配置多个目录,并且把这些目录分别配置到不同的 ...
打赢数据安全攻坚战,从Hadoop-security治理说起!
打赢数据安全攻坚战,从Hadoop-security治理说起!
对企业而言,做好Hadoop这个企业级最大的数据仓库的数据安全是重中之重,面临许多挑战,但遗憾的是目前大部分公司做的还不够完善,有的甚至形同虚设。我最近正在实践Hadoop Security领域,希望能整理出一个体系,并 ...
原创翻译 | Hadoop和企业信息管理:利用大数据的解决方案
原创翻译 | Hadoop和企业信息管理:利用大数据的解决方案
过去几年,大数据在全球商业环境中的重要性已得到坚定的确认。2017年看起来是ApacheHadoopimplementation(在开源开发和更多的商业选择方面)在企业层面上,由于企业信息管理(EIM)仍然需要更多改进的大数据解决方案。 ...
Apache Hadoop 3.0.0 GA版正式发布,可以部署到线上
Apache Hadoop 3.0.0 GA版正式发布,可以部署到线上
今天凌晨 Apache Hadoop 3.0.0 GA 版本正式发布,这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本,有很多重大的改进,比如支持 EC、支持多于2个的NameNodes、 ...
最常见的7 种 Hadoop 和 Spark 项目案例
最常见的7 种 Hadoop 和 Spark 项目案例
如果您的 Hadoop 项目将有新的突破,那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情 ...
如何根据数据冷热程度分层存储,让HDFS更高效?
如何根据数据冷热程度分层存储,让HDFS更高效?
随着大数据技术相关技术的发展和普及,越来越多的公司开始使用基于开源Hadoop的平台系统,同时,越来越多的业务和应用也在从传统的技术架构迁移到大数据平台上。在典型的Hadoop大数据平台中,人们使用HDFS作为存储服 ...
云计算与Hadoop11年来相爱相杀!
云计算与Hadoop11年来相爱相杀!
同时诞生于2006年,十年间云计算革了架构的命,那Hadoop呢?Doug Cutting,在外界看来至少有两个称谓:作为技术大牛他是Hadoop之父,作为商业领袖他是Cloudera首席架构师。近日,Doug Cutting来到北京,也因此接受了 ...
Hadoop之父Doug Cutting:AI将为Hadoop社群的未来带来挑战
Hadoop之父Doug Cutting:AI将为Hadoop社群的未来带来挑战
随着数据量愈加庞大,想要有更高效率的处理方式,就需要有新的工具出现,Hadoop 就是其中的代表。Hadoop技术不仅开启了大数据时代,更成为孕育大数据技术的摇篮,至今发展也超过十个年头。起初,Doug Cutting 希望以 ...
5分钟让你了解 ZooKeeper 的原理
5分钟让你了解 ZooKeeper 的原理
ZooKeeper 是一个开源的分布式协调服务,由雅虎创建,是 Google Chubby 的开源实现。分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布 ...
大数据公司Cloudera上市首日涨20% 市值23亿美元
大数据公司Cloudera上市首日涨20% 市值23亿美元
4月29日消息 据外媒(TechCrunch)报道,在以每股15美元的定价上市后,企业大数据公司Cloudera股价一日上涨超20%至18.09美元。这一价格也超出了此前公司12到14美元的预期范围。大涨幅令新投资者欣喜,但可能令一些公 ...
Cloudera将于4月底登陆纽交所,基于Hadoop的商业公司前景何在
Cloudera将于4月底登陆纽交所,基于Hadoop的商业公司前景何在
当地时间2017年3月31日,Cloudera,这家建立在开源项目Hadoop之上的商业公司终于公布了其备受期待的IPO备案,在公布的文件中,曾经大力支持它的英特尔也成为了其最大的股东。这将是继Snapchat之外,今年又一个备受瞩 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-8-14 19:04 , Processed in 0.061609 second(s), 16 queries .