炼数成金 大数据Hadoop
订阅

Hadoop

如何在Hadoop 2.0上实现深度学习?
如何在Hadoop 2.0上实现深度学习?
位于波士顿的数据科学团队正在利用前沿的工具和算法,通过对用户数据的分析来优化业务行为。 数据科学很大程度上依赖机器算法,它能帮助我们发现数据的特征。要想洞察互联网般规模的数据还是很有挑战的,因此能够大 ...
如何保证Hadoop数据湖不变成“数据洪水”
如何保证Hadoop数据湖不变成“数据洪水”
数据湖的提出距今已经有了几年时间了,特别是在当今时代中,基于Hadoop建立的数据湖在大数据处理中占有的位置越来越重要。但是如何保证数据湖不像南方水灾一样泛滥,依然是一个耐人寻味的话题。数据湖已满,如何防泛 ...
Strata+Hadoop World 北京首届会议
Strata+Hadoop World 北京首届会议
Strata +Hadoop World 即将于8月3-6号在北京举行。Strata+Hadoop World 是“不容错过”的数据盛会,是全球最顶尖的数据系列会议——聚焦在大数据、机器学习、普适计算和分析学以及大数据可以带来的商机。Strata+ Ha ...
顶级Hadoop发行版的四个对比因素
顶级Hadoop发行版的四个对比因素
通过检查顶级的Hadoop发行版的关键特征,你可以决定哪些订阅适合你的组织。虽然软件组件构成的Hadoop生态系统堆栈是开源技术,但是采用付费订阅使用其供应商的商业Hadoop平台会为企业带来许多好处。例如,订阅可以提 ...
行业厂商推出管理Hadoop集群新的可视化工具
行业厂商推出管理Hadoop集群新的可视化工具
Hadoop生态系统组成部分的广度是其优势之一,但这也是一个弱点:行业开发商可以找到一个流媒体框架,适合几乎任何大数据用柱状数据存储或其他类型的架构模块,而如何将这些碎片组合在一起,对于应用程序来说是具有挑 ...
Hadoop Raid-实战经验总结
Hadoop Raid-实战经验总结
分布式文件系统用于解决海量数据存储的问题,腾讯大数据采用HDFS(Hadoop分布式文件系统)作为数据存储的基础设施,并在其上构建如Hive、HBase、Spark等计算服务。HDFS块存储采用三副本策略来保证数据可靠性,随着数 ...
一篇文看懂Hadoop:风雨十年,未来何去何从
一篇文看懂Hadoop:风雨十年,未来何去何从
本文分为技术篇、产业篇、应用篇、展望篇四部分技术篇2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”(即Core Hadoop项目)以及与之 ...
Hadoop生态系统在壮大:十大炫酷大数据项目
Hadoop生态系统在壮大:十大炫酷大数据项目
Hadoop其实是开源大数据领域的旗舰技术。它是由雅虎的一个编外项目发展起来的,当时开发人员需要一种方法来存储和处理他们使用新的搜索引擎收集而来的海量数据。Apache Hive最初由Facebook开发,后来捐献给了Apache ...
十年回顾:Hadoop老矣,尚能饭否?
十年回顾:Hadoop老矣,尚能饭否?
Hadoop,十岁生日快乐!于2006年1月28日诞生的它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。InfoQ特别策划了系列文章,为大家梳理Ha ...
解密Apache HAWQ —功能强大的SQL-on-Hadoop引擎
解密Apache HAWQ —功能强大的SQL-on-Hadoop引擎
作者简介:常雷,博士,Pivotal中国研发中心研发总监,HAWQ并行Hadoop SQL引擎创始人,Pivotal HAWQ团队负责人,曾任EMC高级研究员。专注于大数据与云计算领域,在国内外顶级数据管理期刊和会议发表数篇论文,并拥有 ...
大数据技术Hadoop面试题,看看你能答对多少?答案在后面
大数据技术Hadoop面试题,看看你能答对多少?答案在后面
大数据技术Hadoop面试题,看看你能答对多少?下面哪个程序负责 HDFS 数据存储。HDfS 中的 block 默认保存几份?下列哪个程序通常与 NameNode 在一个节点启动?下列哪项通常是集群的最主要瓶颈。关于 SecondaryNameNod ...
弹性MapReduce 4.0.0版本发布,更新应用已可用
弹性MapReduce 4.0.0版本发布,更新应用已可用
Amazon EMR是一个托管的集群平台,它简化了大数据框架(如 Apache Hadoop和 Apache Spark)在AWS上的运行,可以处理和分析大量的数据。通过使用这些框架和相关的开源软件,如 Apache Hive和 Apache Pig,你可以处理 ...
大数据与Hadoop之间是什么关系
大数据与Hadoop之间是什么关系
大数据在近些年来越来越火热,人们在提到大数据遇到了很多相关概念上的问题,比如云计算、 Hadoop等等。那么,大数据是什么、Hadoop是什么,Hadoop和大数据有什么关系呢?大数据概念早在1980年,著名未来学家阿尔文·托 ...
基于Hadoop的大规模网络流量分析
基于Hadoop的大规模网络流量分析
Hadoop搭建的网络流量分析系统比之传统的分析手段有着以下的优点:1.更节省成本。只用少量的廉价机器就可以搭建起一个基于Hadoop的分布式计算平台;2.更具扩展性。使用分布式计算框架,每个节点都参与运算,计算效率 ...
盘点SQL on Hadoop中用到的主要技术
盘点SQL on Hadoop中用到的主要技术
考虑到系统使用的广泛程度与成熟度,在具体举例时一般会拿Hive和Impala为例,当然在调研的过程中也会涉及到一些其他系统,如Spark SQL,Presto,TAJO等。而对于HAWQ这样的商业产品和apache drill这样成熟度还不是很 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-7-18 02:26 , Processed in 0.117154 second(s), 16 queries .