炼数成金 大数据Hadoop
订阅

Hadoop

一篇文看懂Hadoop:风雨十年,未来何去何从
一篇文看懂Hadoop:风雨十年,未来何去何从
本文分为技术篇、产业篇、应用篇、展望篇四部分技术篇2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”(即Core Hadoop项目)以及与之 ...
Hadoop生态系统在壮大:十大炫酷大数据项目
Hadoop生态系统在壮大:十大炫酷大数据项目
Hadoop其实是开源大数据领域的旗舰技术。它是由雅虎的一个编外项目发展起来的,当时开发人员需要一种方法来存储和处理他们使用新的搜索引擎收集而来的海量数据。Apache Hive最初由Facebook开发,后来捐献给了Apache ...
十年回顾:Hadoop老矣,尚能饭否?
十年回顾:Hadoop老矣,尚能饭否?
Hadoop,十岁生日快乐!于2006年1月28日诞生的它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。InfoQ特别策划了系列文章,为大家梳理Ha ...
解密Apache HAWQ —功能强大的SQL-on-Hadoop引擎
解密Apache HAWQ —功能强大的SQL-on-Hadoop引擎
作者简介:常雷,博士,Pivotal中国研发中心研发总监,HAWQ并行Hadoop SQL引擎创始人,Pivotal HAWQ团队负责人,曾任EMC高级研究员。专注于大数据与云计算领域,在国内外顶级数据管理期刊和会议发表数篇论文,并拥有 ...
大数据技术Hadoop面试题,看看你能答对多少?答案在后面
大数据技术Hadoop面试题,看看你能答对多少?答案在后面
大数据技术Hadoop面试题,看看你能答对多少?下面哪个程序负责 HDFS 数据存储。HDfS 中的 block 默认保存几份?下列哪个程序通常与 NameNode 在一个节点启动?下列哪项通常是集群的最主要瓶颈。关于 SecondaryNameNod ...
弹性MapReduce 4.0.0版本发布,更新应用已可用
弹性MapReduce 4.0.0版本发布,更新应用已可用
Amazon EMR是一个托管的集群平台,它简化了大数据框架(如 Apache Hadoop和 Apache Spark)在AWS上的运行,可以处理和分析大量的数据。通过使用这些框架和相关的开源软件,如 Apache Hive和 Apache Pig,你可以处理 ...
大数据与Hadoop之间是什么关系
大数据与Hadoop之间是什么关系
大数据在近些年来越来越火热,人们在提到大数据遇到了很多相关概念上的问题,比如云计算、 Hadoop等等。那么,大数据是什么、Hadoop是什么,Hadoop和大数据有什么关系呢?大数据概念早在1980年,著名未来学家阿尔文·托 ...
基于Hadoop的大规模网络流量分析
基于Hadoop的大规模网络流量分析
Hadoop搭建的网络流量分析系统比之传统的分析手段有着以下的优点:1.更节省成本。只用少量的廉价机器就可以搭建起一个基于Hadoop的分布式计算平台;2.更具扩展性。使用分布式计算框架,每个节点都参与运算,计算效率 ...
盘点SQL on Hadoop中用到的主要技术
盘点SQL on Hadoop中用到的主要技术
考虑到系统使用的广泛程度与成熟度,在具体举例时一般会拿Hive和Impala为例,当然在调研的过程中也会涉及到一些其他系统,如Spark SQL,Presto,TAJO等。而对于HAWQ这样的商业产品和apache drill这样成熟度还不是很 ...
Hadoop哪家强?Hortonworks、Cloudera、MapR案例集锦
Hadoop哪家强?Hortonworks、Cloudera、MapR案例集锦
本文综合了Hortonworks、Cloudera、MapR三家主要的Hadoop发行版供应商的Hadoop应用案例,真是各有神通,不服来辩。Cloudera:加速数据分析Edo Interactive是一家美国市场营销公司,帮助广告主连接线上广告和线下数据 ...
R+Hadoop大数据方案有哪些坑?
R+Hadoop大数据方案有哪些坑?
为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案?因为他们在不懂R和Hadoop的特征应用场景的情况下,恰好抓到了一根免费,开源的稻草。R:R的应用场景不在于无与伦比的统计学习能力,而在于结构化数据下 ...
飞起来的大象-Hadoop从离线到在线
飞起来的大象-Hadoop从离线到在线
时代在变迁,市场在变化,周边的软硬件环境也突飞猛进般的发展,同时企业的业务需求也不断升级,从规模到成本都有较高的要求,这刺激Hadoop生态圈的变革。据AMR研究显示,到2020年Hadoop将拥有502亿美元市场。如此多 ...
Facebook的实时Hadoop系统
Facebook的实时Hadoop系统
FACEBOOK发表了一篇名为“Apache Hadoop Goes Realtime at Facebook”的会议论文 ,介绍了 Facebook 为了打造一个实时的 HBase 系统使用到的独门秘技。由于该论文提到的应用场景与小弟负责的系统要解决的问题域有相 ...
2015年有关Hadoop的10个预测
2015年有关Hadoop的10个预测
计算及商业评论杂志给出了2015年Hadoop的10个预测。既包括了企业端的Hadoop(增长率,整合),也包括了技术整合,像Spark vs Hadoop和SQL for Hadoop。这是你需要了解的2015年大数据分析工具的指南。1. 市场份额增长至 ...
运营商的新方向-运用Hadoop技术将大数据资产变现
运营商的新方向-运用Hadoop技术将大数据资产变现
运营商之困移动互联网时代的今天,手机不再仅仅是个通讯工具,它是钱包(手机支付),是商店(手机淘宝),是地图(手机导航),是资讯来源(新闻订阅),是社交工具(微信微博)……手机角色的变化丰富了人们的生活,却颠覆了 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

热门文章

社区热帖

     

    GMT+8, 2018-10-23 15:04 , Processed in 0.105914 second(s), 16 queries .