炼数成金 › 大数据›Hadoop

Hadoop

英特尔已为Hadoop开启CPU加密机制: 芯片巨头英特尔正在加倍努力以捍卫其宝贵的数据中心领地——具体方式为开发其自有技术以推动数据管理与分析技术——例如Hadoop——的实现。为了确保至强芯片能够在数据中心管理员们的考量之下成为运行大型Hadoop集群 ...

Hadoop 2.0带来的大数据技术需求: Apache软件基金会最近发布了Hadoop 2，这个最新版本的开源平台具有高扩展性和分布式计算等特点。Hadoop 2包含了一些新功能，比如重新设计的资源管理器YARN。Apache宣称YARN是一款能够同时运行多个大数据应用的高扩展 ...

访谈韩冀中：浅谈Hadoop实战: 人物简介：韩冀中博士，中国科学院计算技术研究所副研究员，研究生导师，长期从事并行分布式计算领域的科研工作。国内早期的Hadoop使用者之一，有丰富的相关应用开发经验。研究方向：大规模数据处理、并行程序调试 ...

Hadoop的实时分析之路: 本文重点讨论了Hadoop在实时分析方面的障碍和努力。很多应用案例不得不把数据放到Hadoop上，很多最终用户都希望在Hadoop上添加实时分析。

当Hadoop遇上DNA遗传科学: 对于Ancestry.com（家谱网）的技术总监Scott Sorensen来说，大数据其实并不陌生。长久以来，Sorensen和他的同事都在使用Apache Hadoop以及其他的开源工具来进行数据处理和分析。然而想要将Hadoop架构与DBA数据处理联 ...

使用Hadoop-RDMA加速大数据处理: BDTC 2013中国大数据技术大会首日全体大会上，俄亥俄州立大学计算机系教授Dhabaleswar K. Panda发表了题为《使用Hadoop-RDMA加速大数据处理》的演讲。他从高性能计算网络开始了自己的讲话，期间着重强调MPI部分的作用 ...

利用Mahout实现在Hadoop上运行K-Means算法: K-Means算法是基于分划分的最基本的聚类算法，是学习机器学习、数据挖掘等技术的最基本的知识，所以掌握其运行原理是很重要的。

大数据安全: Hadoop安全模型的演进: 本文译者：吴海星敏感信息的安全和保护是当今人们最关心的问题之一。进入大数据时代，很多组织都在从各种源头收集数据，进行分析，并基于对海量数据集的分析做出决策，因此这一过程中的安全问题变得愈发重要。与此 ...

Hadoop在电信大数据业务系统中的应用: 2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构 ...

Hadoop解析序列文件并可视化输出: Hadoop版本：1.0.4，jdk：1.7.0_25 64bit。在进行mahout算法分析的时候有时会遇到算法最后的输出文件是序列文件的情况下，这样就不能直接通过HDFS文件系统看到最终的结果了（乱码，因为是序列文件）。以前编写过一 ...

Hadoop 新 MapReduce 框架 Yarn 详解: 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 h ...

用集算器实现Hadoop内存计算: Hadoop运算效率不高是个不争的事实，这主要是由于Hadoop是使用MapReduce作为底层计算框架的，而MapReduce基本都是外存计算。外存计算就需要通过频繁读写外存文件来实现计算和数据的交换，由于文件IO的读写效率比内存 ...

hadoop 关闭进程时报错no 进程 to stop: 前两天和朋友李天王吃饭的时候，聊到了一个hadoop的运维的很简单问题，感觉很有意思，以前也没有注意过，现在加以重现和整理。感谢李天王的分享。。。。翻看了yarn-deamon.sh stop部分的脚本： Java代码 (stop)i ...

hadoop学习笔记-HDFS原理: 文章内容摘自书籍，互联网的博客的一些集合和个人的理解。 HDFS原理 hadoop提供了可靠的共享存储和分析的系统，HDFS实现存储，MapReduce实现分析处理，这两部分是hadoop的核心，由于HDFS是为了高数据吞吐量而优化的 ...

Hadoop MapReduce Task Log 无法查看syslog问题: 现象：由于多个map task共用一个JVM，所以只输出了一组log文件 datanode01:/data/hadoop-x.x.x/logs/userlogs$ ls -R.:attempt_201211220735_0001_m_000000_0 attempt_201211220735_0001_m_000002_0 attempt_201211 ...

1 ... 2 3 4 5 678 9 10 11 ... 19 / 19 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

社区热帖

GMT+8, 2019-7-18 02:27 , Processed in 0.147900 second(s), 16 queries .