炼数成金 大数据Hadoop
订阅

Hadoop

展望2012:Hadoop大展拳脚 催生连接器
展望2012:Hadoop大展拳脚 催生连接器
Hadoop是一种基于免费许可、支持数据密集型分布式应用的软件框架,建立在MapReduce技术上,使应用可以处理数千个节点和PB级数据,让数据处理和数据分析变得更加方便快捷,应用于企业中将改变很多企业的业务模式,它包 ...
针对Hadoop MapReduce的数据处理API
针对Hadoop MapReduce的数据处理API
Cascading是一个新式的针对Hadoop clusters的数据处理API,它使用富于表现力的API来构建复杂的处理工作流,而不是直接实现Hadoop MapReduce的算法。   该处理API使开发者可以快速装配复杂的分布式流程,而无需“考 ...
关于MapReduce-Hadoop权威指南连载
关于MapReduce-Hadoop权威指南连载
MapReduce是一种可用于数据处理的编程模型。该模型比较简单,但用于编写有用的程序并不简单。Hadoop可以运行由各种语言编写的MapReduce程序。本章中,我们将看到用Java、Ruby、Python 和C++语言编写的同一个程序。最 ...
Hadoop:HDFS权限管理用户指南
Hadoop:HDFS权限管理用户指南
Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者(owner)和一个组(group)。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件 ...
Hadoop Shell命令
Hadoop Shell命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs args的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中sc ...
用Hadoop进行分布式并行编程, 第2 部分
用Hadoop进行分布式并行编程, 第2 部分
在本文中,将针对一个具体的计算任务,介绍如何基于 Hadoop 编写并行程序,如何使用 IBM 开发的 Hadoop Eclipse plugin 在 Eclipse 环境中编译并运行程序。 分析 WordCount 程序 我们先来看看 Hadoop 自带的示例程序 ...
Hadoop分布式文件系统:架构和设计要点
Hadoop分布式文件系统:架构和设计要点
Hadoop分布式文件系统:架构和设计要点   一、前提和设计目标   1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核 ...
EMC为企业提供基于Hadoop的大数据分析
EMC为企业提供基于Hadoop的大数据分析
• EMC今天针对Apache Hadoop开源软件作为企业就绪的大数据工具,宣布了一项有关软件发布、集成和支持的全面战略。   • EMC推出了世界上第一个定制的、高性能的、Hadoop数据协同处理设备,面向结构化和 ...
Hadoop命令手册
Hadoop命令手册
所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法:hadoop Hadoop有一个选项解析框架用于解析一般的选项和运行类。 命令选项 描述 --config confdir 覆盖缺省配置 ...
使用 Linux 和 Hadoop 进行分布式计算
使用 Linux 和 Hadoop 进行分布式计算
Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具,但它也可以解决许多要求极大伸缩性的问题。例如,如果您要 grep 一个 10TB 的巨型文件,会出现什么情况?在传统的系统上,这将需要很长的时间。但 ...
大数据时代 Hadoop解决数据处理三瓶颈
大数据时代 Hadoop解决数据处理三瓶颈
越来越多的大企业的数据集以及创建需要的一切技术,包括存储、网络、分析、归档和检索等,这些被认为是海量数据。这些大量信息直接推动了存储、服务器以及安全的发展。同时也是给IT部门带来了一系列必须解决的问题。 ...
Hadoop Streaming
Hadoop Streaming
Hadoop streaming是Hadoop的一个工具, 它帮助用户创建和运行一类特殊的map/reduce作业, 这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当mapper或者reducer。例如: $HADOOP_HOME/bin/hadoop jar $HADOO ...
Hadoop1.0正式发布
Hadoop1.0正式发布
历经六年的"妊娠发育"后,Hadoop 1.0终于正式发布了!

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-13 09:18 , Processed in 0.252768 second(s), 16 queries .