炼数成金 大数据Hadoop
订阅

Hadoop

Hadoop:HDFS权限管理用户指南
Hadoop:HDFS权限管理用户指南
Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者(owner)和一个组(group)。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件 ...
Hadoop Shell命令
Hadoop Shell命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs args的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中sc ...
用Hadoop进行分布式并行编程, 第2 部分
用Hadoop进行分布式并行编程, 第2 部分
在本文中,将针对一个具体的计算任务,介绍如何基于 Hadoop 编写并行程序,如何使用 IBM 开发的 Hadoop Eclipse plugin 在 Eclipse 环境中编译并运行程序。 分析 WordCount 程序 我们先来看看 Hadoop 自带的示例程序 ...
Hadoop分布式文件系统:架构和设计要点
Hadoop分布式文件系统:架构和设计要点
Hadoop分布式文件系统:架构和设计要点   一、前提和设计目标   1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核 ...
EMC为企业提供基于Hadoop的大数据分析
EMC为企业提供基于Hadoop的大数据分析
• EMC今天针对Apache Hadoop开源软件作为企业就绪的大数据工具,宣布了一项有关软件发布、集成和支持的全面战略。   • EMC推出了世界上第一个定制的、高性能的、Hadoop数据协同处理设备,面向结构化和 ...
Hadoop命令手册
Hadoop命令手册
所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法:hadoop Hadoop有一个选项解析框架用于解析一般的选项和运行类。 命令选项 描述 --config confdir 覆盖缺省配置 ...
使用 Linux 和 Hadoop 进行分布式计算
使用 Linux 和 Hadoop 进行分布式计算
Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具,但它也可以解决许多要求极大伸缩性的问题。例如,如果您要 grep 一个 10TB 的巨型文件,会出现什么情况?在传统的系统上,这将需要很长的时间。但 ...
大数据时代 Hadoop解决数据处理三瓶颈
大数据时代 Hadoop解决数据处理三瓶颈
越来越多的大企业的数据集以及创建需要的一切技术,包括存储、网络、分析、归档和检索等,这些被认为是海量数据。这些大量信息直接推动了存储、服务器以及安全的发展。同时也是给IT部门带来了一系列必须解决的问题。 ...
Hadoop Streaming
Hadoop Streaming
Hadoop streaming是Hadoop的一个工具, 它帮助用户创建和运行一类特殊的map/reduce作业, 这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当mapper或者reducer。例如: $HADOOP_HOME/bin/hadoop jar $HADOO ...
Hadoop1.0正式发布
Hadoop1.0正式发布
历经六年的"妊娠发育"后,Hadoop 1.0终于正式发布了!

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

热门文章

社区热帖

     

    GMT+8, 2018-10-23 15:04 , Processed in 0.104520 second(s), 16 queries .