炼数成金 › 大数据›Hadoop

Hadoop

HBase数据迁移到Kafka？这种逆向操作你懵逼了吗？: 在实际的应用场景中，数据存储在HBase集群中，但是由于一些特殊的原因，需要将数据从HBase迁移到Kafka。正常情况下，一般都是源数据到Kafka，再有消费者处理数据，将数据写入HBase。但是，如果逆向处理，如何将HBase ...

携程Hadoop跨机房架构实践: 携程Hadoop是从2014年引进的，基本上每年较前一年以两倍的速度在增长，我们对Hadoop集群做了大量性能方面的改造和优化。目前，HDFS存储层面拥有数百PB的数据，数千的节点，分为4个namespace做Federation，自研了name ...

面对业务增长，Uber是如何扩展HDFS文件系统的: 3年前，Uber采用了Hadoop作为大数据分析的存储（HDFS）和计算（YARN）基础设施。借助于这套系统，Uber的服务能力得到了增强，用户体验也得到了提升。Uber将基于Hadoop的批量和流式分析应用在了广泛的场景中，例如反 ...

数据显示市场丢失，那么 Hadoop 气数已尽？: 我先从一个悲观的观点说起：Hadoop 正在迅速失去市场，我们可以从 Google 趋势走向看出这个现象：看起来 Hadoop 正处于炒作图的下坡轨道上，正在走向灭亡。我们都知道前段时间 Cloudera 已经收购了 Hortonworks，这 ...

Hadoop 对象存储 Ozone: Apache Hadoop 项目至今已经有十多年的历史了，作为大数据的基石，自从投放之社区之后就引来了不少的眼球，进而也孕育出了众多的Apache项目，例如HBase，Hive , Spark 等等这些优秀的数据存储和处理等项目，从而构造 ...

SQL on Hadoop在快手大数据平台的实践与优化: SQL on Hadoop，顾名思义它是基于Hadoop生态的一个SQL引擎架构，我们其实常常听到Hive、SparkSQL、Presto、Impala架构，接下来，我会简单的描述一下常用的架构情况。HIVE，一个数据仓库系统。它将数据结构映射到存储 ...

2019 年，Hadoop 还是数据处理的可选方案吗？: Apache Hadoop 是提供“可靠的、可扩展的、分布式计算”的开源框架，它基于 Google 2003 年发布的白皮书 “MapReduce：针对大数据的简化数据处理”（点击获取），在 2006 问世。接下来，越来越多的工具（如 Yahoo ...

谁在“谋杀” Hadoop？: 在 Hadoop 的发展史上，有三家公司不得不提，分别是 Cloudera、Hortonworks 和 MapR。Cloudera 是第一家 Hadoop 商业化公司，成立于 2008 年 8 月，创始人来自 Google、FaceBook 和 Yahoo!，其首席架构师 Doug Cutti ...

HBase在人工智能场景的使用: 近几年来，人工智能逐渐火热起来，特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据，处理完的数据一般都需要存储 ...

通过BulkLoad快速将海量数据导入到Hbase: 在第一次建立Hbase表的时候，我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到Hbase中，或者通过MR方式等。但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下，所 ...

一文理解 Apache Hadoop 机架感知: 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之 ...

Hadoop真的要死了吗？: 10 月 3 日，Hortonworks 宣布将与其主要竞争对手 Cloudera 合作创建一家年收入约为 7.3 亿美元、拥有 2,500 名客户、市场估值达 52 亿美元的公司，这令很多人感到意外。Splice Machine 首席执行官 Monte Zweben 表 ...

一文理解 Apache Hadoop 机架感知: 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之 ...

Hadoop和大数据最炫目的60款顶级开源工具: 说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Research的一份报告预测， ...

在 OpenStack 上部署 Hadoop: 现在，数据随处生成，数据量呈指数增长。来自 Web 服务器、应用程序服务器、数据库服务器的数据以用户信息、日志文件和系统状态信息的形式提供。大量的数据也由物联网设备产生，如传感器、车辆、工业设备等。从科学 ...

12 3 4 5 6 7 8 9 10 ... 19 / 19 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

• HBase数据迁移到Kafka？这种逆向操作你懵逼了吗？

社区热帖

GMT+8, 2021-1-18 20:38 , Processed in 0.087287 second(s), 16 queries .