引言大数据时代的基石在大数据技术栈中Hadoop 和 HBase 是两个至关重要的基石。Hadoop 作为分布式存储与计算的鼻祖解决了海量数据的存储HDFS和批处理MapReduce问题。而 HBase 则构建在 Hadoop 之上提供了一个高可靠性、高性能、面向列的分布式数据库解决了海量数据的实时随机读写需求。理解它们的关系、原理与应用是掌握大数据核心技术的关键一步。本文将深入剖析 Hadoop 与 HBase 的核心架构、工作原理、部署实践以及典型应用场景帮助你构建清晰的知识体系。第一部分Hadoop 核心架构剖析1.1 Hadoop 生态系统概述Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构其核心设计目标是可靠、可扩展、分布式计算。它主要包含两大核心组件HDFS (Hadoop Distributed File System) 分布式文件系统用于存储超大规模数据集。YARN (Yet Another Resource Negotiator) 集群资源管理与作业调度框架。MapReduce 一种编程模型用于大规模数据集的并行运算。此外围绕其核心衍生出丰富的生态系统如 HBase本文重点、Hive、Spark、Flink 等。1.2 HDFS 架构与工作原理HDFS 采用主从Master/Slave架构NameNode (主节点) 管理文件系统的命名空间元数据如文件目录树、文件到数据块的映射、数据块所在 DataNode 的位置信息。它是整个系统的“大脑”。DataNode (从节点) 存储实际的数据块并负责处理客户端的读写请求定期向 NameNode 发送心跳和块报告。写文件流程客户端向 NameNode 发起写请求。NameNode 检查权限并返回可用的 DataNode 列表通常包含一个主 DataNode 和多个副本 DataNode。客户端将数据块写入管道中的第一个 DataNode该节点接收后转发给下一个依次类推完成副本写入。写入成功后DataNode 向 NameNode 确认。读文件流程客户端向 NameNode 请求文件块位置。NameNode 返回存储该块的所有 DataNode 地址。客户端直接从最近的 DataNode 读取数据。特点高容错性数据自动保存多个副本。适合批处理流式数据访问一次写入多次读取。不适合低延迟访问与大量小文件。1.3 YARN 与 MapReduceYARN将资源管理和作业调度/监控功能分离包含两个核心组件ResourceManager (RM) 全局资源管理器负责整个系统的资源分配。NodeManager (NM) 每个节点上的代理负责管理单个节点上的资源CPU, 内存和容器Container。MapReduce 作业在 YARN 上的执行流程Client提交作业到 RM。RM为作业分配一个ApplicationMaster (AM)。AM向 RM 申请运行任务Map/Reduce Task所需的资源Container。RM将 Container 分配给 AM。AM与对应的 NM 通信启动 Container 来执行具体的 Task。Task 通过 RPC 向 AM 汇报状态和进度。第二部分HBase 深度解析2.1 HBase 是什么为什么需要它HBase 是一个构建在 HDFS 之上的、分布式的、面向列的 NoSQL 数据库。它源自 Google 的 BigTable 论文旨在为海量数据提供低延迟的随机读写访问。HBase 与 HDFS/关系型数据库的对比特性HDFS传统关系型数据库 (如 MySQL)HBase数据模型扁平文件表行列固定稀疏的、多维排序的映射表访问模式批量顺序读写随机读写复杂查询随机读写单行或范围查询延迟高低低 (毫秒级)伸缩性线性扩展有限线性扩展一致性最终一致性强一致性强一致性 (行级)典型应用场景实时消息/日志存储、用户画像、时序数据、作为 Hive 的底层存储引擎等。2.2 HBase 数据模型与核心概念表 (Table) 数据存储在表中。行键 (Row Key) 表中每行数据的唯一标识按字典序排序。设计良好的 Row Key 是 HBase 性能优化的关键。列族 (Column Family) 列的集合是物理存储单元。表中的每个列都必须属于某个列族列族需要在表创建时预先定义。列限定符 (Column Qualifier) 列族下的具体列可以动态添加。时间戳 (Timestamp) 每个单元格Cell数据可以有多个版本通过时间戳区分。单元格 (Cell) 由{Row Key, Column Family:Column Qualifier, Timestamp}唯一确定的存储单元其中存储着值Value。数据视图示例Row Key | Column Family: cf1 | Column Family: cf2 | Qualifier: name | Qualifier: age | Qualifier: city --------------------------------------------------------------------- user001 | timestamp1: Alice | timestamp1: 25 | timestamp1: Beijing user002 | timestamp1: Bob | timestamp1: 30 | timestamp1: Shanghai2.3 HBase 架构与核心组件HBase 也采用主从架构HMaster 主节点负责管理元数据表结构、RegionServer 的负载均衡、Region 的分配与故障转移。通常配置多个以实现高可用。RegionServer 从节点负责处理客户端的读写请求管理一系列 Region。Region 表被水平切分后的数据分片是 HBase 中分布式存储和负载均衡的基本单位。一个 Region 只由一个 RegionServer 管理。ZooKeeper HBase 依赖的协同服务用于维护集群状态如活跃的 HMaster 地址、RegionServer 注册信息、实现分布式锁和选举。写流程 (Put)客户端联系 ZooKeeper 获取hbase:meta表所在的 RegionServer。从hbase:meta中查询目标 Row Key 对应的 Region 及其所在的 RegionServer。客户端直接与目标 RegionServer 通信。数据先写入Write-Ahead-Log (WAL)以保证持久性。数据再写入MemStore内存缓冲区。当 MemStore 大小达到阈值会异步刷新Flush到 HDFS 生成一个StoreFile (HFile)。读流程 (Get/Scan)同样先定位到目标 RegionServer。RegionServer 首先在BlockCache读缓存中查找。若未命中则合并查询MemStore和磁盘上的多个StoreFile (HFile)。使用布隆过滤器 (Bloom Filter)快速判断某个 StoreFile 中是否包含目标 Row Key避免无效的磁盘 IO。2.4 Region 分裂与合并分裂 (Split) 当一个 Region 的大小增长到阈值默认 10GB它会自动分裂成两个新的 Region以维持负载均衡和并行处理能力。合并 (Compaction)Minor Compaction 将多个小的 StoreFile 合并成一个更大的 StoreFile减少文件数量。Major Compaction 将一个 Store 下的所有 StoreFile 合并成一个并清理已删除或过期的数据彻底回收空间。Major Compaction 会产生大量 IO通常需要在业务低峰期调度。第三部分Hadoop 与 HBase 的协同与实战3.1 HBase 如何依赖 Hadoop存储依赖 HBase 将数据HFile和 WAL 持久化存储在 HDFS 上利用了 HDFS 的高可靠性和高吞吐量。计算依赖 HBase 可以通过 MapReduce、Spark 等框架进行批量数据导入BulkLoad或离线分析。例如使用TableMapReduceUtil来运行 MapReduce 作业直接读写 HBase 表。3.2 环境部署与关键配置一个典型的 Hadoop HBase 集群部署架构如下[Client] - [ZooKeeper Ensemble] -协调- [Active HMaster] | v [RegionServer-1] ---读写--- [HDFS DataNode-1] [RegionServer-2] ---读写--- [HDFS DataNode-2] [RegionServer-N] ---读写--- [HDFS DataNode-N] ^ | [HDFS NameNode]关键配置示例 (hbase-site.xml)configuration!-- 指定 HBase 数据在 HDFS 上的根目录 --propertynamehbase.rootdir/namevaluehdfs://namenode:8020/hbase/value/property!-- 指定 ZooKeeper 集群地址 --propertynamehbase.zookeeper.quorum/namevaluezk1:2181,zk2:2181,zk3:2181/value/property!-- 启用分布式模式 --propertynamehbase.cluster.distributed/namevaluetrue/value/property/configuration3.3 基础操作与 Java API 示例1. 使用 HBase Shell 创建表并插入数据# 进入 HBase Shellhbase shell# 创建表 user包含一个列族 infocreateuser,info# 向表 user 中插入数据putuser,row1,info:name,Aliceputuser,row1,info:age,25putuser,row2,info:name,Bob# 扫描全表scanuser# 获取特定行getuser,row12. 使用 Java API 进行读写importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.*;importorg.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase.util.Bytes;importjava.io.IOException;publicclassHBaseDemo{privatestaticConnectionconnection;privatestaticAdminadmin;publicstaticvoidinit()throwsIOException{ConfigurationconfigHBaseConfiguration.create();config.set(hbase.zookeeper.quorum,zk1,zk2,zk3);connectionConnectionFactory.createConnection(config);adminconnection.getAdmin();}publicstaticvoidcreateTable(StringtableName,String...columnFamilies)throwsIOException{TableNametnTableName.valueOf(tableName);if(admin.tableExists(tn)){System.out.println(Table tableName already exists.);return;}HTableDescriptortableDescnewHTableDescriptor(tn);for(Stringcf:columnFamilies){tableDesc.addFamily(newHColumnDescriptor(cf));}admin.createTable(tableDesc);System.out.println(Table tableName created.);}publicstaticvoidputData(StringtableName,StringrowKey,StringcolumnFamily,Stringqualifier,Stringvalue)throwsIOException{Tabletableconnection.getTable(TableName.valueOf(tableName));PutputnewPut(Bytes.toBytes(rowKey));put.addColumn(Bytes.toBytes(columnFamily),Bytes.toBytes(qualifier),Bytes.toBytes(value));table.put(put);table.close();System.out.println(Data inserted.);}publicstaticvoidgetData(StringtableName,StringrowKey)throwsIOException{Tabletableconnection.getTable(TableName.valueOf(tableName));GetgetnewGet(Bytes.toBytes(rowKey));Resultresulttable.get(get);for(Cellcell:result.listCells()){StringcfBytes.toString(CellUtil.cloneFamily(cell));StringqualifierBytes.toString(CellUtil.cloneQualifier(cell));StringvalueBytes.toString(CellUtil.cloneValue(cell));System.out.println(CF:cf, Qualifier:qualifier, Value:value);}table.close();}publicstaticvoidmain(String[]args)throwsIOException{init();createTable(test_java,cf1);putData(test_java,rk1,cf1,name,JavaUser);getData(test_java,rk1);connection.close();}}第四部分性能优化与最佳实践4.1 Row Key 设计原则Row Key 的设计直接影响数据分布和查询性能。散列原则 避免使用单调递增的 Row Key如时间戳、自增ID这会导致热点问题所有写请求都集中在最后一个 Region。可以采用加盐Salting、哈希Hashing或反转Reversing来打散。坏设计20250530120000_event好设计{reverse(userId)}_20250530或{hash(userId)%100}_userId长度原则 不宜过长建议在 10-100 字节之间因为每个 Cell 都会存储一份 Row Key。查询模式匹配 Row Key 应支持你最常用的查询模式。例如如果经常按用户ID和时间范围查询Row Key 可设计为userId_timestamp。4.2 列族与版本配置优化列族数量 不宜过多通常 1-3 个。每个列族在存储上是独立的过多的列族会加剧Flush和Compaction的压力。数据版本 根据业务需求合理设置每个列族的最大版本数 (VERSIONS)。保留过多版本会占用存储空间。压缩与编码 为列族启用合适的压缩如SNAPPY,GZ和编码如DIFF,FAST_DIFF可以显着减少磁盘空间和网络传输量。# 创建表时指定压缩和版本createuser_log,{NAMEcf, VERSIONS3, COMPRESSIONSNAPPY}4.3 读写性能调优写优化适当调大hbase.client.write.buffer进行批量写入。在非强一致性场景下可考虑关闭 WAL (setDurability(Durability.SKIP_WAL))但会丢失数据。读优化合理利用BlockCache默认开启和布隆过滤器BLOOMFILTER ROW。使用Scan时合理设置setCaching每次RPC获取的行数和setBatch每行返回的列数。使用协处理器 (Coprocessor)将计算推送到数据所在服务器减少数据传输。总结Hadoop 与 HBase 共同构成了处理海量数据的“黄金组合”。Hadoop HDFS 提供了坚实、可靠的海量存储底座而 HBase 在此基础上实现了低延迟的随机访问能力弥补了 HDFS 在实时性上的不足。理解 HDFS 的存储原理、YARN 的资源调度以及 HBase 的 LSM 树存储引擎、Region 机制和读写流程是进行高效大数据应用开发与调优的基础。随着云原生和实时计算的发展虽然出现了许多新技术如云对象存储、各类实时数仓但 Hadoop 与 HBase 所体现的分布式、可扩展、高可靠的设计思想依然是当今大数据架构中不可或缺的核心。
Hadoop 与 HBase 深度剖析：从架构原理到实战应用
发布时间：2026/6/3 19:23:17
引言大数据时代的基石在大数据技术栈中Hadoop 和 HBase 是两个至关重要的基石。Hadoop 作为分布式存储与计算的鼻祖解决了海量数据的存储HDFS和批处理MapReduce问题。而 HBase 则构建在 Hadoop 之上提供了一个高可靠性、高性能、面向列的分布式数据库解决了海量数据的实时随机读写需求。理解它们的关系、原理与应用是掌握大数据核心技术的关键一步。本文将深入剖析 Hadoop 与 HBase 的核心架构、工作原理、部署实践以及典型应用场景帮助你构建清晰的知识体系。第一部分Hadoop 核心架构剖析1.1 Hadoop 生态系统概述Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构其核心设计目标是可靠、可扩展、分布式计算。它主要包含两大核心组件HDFS (Hadoop Distributed File System) 分布式文件系统用于存储超大规模数据集。YARN (Yet Another Resource Negotiator) 集群资源管理与作业调度框架。MapReduce 一种编程模型用于大规模数据集的并行运算。此外围绕其核心衍生出丰富的生态系统如 HBase本文重点、Hive、Spark、Flink 等。1.2 HDFS 架构与工作原理HDFS 采用主从Master/Slave架构NameNode (主节点) 管理文件系统的命名空间元数据如文件目录树、文件到数据块的映射、数据块所在 DataNode 的位置信息。它是整个系统的“大脑”。DataNode (从节点) 存储实际的数据块并负责处理客户端的读写请求定期向 NameNode 发送心跳和块报告。写文件流程客户端向 NameNode 发起写请求。NameNode 检查权限并返回可用的 DataNode 列表通常包含一个主 DataNode 和多个副本 DataNode。客户端将数据块写入管道中的第一个 DataNode该节点接收后转发给下一个依次类推完成副本写入。写入成功后DataNode 向 NameNode 确认。读文件流程客户端向 NameNode 请求文件块位置。NameNode 返回存储该块的所有 DataNode 地址。客户端直接从最近的 DataNode 读取数据。特点高容错性数据自动保存多个副本。适合批处理流式数据访问一次写入多次读取。不适合低延迟访问与大量小文件。1.3 YARN 与 MapReduceYARN将资源管理和作业调度/监控功能分离包含两个核心组件ResourceManager (RM) 全局资源管理器负责整个系统的资源分配。NodeManager (NM) 每个节点上的代理负责管理单个节点上的资源CPU, 内存和容器Container。MapReduce 作业在 YARN 上的执行流程Client提交作业到 RM。RM为作业分配一个ApplicationMaster (AM)。AM向 RM 申请运行任务Map/Reduce Task所需的资源Container。RM将 Container 分配给 AM。AM与对应的 NM 通信启动 Container 来执行具体的 Task。Task 通过 RPC 向 AM 汇报状态和进度。第二部分HBase 深度解析2.1 HBase 是什么为什么需要它HBase 是一个构建在 HDFS 之上的、分布式的、面向列的 NoSQL 数据库。它源自 Google 的 BigTable 论文旨在为海量数据提供低延迟的随机读写访问。HBase 与 HDFS/关系型数据库的对比特性HDFS传统关系型数据库 (如 MySQL)HBase数据模型扁平文件表行列固定稀疏的、多维排序的映射表访问模式批量顺序读写随机读写复杂查询随机读写单行或范围查询延迟高低低 (毫秒级)伸缩性线性扩展有限线性扩展一致性最终一致性强一致性强一致性 (行级)典型应用场景实时消息/日志存储、用户画像、时序数据、作为 Hive 的底层存储引擎等。2.2 HBase 数据模型与核心概念表 (Table) 数据存储在表中。行键 (Row Key) 表中每行数据的唯一标识按字典序排序。设计良好的 Row Key 是 HBase 性能优化的关键。列族 (Column Family) 列的集合是物理存储单元。表中的每个列都必须属于某个列族列族需要在表创建时预先定义。列限定符 (Column Qualifier) 列族下的具体列可以动态添加。时间戳 (Timestamp) 每个单元格Cell数据可以有多个版本通过时间戳区分。单元格 (Cell) 由{Row Key, Column Family:Column Qualifier, Timestamp}唯一确定的存储单元其中存储着值Value。数据视图示例Row Key | Column Family: cf1 | Column Family: cf2 | Qualifier: name | Qualifier: age | Qualifier: city --------------------------------------------------------------------- user001 | timestamp1: Alice | timestamp1: 25 | timestamp1: Beijing user002 | timestamp1: Bob | timestamp1: 30 | timestamp1: Shanghai2.3 HBase 架构与核心组件HBase 也采用主从架构HMaster 主节点负责管理元数据表结构、RegionServer 的负载均衡、Region 的分配与故障转移。通常配置多个以实现高可用。RegionServer 从节点负责处理客户端的读写请求管理一系列 Region。Region 表被水平切分后的数据分片是 HBase 中分布式存储和负载均衡的基本单位。一个 Region 只由一个 RegionServer 管理。ZooKeeper HBase 依赖的协同服务用于维护集群状态如活跃的 HMaster 地址、RegionServer 注册信息、实现分布式锁和选举。写流程 (Put)客户端联系 ZooKeeper 获取hbase:meta表所在的 RegionServer。从hbase:meta中查询目标 Row Key 对应的 Region 及其所在的 RegionServer。客户端直接与目标 RegionServer 通信。数据先写入Write-Ahead-Log (WAL)以保证持久性。数据再写入MemStore内存缓冲区。当 MemStore 大小达到阈值会异步刷新Flush到 HDFS 生成一个StoreFile (HFile)。读流程 (Get/Scan)同样先定位到目标 RegionServer。RegionServer 首先在BlockCache读缓存中查找。若未命中则合并查询MemStore和磁盘上的多个StoreFile (HFile)。使用布隆过滤器 (Bloom Filter)快速判断某个 StoreFile 中是否包含目标 Row Key避免无效的磁盘 IO。2.4 Region 分裂与合并分裂 (Split) 当一个 Region 的大小增长到阈值默认 10GB它会自动分裂成两个新的 Region以维持负载均衡和并行处理能力。合并 (Compaction)Minor Compaction 将多个小的 StoreFile 合并成一个更大的 StoreFile减少文件数量。Major Compaction 将一个 Store 下的所有 StoreFile 合并成一个并清理已删除或过期的数据彻底回收空间。Major Compaction 会产生大量 IO通常需要在业务低峰期调度。第三部分Hadoop 与 HBase 的协同与实战3.1 HBase 如何依赖 Hadoop存储依赖 HBase 将数据HFile和 WAL 持久化存储在 HDFS 上利用了 HDFS 的高可靠性和高吞吐量。计算依赖 HBase 可以通过 MapReduce、Spark 等框架进行批量数据导入BulkLoad或离线分析。例如使用TableMapReduceUtil来运行 MapReduce 作业直接读写 HBase 表。3.2 环境部署与关键配置一个典型的 Hadoop HBase 集群部署架构如下[Client] - [ZooKeeper Ensemble] -协调- [Active HMaster] | v [RegionServer-1] ---读写--- [HDFS DataNode-1] [RegionServer-2] ---读写--- [HDFS DataNode-2] [RegionServer-N] ---读写--- [HDFS DataNode-N] ^ | [HDFS NameNode]关键配置示例 (hbase-site.xml)configuration!-- 指定 HBase 数据在 HDFS 上的根目录 --propertynamehbase.rootdir/namevaluehdfs://namenode:8020/hbase/value/property!-- 指定 ZooKeeper 集群地址 --propertynamehbase.zookeeper.quorum/namevaluezk1:2181,zk2:2181,zk3:2181/value/property!-- 启用分布式模式 --propertynamehbase.cluster.distributed/namevaluetrue/value/property/configuration3.3 基础操作与 Java API 示例1. 使用 HBase Shell 创建表并插入数据# 进入 HBase Shellhbase shell# 创建表 user包含一个列族 infocreateuser,info# 向表 user 中插入数据putuser,row1,info:name,Aliceputuser,row1,info:age,25putuser,row2,info:name,Bob# 扫描全表scanuser# 获取特定行getuser,row12. 使用 Java API 进行读写importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.*;importorg.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase.util.Bytes;importjava.io.IOException;publicclassHBaseDemo{privatestaticConnectionconnection;privatestaticAdminadmin;publicstaticvoidinit()throwsIOException{ConfigurationconfigHBaseConfiguration.create();config.set(hbase.zookeeper.quorum,zk1,zk2,zk3);connectionConnectionFactory.createConnection(config);adminconnection.getAdmin();}publicstaticvoidcreateTable(StringtableName,String...columnFamilies)throwsIOException{TableNametnTableName.valueOf(tableName);if(admin.tableExists(tn)){System.out.println(Table tableName already exists.);return;}HTableDescriptortableDescnewHTableDescriptor(tn);for(Stringcf:columnFamilies){tableDesc.addFamily(newHColumnDescriptor(cf));}admin.createTable(tableDesc);System.out.println(Table tableName created.);}publicstaticvoidputData(StringtableName,StringrowKey,StringcolumnFamily,Stringqualifier,Stringvalue)throwsIOException{Tabletableconnection.getTable(TableName.valueOf(tableName));PutputnewPut(Bytes.toBytes(rowKey));put.addColumn(Bytes.toBytes(columnFamily),Bytes.toBytes(qualifier),Bytes.toBytes(value));table.put(put);table.close();System.out.println(Data inserted.);}publicstaticvoidgetData(StringtableName,StringrowKey)throwsIOException{Tabletableconnection.getTable(TableName.valueOf(tableName));GetgetnewGet(Bytes.toBytes(rowKey));Resultresulttable.get(get);for(Cellcell:result.listCells()){StringcfBytes.toString(CellUtil.cloneFamily(cell));StringqualifierBytes.toString(CellUtil.cloneQualifier(cell));StringvalueBytes.toString(CellUtil.cloneValue(cell));System.out.println(CF:cf, Qualifier:qualifier, Value:value);}table.close();}publicstaticvoidmain(String[]args)throwsIOException{init();createTable(test_java,cf1);putData(test_java,rk1,cf1,name,JavaUser);getData(test_java,rk1);connection.close();}}第四部分性能优化与最佳实践4.1 Row Key 设计原则Row Key 的设计直接影响数据分布和查询性能。散列原则 避免使用单调递增的 Row Key如时间戳、自增ID这会导致热点问题所有写请求都集中在最后一个 Region。可以采用加盐Salting、哈希Hashing或反转Reversing来打散。坏设计20250530120000_event好设计{reverse(userId)}_20250530或{hash(userId)%100}_userId长度原则 不宜过长建议在 10-100 字节之间因为每个 Cell 都会存储一份 Row Key。查询模式匹配 Row Key 应支持你最常用的查询模式。例如如果经常按用户ID和时间范围查询Row Key 可设计为userId_timestamp。4.2 列族与版本配置优化列族数量 不宜过多通常 1-3 个。每个列族在存储上是独立的过多的列族会加剧Flush和Compaction的压力。数据版本 根据业务需求合理设置每个列族的最大版本数 (VERSIONS)。保留过多版本会占用存储空间。压缩与编码 为列族启用合适的压缩如SNAPPY,GZ和编码如DIFF,FAST_DIFF可以显着减少磁盘空间和网络传输量。# 创建表时指定压缩和版本createuser_log,{NAMEcf, VERSIONS3, COMPRESSIONSNAPPY}4.3 读写性能调优写优化适当调大hbase.client.write.buffer进行批量写入。在非强一致性场景下可考虑关闭 WAL (setDurability(Durability.SKIP_WAL))但会丢失数据。读优化合理利用BlockCache默认开启和布隆过滤器BLOOMFILTER ROW。使用Scan时合理设置setCaching每次RPC获取的行数和setBatch每行返回的列数。使用协处理器 (Coprocessor)将计算推送到数据所在服务器减少数据传输。总结Hadoop 与 HBase 共同构成了处理海量数据的“黄金组合”。Hadoop HDFS 提供了坚实、可靠的海量存储底座而 HBase 在此基础上实现了低延迟的随机访问能力弥补了 HDFS 在实时性上的不足。理解 HDFS 的存储原理、YARN 的资源调度以及 HBase 的 LSM 树存储引擎、Region 机制和读写流程是进行高效大数据应用开发与调优的基础。随着云原生和实时计算的发展虽然出现了许多新技术如云对象存储、各类实时数仓但 Hadoop 与 HBase 所体现的分布式、可扩展、高可靠的设计思想依然是当今大数据架构中不可或缺的核心。
