hbase 是以hdfs为数据存储的， ...

介绍：  &nbs ...

＋展开＋

• Name Space
命名空间，类似数据库的概念。
• Table
类似表的概念，hbase定义表时候，只 ...
• Row
每行数据都一个rowkey和多个col ...
• Column
每个列都由column famliy ...
• Column Family
• Column Qualifier
A column qualifier ...
• Time Stamp
用于标识数据的不同版本，数据写入时，系 ...
• Cell
A cell is a combina ...
• KeyType
KeyType取值分类：Put/Del ...

＋展开＋

• 表属性
＋展开＋
• NAME
• BLOOMFILTER
默认是NONE 。是否使用布隆过虑及使 ...
• VERSIONS
默认是1 。这个参数的意思是数据保留1 ...
• IN_MEMORY
• KEEP_DELETED_CELLS
• DATA_BLOCK_ENCODING
• TTL
默认是 2147483647， 即:I ...
• COMPRESSION
默认值是NONE。即不使用压缩。这个参 ...
• MIN_VERSIONS
• BLOCKSIZE
• REPLICATION_SCOPE
• OCKCACHE

＋展开＋

• 常见命令
＋展开＋
• alter
修改表属性、列族（column fam ...
• count
统计表中行的数量，count ' ...
• create
创建表 。create 'pe ...
• describe - desc
显示表相关的详细信息
• delete
删除指定对象的值（可以为表，行，列对应 ...
• deleteall
• disable
• drop
• enable
• exists
• exit
• get
获取行或单元（cell）的值。语法：g ...
• incr
• list
• put
向指向的表单元添加值。例子：put & ...
• tools
• scan
通过对表的扫描来获取对用的值，scan ...
• status
• shutdown
• truncate
• version
• create_namespace
hbase> create_names ...
• list_namespace
hbase> list_namespa ...
• drop_namespace
hbase> drop_namespa ...
• alter_namespace
hbase> alter_namesp ...
• list_namespace_tables
hbase> list_namespa ...
• 其它例子
＋展开＋
• Linux shell 调用hbase shell的例子
linux shell脚本内容：#!/ ...

存储数据稀疏，数据存储多维，不同的行具 ...

＋展开＋

• rowkey
• column family 列族
＋展开＋
• column 列
• region
将表格按照行拆分，块名称为region ...
• store
region上按照列族切分为store ...

物理结构即为数据映射关系，空单元格，底 ...

＋展开＋

• store
• storefile
格式：rowkey, columen ...
＋展开＋
• timestamp
不同版本version的数据根据ts进 ...
• type
对于删除操作，其类型为DeleteCo ...

＋展开＋

• Hbase 基本架构
＋展开＋
• Zookeeper
主要存储hbase的元数据和状态信息， ...
• Master
主要进程，实现类HMaster，部署再 ...
• Backeup-Master2
• RegionServer
主要进程，实现类HRegionServ ...
• Hdfs集群
存储表格数据，在hdfs上，按照nam ...
• Hbase 架构组件
＋展开＋
• HMaster
高可用HA需要两台HMaster，使用 ...
• HRegionServer
和datanode部署在一起。职责，D ...
• Region
表根据rowkey的范围进行行级切分， ...
• Store
一个列族对应一个store，一个reg ...
• Hlog
Hlog属于RegionServer级 ...
• Memstore
Hbase写缓存。
• storefile
当memstore数据达到一定阈值时候 ...

＋展开＋

• Master
主要进程，实现类HMaster，部署在 ...
• Zookeeper
hbase通过zk来做master的高 ...
• Master服务端
＋展开＋
• 负载均衡器
通过读取meta表了解region的分 ...
• 元数据表管理器
管理元数据表 hbase:meta
• 预写日志管理器 MasterProcWAL
管理master自己的预写日志，如果宕 ...
• Hdfs文件系统
元数据表 -》 /hbase/data ...

＋展开＋

• Region Server
主要进程，实现类HRegionServ ...
• Client
put，get，等命令操作。
• Master
分配region
• RegionServer服务端
＋展开＋
• WAL 预写日志
预写日志到hdfs日志文件
• Block Cache 读缓存
• Mem Store 写缓存1
对应store1
• Mem Store 写缓存2
对应store2
• Hdfs文件系统
＋展开＋
• WAL预写的日志
• Table表
＋展开＋
• Region1
＋展开＋
• store1
• store2
• Region2

1. client 向zk发送创建连接 ...

＋展开＋

• 预写日志WAL
查看命令：hbase wal  ...

＋展开＋

• RegionServer级别
1、当regionserver中所有m ...
• Region级别
memstore刷写阈值 & ...
• HFile级别
当MemStore在满足一定条件时会f ...

hfile是存储在hdfs上面每一个s ...

＋展开＋

• KeyValue键值对结构
＋展开＋
• rowlengh - key的长度
• row - key的值
• columnfamiluylength - 列族长度
• columnfamily - 列族
• columnqualifier - 列名
• timestamp - 时间戳
• keytype - Put

1. client 向zk发送创建连接 ...

＋展开＋

• StoreFile Compaction 文件合并
由于memstore每次刷写都会生成一 ...
＋展开＋
• Minor Compaction 小文件合并
它会将临近的若干较小Hfile合并成一 ...
• Major Compaction 大文件合并
它会将一个store下的所有Hfile ...
• 过期删除日期配置
hbase.hregion.major ...
• Minor Compaction 控制参数配置
＋展开＋
• hbase.hstore.compaction.ratio
默认1.2f，合并文件选择算法中使用的 ...
• hbase.hstore.compaction.min
默认3，为minor compacti ...
• hbase.hstore.compaction.max
默认10，为minor compact ...
• hbase.hstore.compaction.min.size
默认128mb，为单个Hfile文件大 ...
• hbase.hstore.compaction.max.size
默认Long.MAX_VALUE，为单 ...
• Region Split 文件拆分机制
＋展开＋
• Region 手动拆分
手动设定预分区，生成16进制序列预分区 ...
＋展开＋
• Region预拆分 pre-splitting
在建表的时候先定义好拆分点算法，需要使 ...
• 手动制定拆分点 - 属于预拆分
在建表的时候使用SPLITS参数，例子 ...
• 强制拆分
使用命令强制手动拆分 forced s ...
• RegionServer 自动拆分
region拆分由regionserv ...
• Region 拆分规则
hbase 2.0 引入了 Stepp ...

＋展开＋

• HBase常见优化
region大小控制在10g-50g。 ...
• 性能优化
＋展开＋
• RowKey设计
一条数据的唯一标识就是rowkey，它 ...
＋展开＋
• 设计原则
rowkey唯一性；rowkey越短越 ...
• 设计案例 1
查询用户1在2023年1月到2023年 ...
• memstore刷写
• storefile合并
• region切分
• 表压缩
• 参数优化
＋展开＋
• zookeepr会话超时时间
zookeeper.session.t ...
• 设置RPC监听数量
hbase.regionserver. ...
• 手动控制Major Compactor
hbase.hregion.major ...
• 优化HStore文件大小
hbase.hregion.max.f ...
• 优化HBase客户端缓存
hbase.client.write. ...
• 指定scan.next扫描hbase所获取的行数
hbase.client.scanne ...
• blockcache占用regionserver堆内存的比例
hfile.block.cache.s ...
• memstore占用regionserver堆内存的比例
hbase.regionserver. ...
• JVM调优
jvm调优思路分两部分：一是内存设置， ...
＋展开＋
• 设置使用CMS收集器
-XX:+UseConcMarkSwe ...
• 保持新生代尽量小，同时尽早开启GC
在内存占用到70%到时候开启GC，-X ...
• 写入优化
＋展开＋
• 批量写入
• 批量bulkload
• 预写日志
• 缓冲区大小
• 异步写入
• 数据模型优化 - 列族和列
• 读取优化
＋展开＋
• 块缓存
• 列族和列的选择
• 批量查询
• 过滤器
• 预分区
• 均衡数据分布
• 数据压缩
• 缓存
• 并发控制

＋展开＋

• 协处理器 coprocessor
协处理器可以让开发者自定义的代码在服务 ...
＋展开＋
• 协处理器类型
＋展开＋
• Observer 协处理器
Observer 协处理器类似于关系型 ...
＋展开＋
• Observer类型
＋展开＋
• RegionObserver
允许您观察 Region 上的事件，例 ...
• RegionServerObserver
允许您观察与 RegionServer ...
• MasterObserver
允许您观察与 HBase Master ...
• WalObserver
允许您观察与预写日志（WAL）相关的事 ...
• Endpoint 协处理器
Endpoint 类似于关系型数据库中 ...
• 加载方式
＋展开＋
• 静态加载
＋展开＋
• 过程
在hbase-site.xml里面配置 ...
＋展开＋
• 在hbase-site.xml里面配置
• 协处理器jar包拷贝到./hbase/lib/目录
• 重启hbase服务
• 动态加载
＋展开＋
• 过程
hbase > disable 'ta ...
• 过滤器 Filter