一、Split触发条件
1、 有任一一个Hfile的大小超过默认值10G时,都会进行split
2、 达到这个值不在拆分,默认为int_max,不进行拆分
3、compaction时,如果compact的store的大小超过了,则进行split
4、flush之前会检测区域中HStoreFile数目是否超过hbase.hstore.blockingStoreFiles,如果超过且没有等待超时会调用CompactSplitThread.requestSplit(HRegion)
5、flush之后会调用HRegion.checkSplit()检测是否需要split,如果需要则调用CompactSplitThread.requestSplit(HRegion)
6、人工触发
二、Split过程
1、启动一个CompactSplitThresd线程
2、SplitRequest.run
首先,实例化一个事务:在HDFS上的parent’s region 目录下创建一个.splits目录
其次,实例化两个RegionInfo: hri_a和 hri_b,赋予key的起始结束值,根据给定的splitkey
然后,执行execute方法:
(1)createDaughters
每个Reference文件管理原始文件一半的数据。Reference文件名字是一个ID,它使用被参考的Region的名字的Hash作为前缀。例如:1278437856009925445.3323223323。Reference文件只含有非常少量的信息,这些信息包括被分割的原始Region的Key以及这个文件管理前半段还是后半段。HBase使用HalfHFileReader类来访问Reference文件并从原始数据文件中读取数据
Offline parent in meta. 向.META.表Put Split的信息
(2)openDaughter--DaughterOpener--DaughterOpener.run()--openDaughterRegion--openHRegion
openDaughter--postOpenDeployTasks
addToOnlineRegions // Should add it toOnlineRegions
(3)transitionZKNode :Finish off splittransaction, transition the zknode,更新Split的状态 (之后由Master来处理,CatalogJanitor 来清理多余文件夹)
分享到:
相关推荐
hadoop hive hbase安装过程
主要介绍了基于springboot集成hbase过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2. 请简述HBase中数据写入最后导致Region分裂的全过程 3. 如果设计一个笔记的表,表中要求有笔记的属性和笔记的内容,怎么做 4. HBase部署时如何指定多个zookeeper 5. HBase shell是基于哪种JVM运行的语言实现的 6. ...
根据个人的经验,总结出来的HBASE基本概念以及使用场景,原本用于内部分享
来自一位老学姐的Hbase安装详细教程(清华大学镜像下)及基本操作,希望能带给你们些许帮助。主要包含Hbase的下载过程及其遇到的小问题,后续会继续完善该文档!
HBASE的一个读取数据流程的解析,清晰的画出整个过程,十分有利于理解
java 利用 sping-data-hadoop HbaseTemplate 操作hbase find get execute 等方法 可以直接运行
搭建pinpoint需要的hbase初始化脚本hbase-create.hbase
1. HBase有哪些基本的特征? 1 HBase特征: 1 2. HBase相对于关系数据库能解决的问题是什么? 2 HBase与关系数据的区别? 2 HBase与RDBMS的区别? 2 3. HBase的数据模式是怎么样的?即有哪些元素?如何存储?等 3 1...
C#通过thrift连接hbase操作步骤,含有thrift客户端测试代码。
HBase(hbase-2.4.9-bin.tar.gz)是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System...
阿里云HBase备份恢复的原理以及实践.pdf
HBase+ElasticSearch搭建过程详解
HBase开发实战,HBase学习利器:HBase实战
讲师:陈杨——快手大数据高级研发工程师 ...内容概要:(1)讲解hbase coprocessor的原理以及使用场景,(2) coprocessor整个流程实战,包括开发,加载,运行以及管理(3)结合1,2分析coprocessor在rsgroup中的具体使用
HBase 官方文档.pdf HBase的操作和编程.pdf HBase Cpressr优化与实验 郭磊涛.pdf null【HBase】Data Migratin frm Gri t Clu Cmputing - Natural Sienes .pdf 分布式数据库HBase快照的设计与实现.pdf 【HBase】...
里面对HBASE进行了详细的讲解,希望对各位有用
本人现在由于工作需要,开始学习HBase的编码工作,由于接触较浅,借鉴各方大神的经验,编辑成文档,以飨读者。
HBase开启审计日志
HBASE