HBase Region分配

HBase中Region分配问题的探讨

在HBase的cluster中，Region是如何分配这个问题，困扰了我很久，经过代码分析和调试，得出了一些见解，缺点和错误请大家批评指正。

在Region分配过程中，起着重要作用有如下一些对象。

?HMaster—是HBase中的Master server，仅有一个。

?HRegionServer—负责多个HRegion使之能向client端提供服务，在HBase cluster 中存在多个HRegionServer。

?ServerManager—负责管理Region server信息，比如每个Region server的HServerInfo(这个对象包含HServerAddress和startCode),已load Region个数，死亡的Region server列表

?RegionManager—负责将region分配到region server的具体工作，还有监视root和meta 这2个特殊region的状态。

?RootScanner—定期扫描root region，以发现没有分配的meta region。

?MetaScanner—定期扫描meta region,以发现没有分配的user region。

这些对象的关系如下图所示：

Region分配过程

Root region的分配

HMaster起动时，首先会通过RegionManager把rootRegionLocation（里面包含HServerAddress）的值置为null，然后把root region从待处理region列表中移除（如果有的话），然后重新将其放入待处理region列表（regionsInTransition），并将其状态设置为UNASSIGNED(未分配).

当一个Region server启动完成时，它会调用reportForDuty函数向HMaster报告它的启动，报告当然是通过HMasterRegionInterface的regionServerStartup方法。然后HMaster 会把Region server的报告转交给ServerManager的regionServerStartup方法处理。ServerManager会将这个新的RegionServer加入region server列表并且把它的server load 设为空闲的。

RegionServer会定期发送报告给HMaster，请求HMaster进一步的指示。发送报告是通过HMasterRegionInterface的regionServerReport方法。HMaster接到报告后，移交报告给ServerManager的regionServerReport方法处理。ServerManager会查询regionServer 的状态，得到一个HServerInfo对像，然后检查RegionServer是否为正常的。如果为正常的话，ServerManager会查询regionserver的负载（HServerLoad），更新一个loadToServers 的map。然后进入ServerManager的processMsgs函数处理。

ServerManager会检查该regionServer的已经打开的region的数目，如果打开的region 数目少于一个固定的值（对应配置文件中的hbase.regions.nobalancing.count），然后就会调用RegionManager的assignRegions方法。

RegionManager会向ServerManager查询，现在已启动的RegionServer有几个，如果只有一个的话，会做特别处理。

然后RegionManager调用自己的regionsAwaitingAssignment方法去取得等待分配的region集合。它先会特别考虑root region，如果它查到root region尚未被分配，它会马上返回只包含root region的集合。

如果没有任何region未分配的话而且并未处在安全模式，RegionManager会让loadBalancer执行负载均衡的动作（就是可能把该regionserver负责的region分一点出去）。反之如果有待分配的region，serverManager会调用自己的assignRegionsToMultipleServers方法。

在assignRegionsToMultipleServers中，参数regionsToAssign是所有待分配的region 集合，因为存在多个regionServer,所以regionManager会考虑到多个regionServer的负载。regionManager会先调用regionsToGiveOtherServers方法，求出其他regionServer（比如相对负载较轻的）应该承载的region数目，那么当前regionServer可能承载的region个数就是待分配的region总数目减去其他regionServer应该承载的region数目，这个数量我们暂称之为N。如果N<=0并且Meta Region如果已被分配的话，该regionServer会被略过，不会被要求承载region。因为比当前regionServer的负载轻的regionServer个数超过了待

分配的region个数，轮不到当前的regionServer。

看起来快水落石出了，但是剩下事情还有点复杂。regionManager还会调用computeNextHeaviestLoad方法，算出cluster中有多少regionServer超过当前的regionServer，这个数目我们暂称之为NS，同时该方法会抓出负载最重的server的负载。

接着regionManager会求出当前regionServer负责的region数目和负载最重的regionServer负责的region数目之间的差值。如果这个差值大于N，那么这N个region将全部会交由当前regionServer负责。反之这个差值小于N，如果NS大于零，当前regionServer要被分配的region数量为(int)Math.ceil(1.0*N/1.0*NS), 如果NS等于零，那么当前regionServer要被分配region的数量为(int)Math.ceil(1.0*N/1.0*regionServer总数)。

然后root region就会被分配到该RegionServer上。

这里特别要提下：如果有多个region serve存在，HBase不会把root region和meta region 分配到一个RegionServer上(在事实的例子中会将两个分配到同一个RegionServer

上的)。

Meta region的分配

一旦root region被分配完成，RootScanner线程将被唤醒。然后它会scan root region。

在scan过程中，碰到每个meta region条目，它会调用checkAssigned函数检查该meta region是否被分配，如果没有的话，regionManager将会记录之，把该region加入待分配

的region列表中。

一旦有RegionServer定期报告来了，meta region会像root region一样的方式被分配。

User region的分配

一旦meta region被分配完成，MetaScanner将被唤醒，然后它会scan meta region。

在scan过程中，碰到每个user region条目，它会调用checkAssigned函数检查，该user region是否被分配，如果没有的话，regionManager将会记录之，把该region加入待分配的region列表中。

一旦有RegionServer定期报告来了，user region会被分配。