hortonworks参数详解

组件名称参数名称

YARN ResourceManager Java heap size

NodeManager Java heap size

yarn.nodemanager.resource.memory-mb

Hbase HBase Master Maximum Java heap size

RegionServers maximum Java heap size

hbase.regionserver.handler.count

hbase.hregion.majorcompaction

hbase.hregion.memstore.block.multiplier

hbase.hregion.memstore.flush.size

hbase.balancer.period

hfile.block.cache.size

hbase.regionserver.global.memstore.upperLimit

hbase.server.thread.wakefrequency

hbase.master.distributed.log.splitting

hbase.hstore.blockingStoreFiles

hbase.hregion.memstore.flush.size

hbase.hregion.memstore.mslab.enabled

hbase.client.keyvalue.maxsize

参数说明单位默认值最新值

resourceManager使用堆空间的大小MB10241024

所有节点的NodeManager最大使用堆空间大小MB20482048

可以分配给nodemanager的物理内存量MB40964096

Hmaster进程最大使用堆空间大小MB10241024

RegionServer进程最大使用堆空间大小MB20484096

RegionServer的请求处理IO线程数int10100

major、compaction的执行周期8640000086400000

当一个region里的memstore占用内存大小超

过hbase.hregion.memstore.flush.size xx倍

的大小时，block该region的所有请求，进行

flush，释放内存;

容忍缓存中写入数据超过

hbase.hregion.memstore.flush.size缓冲区

最大的倍数；

每次写入时，判断超出缓存的倍数后，不能

再写入，阻塞，等待flush完成后，会进行GC

回收，regionserver会暂停

完成flush，并gc回收后，则继续接收数据；

这个过程中容易出现regionserver服务暂

停，与hmaster失败心跳超时，引起

regionserver下线。

int28

当一个region里的memstore占用内存大小超过b yte134217728134217728

负载均衡以特定时间间隔执行ms3000001200000

HFile文件的块缓存大小占堆内存大小的比例%0.40.4

%0.40.4

当ReigonServer内所有region的memstores所占用内存总和达到heap的xx%时，HBase会强制block所有的更新并flush 服务线程的sleep时间:默认是10s

每间隔

hbase.server.thread.wakefrequency时间

（默认10s）检查一次regionserver 缓冲

区大小，超过

hbase.hregion.memstore.flush.size此大

小则flush刷新到hdfs文件中；

若此参数间隔太久，且数据写入太多，会

引起长时间的阻塞等待flush；因此高并发

写入时，此参数要适当调小。ms10000100

分布式log splitting方式boolean TRUE FALSE

在flush时,当一个region中的Store(Coulmn Family)内有超过xx个storefile时,则block所有的写请求进行compaction

一个region下面的所有store里面的memstore的达到多少时,开始将这些memstore flush到hdfs中

启用hbase0.90x版本引入的一种高级机制来缓b oolean FALSE TRUE

列族的最大值byte10485760104857600

写请求进行compaction

dfs中去