<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    Change Dir

    先知cd——熱愛(ài)生活是一切藝術(shù)的開(kāi)始

    統(tǒng)計(jì)

    留言簿(18)

    積分與排名

    “牛”們的博客

    各個(gè)公司技術(shù)

    我的鏈接

    淘寶技術(shù)

    閱讀排行榜

    評(píng)論排行榜

    Hbase配置項(xiàng)粗解(2)

    hbase的配置接上篇

    hbase.client.write.buffer:htable客戶(hù)端寫(xiě)緩沖區(qū)大小,默認(rèn)是2097152BYTE,這個(gè)緩沖區(qū)就是為了寫(xiě)數(shù)據(jù)的臨時(shí)存放,設(shè)置大了,浪費(fèi)客戶(hù)端和服務(wù)端的存儲(chǔ),設(shè)置小了,如果寫(xiě)的數(shù)據(jù)多,太多的RPC又帶來(lái)網(wǎng)絡(luò)開(kāi)銷(xiāo),官方給的一個(gè)服務(wù)端存儲(chǔ)耗費(fèi)評(píng)估計(jì)算是:hbase.client.write.buffer*hbase.regionserver.handler.count,服務(wù)端的rs的處理handler個(gè)數(shù)也很關(guān)鍵;

    hbase.client.pause:pause時(shí)長(zhǎng),在hbase發(fā)生get或其他操作fail掉的時(shí)候進(jìn)行pause的時(shí)間長(zhǎng)度,默認(rèn)是100;

    hbase.client.retries.number:發(fā)生操作fail時(shí)的重試次數(shù),結(jié)合上一個(gè)指標(biāo)一起來(lái)控制總的重試時(shí)間,默認(rèn)是35;

    hbase.client.max.total.tasks:一個(gè)HTable實(shí)例可以提交給集群的最大并發(fā)任務(wù)數(shù),默認(rèn)是100;

    hbase.client.max.perserver.tasks:一個(gè)HTable實(shí)例給一臺(tái)regionserver提交的最大并發(fā)任務(wù)數(shù),默認(rèn)是5;

    hbase.client.max.perregion.tasks:客戶(hù)端連接一臺(tái)region的最大連接數(shù),換句話(huà)說(shuō),當(dāng)你有這么多個(gè)連接在region時(shí),新的操作不被發(fā)送直到有操作完成,默認(rèn)是1;

    hbase.client.scanner.caching:做scanner的next操作時(shí)(如果再本地client沒(méi)找到)緩存的數(shù)據(jù)行數(shù),這個(gè)值的設(shè)置也需要權(quán)衡,緩存的多則快,但吃?xún)?nèi)存,緩存的少則需要多的拉數(shù)據(jù), 需要注意的事項(xiàng)是如果兩次調(diào)用的時(shí)間差大于scanner的timeout,則不要設(shè)置該值,默認(rèn)是100;

    hbase.client.keyvalue.maxsize:一個(gè)KeyValue實(shí)例的最大大小,這是存儲(chǔ)文件中一個(gè)entry的容量上限,合理的設(shè)置這個(gè)值可以控制regionserver的split,split不會(huì)拆keyvalue,所以把keyvalue的大小設(shè)置為regionserver大小的一個(gè)比例分?jǐn)?shù)(可除)是個(gè)不錯(cuò)的選擇,默認(rèn)是10485760;

    hbase.client.scanner.timeout.period:結(jié)合剛才的caching做的一個(gè),scanner的超時(shí)時(shí)間,默認(rèn)是60000毫秒;

    hbase.client.localityCheck.threadPoolSize:做localityCheck的線程池大小,默認(rèn)是2;

    hbase.bulkload.retries.number:做bulk load的最大重試次數(shù),默認(rèn)是0,即代表不斷重試;

    hbase.balancer.period:Master運(yùn)行balancer的周期,默認(rèn)是300000毫秒;

    hbase.regions.slop:如果有regionserver的region數(shù)目超過(guò)average+(average*slop),則rebalance,默認(rèn)是0.2;

    hbase.server.thread.wakefrequency:服務(wù)線程的sleep時(shí)間,默認(rèn)10000毫秒,比如log roller;

    hbase.server.versionfile.writeattempts:退出前寫(xiě) version file的重試次數(shù),默認(rèn)3,每次嘗試的間隔由上一個(gè)參數(shù)控制;

    hbase.hregion.memstore.flush.size:Memstore寫(xiě)磁盤(pán)的flush閾值,超過(guò)這個(gè)大小就flush,默認(rèn)是134217728;

    hbase.hregion.preclose.flush.size:如果一個(gè)region的memstore的大小等于或超過(guò)這個(gè)參數(shù)的量,在關(guān)閉region時(shí)(放置關(guān)閉flag),要提前flush,然后region關(guān)閉下線,默認(rèn)大小是5242880;

    hbase.hregion.memstore.block.multiplier:如果memstore的大小滿(mǎn)足hbase.hregion.block.memstore * hbase.hregion.flush.size個(gè)byte,那么阻塞update,這個(gè)配置可以避免不必要的長(zhǎng)時(shí)間split或者compact,甚至是OOME,默認(rèn)是2;

    hbase.hregion.memstore.mslab.enabled:開(kāi)啟MemStore-Local Allocation Buffer,這個(gè)配置可以避免在高寫(xiě)入的情況下的堆內(nèi)存碎片,可以降低在大堆情況下的stop-the-world GC頻率,默認(rèn)是true;

    hbase.hregion.max.filesize:HStoreFile的最大尺寸,換句話(huà)說(shuō),當(dāng)一個(gè)region里的列族的任意一個(gè)HStoreFile超過(guò)這個(gè)大小,那么region進(jìn)行split,默認(rèn)是10737418240;

    hbase.hregion.majorcompaction:一個(gè)region的所有HStoreFile進(jìn)行major compact的時(shí)間周期,默認(rèn)是604800000 毫秒(7天);

    hbase.hregion.majorcompaction.jitter:major compaction的發(fā)生抖動(dòng)范圍,這么理解比較容易,就是說(shuō)上一個(gè)參數(shù)不是一個(gè)嚴(yán)格周期,會(huì)有個(gè)抖動(dòng),這個(gè)參數(shù)就是這個(gè)抖動(dòng)的比例,默認(rèn)是0.5;

    hbase.hstore.compactionThreshold:一個(gè)HStore存儲(chǔ)HStoreFile的個(gè)數(shù)閾值,超過(guò)這個(gè)閾值則所有的HStoreFile會(huì)被寫(xiě)到一個(gè)新的HStore,需要平衡取舍,默認(rèn)是3;

    hbase.hstore.blockingStoreFiles:一個(gè)HStore存儲(chǔ)HStoreFile阻塞update的閾值,超過(guò)這個(gè)閾值,HStore就進(jìn)行compaction,直到做完才允許update,默認(rèn)是10;

    hbase.hstore.blockingWaitTime:一個(gè)更強(qiáng)力的配置,配合上一個(gè)參數(shù),當(dāng)HStore阻塞update時(shí),超過(guò)這個(gè)時(shí)間限制,阻塞取消,就算compaction沒(méi)有完成,update也不會(huì)再被阻塞,默認(rèn)是90000毫秒;

    hbase.hstore.compaction.max:每個(gè)minor compaction的HStoreFile個(gè)數(shù)上限,默認(rèn)是10;

    hbase.hstore.compaction.kv.max:在flushing或者compacting時(shí)允許的最大keyvalue個(gè)數(shù),如果有大的KeyValue或者OOME的話(huà)則配置一個(gè)小的值,如果行數(shù)多且小則配置大值,默認(rèn)是10;

    hbase.storescanner.parallel.seek.threads:如果并行查找開(kāi)啟的線程池大小,默認(rèn)是10;

    hfile.block.cache.size:一個(gè)配置比例,允許最大堆的對(duì)應(yīng)比例的內(nèi)存作為HFile和HStoreFile的block cache,默認(rèn)是0.4,即40%,設(shè)置為0則disable這個(gè)比例,不推薦這么做;

    hfile.block.index.cacheonwrite:在index寫(xiě)入的時(shí)候允許put無(wú)根(non-root)的多級(jí)索引塊到block cache里,默認(rèn)是false;

    hfile.index.block.max.size:在多級(jí)索引的樹(shù)形結(jié)構(gòu)里,如果任何一層的block index達(dá)到這個(gè)配置大小,則block寫(xiě)出,同時(shí)替換上新的block,默認(rèn)是131072;

    hfile.format.version:新文件的HFile 格式版本,設(shè)置為1來(lái)測(cè)試向后兼容,默認(rèn)是2;

    hfile.block.bloom.cacheonwrite:對(duì)于組合布隆過(guò)濾器的內(nèi)聯(lián)block開(kāi)啟cache-on-write,默認(rèn)是false;

    io.storefile.bloom.block.size:一個(gè)聯(lián)合布隆過(guò)濾器的單一塊(chunk)的大小,這個(gè)值是一個(gè)逼近值,默認(rèn)是131072;

    hbase.rs.cacheblocksonwrite:當(dāng)一個(gè)HFile block完成時(shí)是否寫(xiě)入block cache,默認(rèn)是false;

    posted on 2014-01-03 18:34 changedi 閱讀(5211) 評(píng)論(3)  編輯  收藏 所屬分類(lèi): 數(shù)據(jù)

    評(píng)論

    # re: Hbase配置項(xiàng)粗解(2) 2014-01-03 20:53 私人訂制

    MARK,學(xué)習(xí)  回復(fù)  更多評(píng)論   

    # re: Hbase配置項(xiàng)粗解(2) 2014-01-04 12:13 鵬達(dá)鎖業(yè)

    支持博主 分享  回復(fù)  更多評(píng)論   

    # re: Hbase配置項(xiàng)粗解(2) 2014-01-05 14:29 鵬達(dá)鎖業(yè)

    鵬達(dá)鎖業(yè)  回復(fù)  更多評(píng)論   

    主站蜘蛛池模板: 国产精品亚洲一区二区三区| 国产亚洲人成网站在线观看 | 亚洲成av人片不卡无码久久| 在线观看亚洲AV日韩A∨| 精品无码免费专区毛片| 亚洲国产精品久久久久婷婷老年| 日本三级在线观看免费| 国产亚洲精品无码拍拍拍色欲| jizz日本免费| 亚洲国产精品无码专区影院| 免费在线观影网站| 久久亚洲精品中文字幕无码| 久久精品无码专区免费东京热| 亚洲最大黄色网址| 在线观看成人免费视频不卡| 国产成人精品日本亚洲直接| 成熟女人特级毛片www免费| 亚洲精品无码少妇30P| 国产免费黄色大片| 黄色a级免费网站| 亚洲人精品午夜射精日韩| 男女作爱在线播放免费网站| 亚洲综合久久成人69| 野花高清在线电影观看免费视频 | 性短视频在线观看免费不卡流畅| 亚洲免费二区三区| 国产精品免费小视频| 一二三区免费视频| 7777久久亚洲中文字幕蜜桃| 国产卡二卡三卡四卡免费网址| 校园亚洲春色另类小说合集| 在线亚洲午夜理论AV大片| 4399影视免费观看高清直播| 亚洲日本在线电影| 亚洲中文字幕久久精品无码APP| 91福利视频免费观看| 久久无码av亚洲精品色午夜| 国产亚洲精品资在线| 2019中文字幕免费电影在线播放 | 亚洲国产主播精品极品网红| 七色永久性tv网站免费看|