<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    Change Dir

    先知cd——熱愛生活是一切藝術的開始

    統計

    留言簿(18)

    積分與排名

    “牛”們的博客

    各個公司技術

    我的鏈接

    淘寶技術

    閱讀排行榜

    評論排行榜

    Hbase配置項粗解(1)

    繼之前寫的設計和使用tip,這里補充一下hbase所有的配置項。之前涉及的一個項目在hbase設計上存在缺陷,當進入時已經存在著很多rowkey設計和讀寫問題,現在重讀hbase文檔,把所有的配置項整理一遍。

    hbase.tmp.dir:本地文件系統的臨時目錄,默認是${java.io.tmpdir}/hbase-${user.name};

    hbase.rootdir:hbase持久化的目錄,被所有regionserver共享,默認${hbase.tmp.dir}/hbase,一般設置為hdfs://namenode.example.org:9000/hbase類似,帶全限定名;

    hbase.cluster.distributed:hbase集群模式運作與否的標志,默認是false,開啟需要設置為true,false時啟動hbase會在一個jvm中運行hbase和zk;

    hbase.zookeeper.quorum:重要的也是必須設置的,啟動zk的服務器列表,逗號分隔,cluster模式下必須設置,默認是localhost,hbase客戶端也需要設置這個值去訪問zk;

    hbase.local.dir:本地文件系統被用在本地存儲的目錄,默認${hbase.tmp.dir}/local/;

    hbase.master.port:hbase master綁定的端口,默認是60000;

    hbase.master.info.port:hbase master web 界面的端口,默認是60010,設置為-1可以禁用ui;

    hbase.master.info.bindAddress:master web界面的綁定地址,默認是0.0.0.0;

    hbase.master.logcleaner.plugins:清理日志的插件列表,逗號分隔,被LogService調用的LogCleanerDelegate,可以自定義,順序執行,清理WAL和HLog;默認org.apache.hadoop.hbase.master.cleaner.TimeToLiveLogCleaner

    hbase.master.logcleaner.ttl:HLog在.oldlogdir目錄中生存的最長時間,過期則被Master起線程回收,默認是600000;

    hbase.master.hfilecleaner.plugins:HFile的清理插件列表,逗號分隔,被HFileService調用,可以自定義,默認org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner

    hbase.master.catalog.timeout:Catalog Janitor從master到META的超時時間,我們知道這個Janitor是定時的去META掃描表目錄,來決定回收無用的regions,默認是600000;

    fail.fast.expired.active.master:如果master過期,那么不需要從zk恢復,直接終止,默認是false;

    hbase.master.dns.interface:master的dns接口,向該接口提供ip,默認是default;

    hbase.master.dns.nameserver:master使用的dns主機名或者ip,默認是default;

    hbase.regionserver.port:regionserver綁定的端口,默認是60020;

    hbase.regionserver.info.port:regionserver的web界面端口,-1取消界面,默認是60030;

    hbase.regionserver.info.bindAddress:regionserver的web綁定,默認是0.0.0.0;

    hbase.regionserver.info.port.auto:master或者regionserver是否自動搜索綁定的端口,默認是false;

    hbase.regionserver.handler.count:regionserver上rpc listener的個數,http://kenwublog.com/hbase-performance-tuning把這個配置稱為io線程數,其實雷同,就是說在regionserver上一個處理rpc的handler,默認是30;

    hbase.regionserver.msginterval:regionserver向master發消息的間隔,默認3000毫秒;

    hbase.regionserver.optionallogflushinterval:如果沒有足夠的entry觸發同步,那么過了這個間隔后HLog將被同步到HDFS,默認是1000毫秒;

    hbase.regionserver.regionSplitLimit:regionsplit的最大限額,默認是MAX_INT=2147483647,設置這個限制后,在到達限制時region split就不會再進行;

    hbase.regionserver.logroll.period:不管有多少版本,直接roll掉commit log的周期,也就是說一個固定的時間周期,到期就roll,默認是3600000毫秒;

    hbase.regionserver.logroll.errors.tolerated:可接受的WAL關閉錯誤個數,到達后將觸發服務器終止;設置為0那么在WAL writer做log rolling失敗時就停止region server,默認是2;

    hbase.regionserver.hlog.reader.impl:HLog 文件reader的實現類,默認是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogReader;

    hbase.regionserver.hlog.writer.impl:HLog 文件writer的實現類,默認是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogWriter;

    hbase.regionserver.global.memstore.upperLimit:memstore在regionserver內存中的上限,屆時新的update被阻塞并且flush被強制寫,默認是0.4就是堆內存的40%;阻塞狀態持續到regionserver的所有memstore的容量到達hbase.regionserver.global.memstore.lowerLimit;

    hbase.regionserver.global.memstore.lowerLimit:memstore在regionserver內存中的最大上限,到達時flush就被強制寫,默認是0.38等價于38%的內存容量;

    hbase.regionserver.optionalcacheflushinterval:一個edit版本在內存中的cache時長,默認3600000毫秒,設置為0的話則禁止自動flush;

    hbase.regionserver.catalog.timeout:regionserver的Catalog Janitor訪問META的超時時間,默認是600000;

    hbase.regionserver.dns.interface:同master類似~~不講

    hbase.regionserver.dns.nameserver:同master類似

    zookeeper.session.timeout:這是個值得說道一下的配置,首先ZK客戶端要用,Hbase使用zk的客戶端聯系總體,同時也被用來啟動一個zk server,作為zk的maxSessionTimeout,總的來說就是regionserver與zk的關鍵參數,如果連接超時,master會重新的balance,regionserver也會被從集群名單中清除,默認是90000;一個問題是如果zk 由hbase自己維護,那么該參數作為regionserver連接是一個值,如果zk在另外的集群,那么zk自己的maxSessionTimeout參數將優先于Hbase的該參數,屆時可能會發生超時時間不同的問題;

    zookeeper.znode.parent:znode存放root region的地址,默認是root-region-server;

    zookeeper.znode.acl.parent:root znode的acl,默認acl;

    hbase.zookeeper.dns.interface:zk的dns接口,默認default;

    hbase.zookeeper.dns.nameserver:zk的dns服務地址,默認default;

    hbase.zookeeper.peerport:zk的peer之間的通訊端口,默認是2888;

    hbase.zookeeper.leaderport:zk選leader的通訊端口,默認是3888;

    hbase.zookeeper.useMulti:zk支持多重update,要求zk在3.4版本以上,默認是false;

    hbase.config.read.zookeeper.config:讓hbaseconfig去讀zk的config,默認false,也不支持開啟,這個功能很搞笑~~個人觀點;

    hbase.zookeeper.property.initLimit:zk的配置,同步的屬性個數限制,默認10個~~沒用;

    hbase.zookeeper.property.syncLimit:zk的配置,同步時的每次請求的條數,默認5個;

    hbase.zookeeper.property.dataDir:zk的配置,snapshot存放的目錄,默認是${hbase.tmp.dir}/zookeeper;

    hbase.zookeeper.property.clientPort:zk的配置,client連zk的端口,默認2181;

    hbase.zookeeper.property.maxClientCnxns:zk的配置,允許接入zk的最大并發連接數的限制,按ip分配,默認300;

    posted on 2013-12-09 20:07 changedi 閱讀(6139) 評論(0)  編輯  收藏 所屬分類: 數據

    主站蜘蛛池模板: 最好看最新的中文字幕免费| 两个人看的www高清免费观看| 久久久久免费精品国产| 国产亚洲欧洲Aⅴ综合一区| www.av在线免费观看| 亚洲中文字幕无码爆乳av中文| 日韩精品无码免费视频| 亚洲午夜日韩高清一区| 中文字幕的电影免费网站| 亚洲AV永久无码区成人网站| 久久精品乱子伦免费| 亚洲一级毛片中文字幕| 日本一道本高清免费| 一级做a爰片久久免费| 亚洲乱码无码永久不卡在线| 玖玖在线免费视频| 亚洲第一区视频在线观看| 最新中文字幕免费视频| 国产成人亚洲精品91专区高清 | 中文字幕在线免费看| 亚洲妇熟XXXX妇色黄 | 国产精品成人免费视频网站京东| 亚洲精品无码久久久久APP| 亚洲精品国产福利一二区| 十八禁视频在线观看免费无码无遮挡骂过 | 亚洲日本VA午夜在线电影| 国产乱弄免费视频| 久久久久久久久久免免费精品| 亚洲AV日韩AV鸥美在线观看| 国产曰批免费视频播放免费s| 亚洲精品亚洲人成在线| 亚洲中文字幕成人在线| 亚洲一区二区三区免费观看| 亚洲国产精品美女久久久久| 亚洲色婷婷一区二区三区| 美女被cao免费看在线看网站| 免费的黄色的网站| 亚洲精品亚洲人成在线观看麻豆| 日韩免费观看一级毛片看看| 最近免费中文字幕MV在线视频3 | 四虎在线播放免费永久视频|