<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    paulwong

    HBASE讀書筆記-基礎功能

    1. HBASE的SHELL命令使用

    2. HBASE的JAVA CLIENT的使用

      新增和修改記錄用PUT。

      PUT的執行流程:
      首先會在內存中增加MEMSTORE,如果這個表有N個COLOUMN FAMILY,則會產生N個MEMSTORE,記錄中的值屬于不同的COLOUMN FAMILY的,會保存到不同的MEMSTORE中。MEMSTORE中的值不會馬上FLUSH到文件中,而是到MEMSTORE滿的時候再FLUSH,且FLUSH的時候不會寫入已存在的HFILE中,而是新增一個HFILE去保存。另外會寫WRITE AHEAD LOG,這是由于新增記錄時不是馬上寫入HFILE的,如果中途出現DOWN機時,則HBASE重啟時會根據這個LOG來恢復數據。

      刪除記錄用DELETE。

      刪除時并不會將在HFILE中的內容刪除,而是作一標記,然后在查詢的時候可以不取這些記錄。

      讀取單條記錄用GET。

      讀取的時候會將記錄保存到CAHE中,同樣如果這個表有N個COLOUMN FAMILY,則會產生N個CAHE
      ,記錄中的值屬于不同的COLOUMN FAMILY的,會保存到不同的CAHE中。這樣下次客戶端再取記錄時會綜合CAHE和MEMSTORE來返回數據。

      新增表用HADMIN。

      查詢多條記錄用SCAN和FILTER。

    3. HBASE的分布式計算

      為什么會有分布式計算
      前面的API是針對ONLINE的應用,即要求低延時的,相當于OLTP。而針對大量數據時這些API就不適用了。
      如要針對全表數據進行分析時用SCAN,這樣會將全表數據取回本地,如果數據量在100G時會耗幾個小時,為了節省時間,引入多線程做法,但要引入多線程時,需遵從新算法:將全表數據分成N個段,每段用一個線程處理,處理完后,交結果合成,然后進行分析。

      如果數據量在200G或以上時間就加倍了,多線程的方式不能滿足了,因此引入多進程方式,即將計算放在不同的物理機上處理,這時就要考慮每個物理機DOWN機時的處理方式等情況了,HADOOP的MAPREDUCE則是這種分布式計算的框架了,對于應用者而言,只須處理分散和聚合的算法,其他的無須考慮。

      HBASE的MAPREDUCE
      使用TABLEMAP和TABLEREDUCE。

      HBASE的部署架構和組成的組件
      架構在HADOOP和ZOOPKEEPER之上。

      HBASE的查詢記錄和保存記錄的流程
      說見前一編博文。

      HBASE作為數據來源地、保存地和共享數據源的處理方式
      即相當于數據庫中JOIN的算法:REDUCE SIDE JOIN、MAP SIDE JOIN。

    posted on 2013-02-06 09:53 paulwong 閱讀(610) 評論(0)  編輯  收藏 所屬分類: HADOOP云計算HBASE

    主站蜘蛛池模板: 国产91精品一区二区麻豆亚洲| 免费jlzzjlzz在线播放视频| 亚洲av伊人久久综合密臀性色| 亚洲男人在线无码视频| 亚洲一区二区三区高清| 亚洲AV无码成人精品区狼人影院| 中国精品一级毛片免费播放| 最新中文字幕免费视频| 亚洲一区二区三区亚瑟| 99久久综合国产精品免费| 亚洲大成色www永久网址| 日韩版码免费福利视频| 精品亚洲AV无码一区二区| 成人在线免费看片| 国产aⅴ无码专区亚洲av麻豆| 一级做a爰片久久毛片免费陪| 国产精品亚洲高清一区二区| 久久精品免费网站网| 亚洲AV无码AV男人的天堂| 一级做受视频免费是看美女| 激情综合色五月丁香六月亚洲| 国内精品99亚洲免费高清| 亚洲第一页综合图片自拍| 亚洲精品国产国语| 免费乱码中文字幕网站| 国产精品小视频免费无限app| 免费va在线观看| aaa毛片免费观看| 亚洲毛片免费视频| 国产性生交xxxxx免费| 中文字幕版免费电影网站| 亚洲欧洲日本精品| 四虎影视精品永久免费| 最新国产乱人伦偷精品免费网站 | 久久久精品视频免费观看 | 麻豆一区二区三区蜜桃免费| 国产亚洲色婷婷久久99精品91| 国产精品网站在线观看免费传媒 | 亚洲啪啪免费视频| 十八禁的黄污污免费网站| 久久影院亚洲一区|