<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    paulwong

    STORM與HADOOP的比較

    對于一堆時刻在增長的數據,如果要統計,可以采取什么方法呢?
    1. 等數據增長到一定程度的時候,跑一個統計程序進行統計。適用于實時性要求不高的場景。
      如將數據導到HDFS,再運行一個MAP REDUCE JOB。
    2. 如果實時性要求高的,上面的方法就不行了。因此就帶來第二種方法。
      在數據每次增長一筆的時候,就進行統計JOB,結果放到DB或搜索引擎的INDEX中。
      STORM就是完成這種工作的。

    HADOOP與STORM比較
    1. 數據來源:HADOOP是HDFS上某個文件夾下的可能是成TB的數據,STORM是實時新增的某一筆數據
    2. 處理過程:HADOOP是分MAP階段到REDUCE階段,STORM是由用戶定義處理流程,
      流程中可以包含多個步驟,每個步驟可以是數據源(SPOUT)或處理邏輯(BOLT)
    3. 是否結束:HADOOP最后是要結束的,STORM是沒有結束狀態,到最后一步時,就停在那,直到有新
      數據進入時再從頭開始
    4. 處理速度:HADOOP是以處理HDFS上大量數據為目的,速度慢,STORM是只要處理新增的某一筆數據即可
      可以做到很快。
    5. 適用場景:HADOOP是在要處理一批數據時用的,不講究時效性,要處理就提交一個JOB,STORM是要處理
      某一新增數據時用的,要講時效性
    6. 與MQ對比:HADOOP沒有對比性,STORM可以看作是有N個步驟,每個步驟處理完就向下一個MQ發送消息,
      監聽這個MQ的消費者繼續處理

    posted on 2013-09-08 19:49 paulwong 閱讀(4578) 評論(0)  編輯  收藏 所屬分類: LOG ANALYST BIG DATA SYSTEMSTORM

    主站蜘蛛池模板: a毛看片免费观看视频| 精品一区二区三区免费视频| 99久久国产免费中文无字幕| 亚洲精品乱码久久久久久久久久久久 | 野花视频在线官网免费1| A级毛片内射免费视频| 亚洲日韩国产精品乱-久| 精品熟女少妇AV免费观看| 色在线亚洲视频www| 四虎成人免费观看在线网址| 亚洲精品自偷自拍无码| 国产精品无码素人福利免费| 白白色免费在线视频| 亚洲成AV人网址| 国产又黄又爽胸又大免费视频| 亚洲码和欧洲码一码二码三码| 99久久国产亚洲综合精品| 一二三四免费观看在线电影 | 成人亚洲网站www在线观看| 特a级免费高清黄色片| 亚洲精品无码激情AV| 成人毛片100免费观看| 亚洲视频在线观看一区| 黄页网站免费观看| 青青视频免费在线| 亚洲精品无码久久千人斩| 97在线视频免费| 亚洲精品无码国产片| 中文字幕无码精品亚洲资源网| 亚欧免费一级毛片| 亚洲精品无码日韩国产不卡av| 亚洲国产精品人人做人人爱| 久久久久免费精品国产| 亚洲制服在线观看| gogo全球高清大胆亚洲| 美女视频黄的免费视频网页| 亚洲 暴爽 AV人人爽日日碰| 亚洲区不卡顿区在线观看| 免费观看美女用震蛋喷水的视频| 国产成人高清亚洲一区久久| 亚洲AV日韩精品久久久久久|