<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    走自己的路

    路漫漫其修遠兮,吾將上下而求索

      BlogJava :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理 ::
      50 隨筆 :: 4 文章 :: 118 評論 :: 0 Trackbacks

    統計服務對業務數據進行遷移,分析。

     

    外部遷移:

    業務數據存儲于Mysql中,Mysql存儲的數據會進行垂直,水平切分,業務數據會存在于多個mysql表中,數據分散使得分析程序寫起來頭大。并且mysql的單表存儲量有限,擴展起來也不容易,要定期做數據遷移。于是我們將mysql中的數據定時地遷移到mongoDB中,并清理mysql中的數據。

     

    外部遷移的程序是通用的:全量遷移,增量遷移(insertupdate)。遷移時是并發遷移的,可以根據業務ID或者時間分片。比如一個表中主要的操作是insert,這時他時間段內(上次遷移的結束時間到這次遷移的時間)ID基本是連續增長的,所以按ID分批,而某個表中的lastModifiedTime基本是連續的,這時我們按時間分批。

     

    外部遷移將Mysql多個表中的數據遷移到mongoDB的一個collection中。同時支持進行一些數據格式的轉換,但基本保證數據的原樣性。

     


     

     

    內部遷移

    內部遷移是對原始數據進行初步的整理,并臨時存儲到mongoDBcollection中。在統計完畢后清理臨時表。

     

    我們另外還開發了mongoDB查詢表達式和Java DSL,查詢表達式還支持用戶自定義函數,內部遷移只需要做簡單的配置,類似于SQL.

    select max(column) as max, count(column), min(column) from collection where columnc=”” and column b=””

     

    求最大值,最小值,可以用來分批并發處理。

     

    select userFunction(columnd), * from collectionA where columna=”” and columnb=”” group by columna into collectionB values set(columnb), sum(columnc), count(columna)

    columnd的數據格式化后upsertcollectionB

    sum是對columnc求和

    count是對columna求個數

     

    內部遷移后的臨時數據可以用來外部排重。比如求人數(非次數)可以group by后求count就可以了。


     

    分析

    分析程序我們也建議通過配置統計出來,也支持plugin的分析程序analyzer

    select sum(columna), count(columnb)

    查詢總數和個數

     

    select columnacolumnb from collectionB orderby columnc limit 30

    查詢值最大的30條數據

     

    CMS和排行服務可以通過統計服務直接查詢到感興趣的數據。



    posted on 2011-04-12 13:33 叱咤紅人 閱讀(2120) 評論(0)  編輯  收藏

    只有注冊用戶登錄后才能發表評論。


    網站導航:
     
    主站蜘蛛池模板: 一级毛片免费在线播放| 无码免费午夜福利片在线| 亚洲国产另类久久久精品黑人| 黄色毛片免费观看| 国产在线观看免费完整版中文版 | 亚洲一区在线视频| 久久国产免费观看精品3| 色播亚洲视频在线观看| 91av免费观看| 亚洲另类古典武侠| 无人在线观看完整免费版视频| 中文字幕亚洲男人的天堂网络| 毛片a级毛片免费观看免下载 | 久久九九全国免费| 亚洲AV无码一区二区乱孑伦AS| 午夜网站在线观看免费完整高清观看| 亚洲国产精品专区在线观看| 亚洲A∨无码无在线观看| 免费一区二区无码视频在线播放| 亚洲国产电影av在线网址| sihu国产精品永久免费| 亚洲乱亚洲乱妇无码麻豆| 在线毛片片免费观看| 精品国产亚洲一区二区三区| 日本卡1卡2卡三卡免费| 亚洲最新在线视频| 成人午夜视频免费| 特黄aa级毛片免费视频播放| 久久精品国产亚洲7777| 可以免费观看的毛片| 亚洲精品乱码久久久久久下载| 亚洲免费网站观看视频| 亚洲成a人无码亚洲成av无码| 亚洲Aⅴ无码一区二区二三区软件| 激情综合亚洲色婷婷五月APP| 午夜免费福利影院| 一级做a爰片性色毛片免费网站 | 男的把j放进女人下面视频免费| 亚洲精品在线播放| 麻豆精品国产免费观看| 免费一级毛片在线播放视频免费观看永久|