<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    paulwong

    一個PIG腳本例子分析

    執行腳本:
    PIGGYBANK_PATH=$PIG_HOME/contrib/piggybank/java/piggybank.jar
    INPUT=pig/input/test-pig-full.txt
    OUTPUT=pig/output/test-pig-output-$(date  +%Y%m%d%H%M%S)
    PIGSCRIPT=analyst_status_logs.pig

    #analyst_500_404_month.pig
    #
    analyst_500_404_day.pig
    #
    analyst_404_percentage.pig
    #
    analyst_500_percentage.pig
    #
    analyst_unique_path.pig
    #
    analyst_user_logs.pig
    #
    analyst_status_logs.pig


    pig -p PIGGYBANK_PATH=$PIGGYBANK_PATH -p INPUT=$INPUT -p OUTPUT=$OUTPUT $PIGSCRIPT


    要分析的數據源,LOG 文件
    46.20.45.18 - - [25/Dec/2012:23:00:25 +0100] "GET / HTTP/1.0" 302 - "-" "Pingdom.com_bot_version_1.4_(http://www.pingdom.com/)" "-" "-" 46.20.45.18 "" 11011AEC9542DB0983093A100E8733F8 0
    46.20.45.18 - - [25/Dec/2012:23:00:25 +0100] "GET /sign-in.jspx HTTP/1.0" 200 3926 "-" "Pingdom.com_bot_version_1.4_(http://www.pingdom.com/)" "-" "-" 46.20.45.18 "" 11011AEC9542DB0983093A100E8733F8 0
    69.59.28.19 - - [25/Dec/2012:23:01:25 +0100] "GET / HTTP/1.0" 302 - "-" "Pingdom.com_bot_version_1.4_(http://www.pingdom.com/)" "-" "-" 69.59.28.19 "" 36D80DE7FE52A2D89A8F53A012307B0A 15


    PIG腳本:
    --注冊JAR包,因為要用到DateExtractor
    register '$PIGGYBANK_PATH';

    --聲明一個短函數名
    DEFINE DATE_EXTRACT_MM 
    org.apache.pig.piggybank.evaluation.util.apachelogparser.DateExtractor('yyyy-MM');

    DEFINE DATE_EXTRACT_DD 
    org.apache.pig.piggybank.evaluation.util.apachelogparser.DateExtractor('yyyy-MM-dd');

    -- pig/input/test-pig-full.txt
    --把數據從變量所指的文件加載到PIG中,并定義數據列名,此時的數據集為數組(a,b,c)
    raw_logs = load '$INPUT' USING org.apache.pig.piggybank.storage.MyRegExLoader('^(\\S+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\d{4})\\] "(\\S+) (\\S+) (HTTP[^"]+)" (\\S+) (\\S+) "([^"]*)" "([^"]*)" "(\\S+)" "(\\S+)" (\\S+) "(.*)" (\\S+) (\\S+)')
    as (remoteAddr: chararray, 
    n2: chararray, 
    n3: chararray, 
    time: chararray, 
    method: chararray,
    path:chararray,
    protocol:chararray,
    status: int, 
    bytes_string: chararray, 
    referrer: chararray, 
    browser: chararray, 
    n10:chararray,
    remoteLogname: chararray, 
    remoteAddr12: chararray, 
    path2: chararray, 
    sessionid: chararray, 
    n15: chararray
    );

    --過濾數據
    filter_logs = FILTER raw_logs BY not (browser matches '.*pingdom.*');
    --item_logs = FOREACH raw_logs GENERATE browser;

    --percent 500 logs
    --重定義數據項,數據集只取2項status,month
    reitem_percent_500_logs = FOREACH filter_logs GENERATE status,DATE_EXTRACT_MM(time) as month;
    --分組數據集,此時的數據結構為MAP(a{(aa,bb,cc),(dd,ee,ff)},b{(bb,cc,dd),(ff,gg,hh)})
    group_month_percent_500_logs = GROUP reitem_percent_500_logs BY (month);
    --重定義分組數據集數據項,進行分組統計,此時要聯合分組數據集和原數據集統計
    final_month_500_logs = FOREACH group_month_percent_500_logs 
    {
        --對原數據集做count,因為是在foreachj里做count的,即使是對原數據集,也會自動會加month==group的條件
        --從這里可以看出對于group里的數據集,完全沒用到
        --這時是以每一行為單位的,統計MAP中的KEY-a對應的數組在原數據集中的個數
        total = COUNT(reitem_percent_500_logs);
        --對原數據集做filter,因為是在foreachj里做count的,即使是對原數據集,也會自動會加month==group的條件
        --重新過濾一下原數據集,得到status==500,month==group的數據集
        t = filter reitem_percent_500_logs by status== 500; --create a bag which contains only T values
        --重定義數據項,取group,統計結果
        generate flatten(group) as col1, 100*(double)COUNT(t)/(double)total;
    }
    STORE final_month_500_logs into '$OUTPUT' using PigStorage(',');

    posted on 2013-04-13 15:21 paulwong 閱讀(2308) 評論(0)  編輯  收藏 所屬分類: 分布式HADOOP云計算PIG

    主站蜘蛛池模板: 免费人成黄页在线观看日本| 久久精品国产精品亚洲艾| 亚洲AV无码精品色午夜果冻不卡| 国内精品免费在线观看| 亚洲综合色丁香麻豆| 青青操视频在线免费观看| 亚洲国产黄在线观看| 国产亚洲中文日本不卡二区 | 青青操视频在线免费观看| 亚洲福利一区二区| 四虎影在线永久免费观看| 亚洲AV无码AV吞精久久| 两性刺激生活片免费视频| 色婷婷亚洲十月十月色天| 毛片在线全部免费观看| 日韩亚洲国产综合高清| 亚洲一区二区三区无码中文字幕 | a毛片视频免费观看影院| 亚洲a级在线观看| 欧美好看的免费电影在线观看| 亚洲成人黄色在线观看| 亚洲成在人线aⅴ免费毛片| 亚洲一卡2卡三卡4卡无卡下载| 青苹果乐园免费高清在线| 两性色午夜免费视频| 国产成人精品日本亚洲网站 | 成熟女人特级毛片www免费| 亚洲国产精品无码观看久久| 国产精品久免费的黄网站| 免费又黄又爽又猛大片午夜 | 亚洲综合丁香婷婷六月香| 免费被黄网站在观看| 免费亚洲视频在线观看| 久久精品国产精品亚洲艾草网美妙| caoporm碰最新免费公开视频| 自拍偷自拍亚洲精品被多人伦好爽| 国产成人精品无码免费看| 亚洲国产精品日韩在线| 亚洲日韩激情无码一区| 亚洲Av无码乱码在线观看性色| 毛片免费在线播放|