paulwong

HBASE讀書筆記

posted @ 2013-02-01 13:55 paulwong 閱讀(477) | 評論 (0) | 編輯 收藏

Hadoop的幾種Join方法

1) 在Reduce階段進行Join,這樣運算量比較小.(這個適合被Join的數據比較小的情況下.)
2) 壓縮字段,對數據預處理,過濾不需要的字段.
3) 最后一步就是在Mapper階段過濾,這個就是Bloom Filter的用武之地了.也就是需要詳細說明的地方.


下面就拿一個我們大家都熟悉的場景來說明這個問題: 找出上個月動感地帶的客戶資費的使用情況,包括接入和撥出.

(這個只是我臆想出來的例子,根據實際的DB數據存儲結構,在這個場景下肯定有更好的解決方案,大家不要太較真哦)

這個時候的兩個個數據集都是比較大的,這兩個數據集分別是:上個月的通話記錄,動感地帶的手機號碼列表.


比較直接的處理方法有2種:

1)在 Reduce 階段,通過動感地帶號碼來過濾.

優點:這樣需要處理的數據相對比較少,這個也是比較常用的方法.

缺點:很多數據在Mapper階段花了老鼻子力氣匯總了,還通過網絡Shuffle到Reduce節點,結果到這個階段給過濾了.



2)在 Mapper 階段時,通過動感地帶號碼來過濾數據.

優點:這樣可以過濾很多不是動感地帶的數據,比如神州行,全球通.這些過濾的數據就可以節省很多網絡帶寬了.

缺點:就是動感地帶的號碼不是小數目,如果這樣處理就需要把這個大塊頭復制到所有的Mapper節點,甚至是Distributed Cache.(Bloom Filter就是用來解決這個問題的)


Bloom Filter就是用來解決上面方法2的缺點的.

方法2的缺點就是大量的數據需要在多個節點復制.Bloom Filter通過多個Hash算法, 把這個號碼列表壓縮到了一個Bitmap里面. 通過允許一定的錯誤率來換空間, 這個和我們平時經常提到的時間和空間的互換類似.詳細情況可以參考:

http://blog.csdn.net/jiaomeng/article/details/1495500

但是這個算法也是有缺陷的,就是會把很多神州行,全球通之類的號碼當成動感地帶.但在這個場景中,這根本不是問題.因為這個算法只是過濾一些號碼,漏網之魚會在Reduce階段進行精確匹配時顧慮掉.

這個方法改進之后基本上完全回避了方法2的缺點:

1) 沒有大量的動感地帶號碼發送到所有的Mapper節點.
2) 很多非動感地帶號碼在Mapper階段就過濾了(雖然不是100%),避免了網絡帶寬的開銷及延時.


繼續需要學習的地方:Bitmap的大小, Hash函數的多少, 以及存儲的數據的多少. 這3個變量如何取值才能才能在存儲空間與錯誤率之間取得一個平衡.

posted @ 2013-01-31 18:24 paulwong 閱讀(490) | 評論 (0) | 編輯 收藏

配置secondarynamenode

NAME NODE起保存DATA NODE上文件的位置信息用，主要有兩個保存文件：FsImage和EditLog，FsImage保存了上一次NAME NODE啟動時的狀態，EditLog則記錄每次成功后的對HDFS的操作行為。當NAME NODE重啟時，會合并FsImage和EditLog成為一個新的FsImage，清空EditLog，如果EditLog非常大的時候，則NAME NODE啟動的時間會非常長。因此就有SECOND NAME NODE。


SECOND NAME NODE會以HTTP的方式向NAME NODE要這兩個文件，當NAME NODE收到請求時，就會韋一個新的EditLog來記錄，這時SECOND NAME NODE就會將取得的這兩個文件合并，成一個新的FsImage，再發給NAME NODE，NAME NODE收到后，就會以這個為準，舊的就會歸檔不用。


SECOND NAME NODE還有一個用途就是當NAME NODE DOWN了的時候，可以改SECOND NAME NODE的IP為NAME NODE所用的IP，當NAME NODE用。

secondary namenoded 配置很容易被忽視，如果jps檢查都正常，大家通常不會太關心，除非namenode發生問題的時候，才會想起還有個secondary namenode，它的配置共兩步：

1. 集群配置文件conf/master中添加secondarynamenode的機器
2. 修改/添加 hdfs-site.xml中如下屬性：
   
   

這兩項配置OK后，啟動集群。進入secondary namenode 機器，檢查fs.checkpoint.dir（core-site.xml文件，默認為${hadoop.tmp.dir}/dfs/namesecondary）目錄同步狀態是否和namenode一致的。

如果不配置第二項則，secondary namenode同步文件夾永遠為空，這時查看secondary namenode的log顯示錯誤為：




可能用到的core-site.xml文件相關屬性：

posted @ 2013-01-31 17:39 paulwong 閱讀(341) | 評論 (0) | 編輯 收藏

配置Hadoop M/R 采用Fair Scheduler算法代替FIFO

采用Cloudera版本的hadoop/hbase:

hadoop-0.20.2-cdh3u0

hbase-0.90.1-cdh3u0

zookeeper-3.3.3-cdh3u0

默認已支持FairScheduler調度算法.

只需改配置使期用FairSchedule而非默認的JobQueueTaskScheduler即可.

配置fair-scheduler.xml (/$HADOOP_HOME/conf/):




配置$HADOOP_HOME/conf/mapred-site.xml,最后添加:




然后重新運行集群,這樣有幾個Job(上面配置是5個并行)并行運行時,不會因為一個Job把Map/Reduce占滿而使其它Job處于Pending狀態.

可從: http://<masterip>:50030/scheduler查看并行運行的狀態.

posted @ 2013-01-31 17:30 paulwong 閱讀(1519) | 評論 (1) | 編輯 收藏

大規模數據查重的多種方法，及Bloom Filter的應用

挺有意思的題目。


1. 給你A,B兩個文件，各存放50億條URL，每條URL占用64字節，內存限制是4G，讓你找出:A,B文件共同的URL。
解法一：Hash成內存大小的小塊文件，然后分塊內存內查交集。
解法二：Bloom Filter（廣泛應用于URL過濾、查重。參考http://en.wikipedia.org/wiki/Bloom_filter、http://blog.csdn.net/jiaomeng/archive/2007/01/28/1496329.aspx）


2. 有10個文件，每個文件1G， 每個文件的每一行都存放的是用戶的query，每個文件的query都可能重復。要你按照query的頻度排序。
解法一：根據數據稀疏程度算法會有不同，通用方法是用Hash把文件重排，讓相同query一定會在同一個文件，同時進行計數，然后歸并，用最小堆來統計頻度最大的。
解法二：類似1，但是用的是與簡單Bloom Filter稍有不同的CBF（Counting Bloom Filter）或者更進一步的SBF（Spectral Bloom Filter，參考http://blog.csdn.net/jiaomeng/archive/2007/03/19/1534238.aspx）
解法三：MapReduce，幾分鐘可以在hadoop集群上搞定。參考http://en.wikipedia.org/wiki/MapReduce


3. 有一個1G大小的一個文件，里面每一行是一個詞，詞的大小不超過16個字節，內存限制大小是1M。返回頻數最高的100個詞。
解法一：跟2類似，只是不需要排序，各個文件分別統計前100，然后一起找前100。

posted @ 2013-01-31 13:55 paulwong 閱讀(1147) | 評論 (0) | 編輯 收藏

Cassandra VS. HBase 全文zz

posted @ 2013-01-30 00:22 paulwong 閱讀(451) | 評論 (0) | 編輯 收藏

NOSQL之旅---HBase(轉)

http://www.jdon.com/38244

最近因為項目原因，研究了Cassandra,Hbase等幾個NoSQL數據庫，最終決定采用HBase。在這里，我就向大家分享一下自己對HBase的理解。

在說HBase之前，我想再嘮叨幾句。做互聯網應用的哥們兒應該都清楚，互聯網應用這東西，你沒辦法預測你的系統什么時候會被多少人訪問，你面臨的用戶到底有多少，說不定今天你的用戶還少，明天系統用戶就變多了，結果您的系統應付不過來了了，不干了，這豈不是咱哥幾個的悲哀，說時髦點就叫“杯具啊”。

其實說白了，這些就是事先沒有認清楚互聯網應用什么才是最重要的。從系統架構的角度來說，互聯網應用更加看重系統性能以及伸縮性，而傳統企業級應用都是比較看重數據完整性和數據安全性。那么我們就來說說互聯網應用伸縮性這事兒.對于伸縮性這事兒，哥們兒我也寫了幾篇博文，想看的兄弟可以參考我以前的博文，對于web server,app server的伸縮性，我在這里先不說了，因為這部分的伸縮性相對來說比較容易一點，我主要來回顧一些一個慢慢變大的互聯網應用如何應對數據庫這一層的伸縮。

首先剛開始，人不多，壓力也不大,搞一臺數據庫服務器就搞定了，此時所有的東東都塞進一個Server里，包括web server,app server,db server,但是隨著人越來越多，系統壓力越來越多，這個時候可能你把web server,app server和db server分離了，好歹這樣可以應付一陣子，但是隨著用戶量的不斷增加，你會發現，數據庫這哥們不行了，速度老慢了，有時候還會宕掉，所以這個時候，你得給數據庫這哥們找幾個伴，這個時候Master-Salve就出現了，這個時候有一個Master Server專門負責接收寫操作，另外的幾個Salve Server專門進行讀取，這樣Master這哥們終于不抱怨了，總算讀寫分離了，壓力總算輕點了,這個時候其實主要是對讀取操作進行了水平擴張，通過增加多個Salve來克服查詢時CPU瓶頸。一般這樣下來，你的系統可以應付一定的壓力，但是隨著用戶數量的增多，壓力的不斷增加，你會發現Master server這哥們的寫壓力還是變的太大，沒辦法，這個時候怎么辦呢？你就得切分啊，俗話說“只有切分了，才會有伸縮性嘛”，所以啊，這個時候只能分庫了，這也是我們常說的數據庫“垂直切分”，比如將一些不關聯的數據存放到不同的庫中，分開部署，這樣終于可以帶走一部分的讀取和寫入壓力了，Master又可以輕松一點了，但是隨著數據的不斷增多，你的數據庫表中的數據又變的非常的大，這樣查詢效率非常低，這個時候就需要進行“水平分區”了，比如通過將User表中的數據按照10W來劃分，這樣每張表不會超過10W了。

綜上所述，一般一個流行的web站點都會經歷一個從單臺DB，到主從復制，到垂直分區再到水平分區的痛苦的過程。其實數據庫切分這事兒，看起來原理貌似很簡單，如果真正做起來，我想凡是sharding過數據庫的哥們兒都深受其苦啊。對于數據庫伸縮的文章，哥們兒可以看看后面的參考資料介紹。

好了，從上面的那一堆廢話中，我們也發現數據庫存儲水平擴張scale out是多么痛苦的一件事情，不過幸好技術在進步，業界的其它弟兄也在努力，09年這一年出現了非常多的NoSQL數據庫，更準確的應該說是No relation數據庫，這些數據庫多數都會對非結構化的數據提供透明的水平擴張能力，大大減輕了哥們兒設計時候的壓力。下面我就拿Hbase這分布式列存儲系統來說說。

一 Hbase是個啥東東？
在說Hase是個啥家伙之前，首先我們來看看兩個概念，面向行存儲和面向列存儲。面向行存儲，我相信大伙兒應該都清楚，我們熟悉的RDBMS就是此種類型的，面向行存儲的數據庫主要適合于事務性要求嚴格場合，或者說面向行存儲的存儲系統適合OLTP，但是根據CAP理論，傳統的RDBMS，為了實現強一致性，通過嚴格的ACID事務來進行同步，這就造成了系統的可用性和伸縮性方面大大折扣，而目前的很多NoSQL產品，包括Hbase，它們都是一種最終一致性的系統，它們為了高的可用性犧牲了一部分的一致性。好像，我上面說了面向列存儲，那么到底什么是面向列存儲呢？Hbase,Casandra,Bigtable都屬于面向列存儲的分布式存儲系統。看到這里，如果您不明白Hbase是個啥東東，不要緊，我再總結一下下：

Hbase是一個面向列存儲的分布式存儲系統，它的優點在于可以實現高性能的并發讀寫操作，同時Hbase還會對數據進行透明的切分，這樣就使得存儲本身具有了水平伸縮性。


二 Hbase數據模型
HBase,Cassandra的數據模型非常類似，他們的思想都是來源于Google的Bigtable，因此這三者的數據模型非常類似，唯一不同的就是Cassandra具有Super cloumn family的概念，而Hbase目前我沒發現。好了，廢話少說，我們來看看Hbase的數據模型到底是個啥東東。

在Hbase里面有以下兩個主要的概念，Row key,Column Family，我們首先來看看Column family,Column family中文又名“列族”，Column family是在系統啟動之前預先定義好的，每一個Column Family都可以根據“限定符”有多個column.下面我們來舉個例子就會非常的清晰了。

假如系統中有一個User表，如果按照傳統的RDBMS的話，User表中的列是固定的，比如schema 定義了name,age,sex等屬性，User的屬性是不能動態增加的。但是如果采用列存儲系統，比如Hbase，那么我們可以定義User表，然后定義info 列族，User的數據可以分為：info:name = zhangsan,info:age=30,info:sex=male等，如果后來你又想增加另外的屬性，這樣很方便只需要info:newProperty就可以了。

也許前面的這個例子還不夠清晰，我們再舉個例子來解釋一下，熟悉SNS的朋友，應該都知道有好友Feed，一般設計Feed，我們都是按照“某人在某時做了標題為某某的事情”，但是同時一般我們也會預留一下關鍵字，比如有時候feed也許需要url，feed需要image屬性等，這樣來說，feed本身的屬性是不確定的，因此如果采用傳統的關系數據庫將非常麻煩，況且關系數據庫會造成一些為null的單元浪費，而列存儲就不會出現這個問題，在Hbase里，如果每一個column 單元沒有值，那么是占用空間的。下面我們通過兩張圖來形象的表示這種關系：




上圖是傳統的RDBMS設計的Feed表，我們可以看出feed有多少列是固定的，不能增加，并且為null的列浪費了空間。但是我們再看看下圖，下圖為Hbase，Cassandra,Bigtable的數據模型圖，從下圖可以看出，Feed表的列可以動態的增加，并且為空的列是不存儲的，這就大大節約了空間，關鍵是Feed這東西隨著系統的運行，各種各樣的Feed會出現，我們事先沒辦法預測有多少種Feed，那么我們也就沒有辦法確定Feed表有多少列，因此Hbase,Cassandra,Bigtable的基于列存儲的數據模型就非常適合此場景。說到這里，采用Hbase的這種方式，還有一個非常重要的好處就是Feed會自動切分，當Feed表中的數據超過某一個閥值以后，Hbase會自動為我們切分數據，這樣的話，查詢就具有了伸縮性，而再加上Hbase的弱事務性的特性，對Hbase的寫入操作也將變得非常快。



上面說了Column family，那么我之前說的Row key是啥東東，其實你可以理解row key為RDBMS中的某一個行的主鍵，但是因為Hbase不支持條件查詢以及Order by等查詢，因此Row key的設計就要根據你系統的查詢需求來設計了額。我還拿剛才那個Feed的列子來說，我們一般是查詢某個人最新的一些Feed，因此我們Feed的Row key可以有以下三個部分構成<userId><timestamp><feedId>，這樣以來當我們要查詢某個人的最進的Feed就可以指定Start Rowkey為<userId><0><0>，End Rowkey為<userId><Long.MAX_VALUE><Long.MAX_VALUE>來查詢了，同時因為Hbase中的記錄是按照rowkey來排序的，這樣就使得查詢變得非常快。


三 Hbase的優缺點
1 列的可以動態增加，并且列為空就不存儲數據,節省存儲空間.

2 Hbase自動切分數據，使得數據存儲自動具有水平scalability.

3 Hbase可以提供高并發讀寫操作的支持

Hbase的缺點：

1 不能支持條件查詢，只支持按照Row key來查詢.

2 暫時不能支持Master server的故障切換,當Master宕機后,整個存儲系統就會掛掉.



關于數據庫伸縮性的一點資料：
http://www.jurriaanpersyn.com/archives/2009/02/12/database-sharding-at-netlog-with-mysql-and-php/

http://adam.blog.heroku.com/past/2009/7/6/sql_databases_dont_scale/

posted @ 2013-01-29 23:50 paulwong 閱讀(368) | 評論 (1) | 編輯 收藏

MAPREDUCE運行原理

1. 將INPUT通過SPLIT成M個MAP任務
   


2. JOB TRACKER將這M個任務分派給TASK TRACKER執行


3. TASK TRACKER執行完MAP任務后，會在本地生成文件，然后通知JOB TRACKER


4. JOB TRACKER收到通知后，將此任務標記為已完成，如果收到失敗的消息，會將此任務重置為原始狀態，再分派給另一TASK TRACKER執行


5. 當所有的MAP任務完成后，JOB TRACKER將MAP執行后生成的LIST重新整理，整合相同的KEY，根據KEY的數量生成R個REDUCE任務，再分派給TASK TRACKER執行


6. TASK TRACKER執行完REDUCE任務后，會在HDFS生成文件，然后通知JOB TRACKER
   
   


7. JOB TRACKER等到所有的REDUCE任務執行完后，進行合并，產生最后結果，通知CLIENT
   
   


8. TASK TRACKER執行完MAP任務時，可以重新生成新的KEY VALUE對，從而影響REDUCE個數
   
   

posted @ 2013-01-29 12:54 paulwong 閱讀(274) | 評論 (0) | 編輯 收藏

Windows環境下用ECLIPSE提交MAPREDUCE JOB至遠程HBASE中運行

1. 假設遠程HADOOP主機名為ubuntu，則應在hosts文件中加上192.168.58.130       ubuntu
   
   
   
2. 新建MAVEN項目，加上相應的配置
   pom.xml
   
   <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
     <modelVersion>4.0.0</modelVersion>
   
     <groupId>com.cloudputing</groupId>
     <artifactId>bigdata</artifactId>
     <version>1.0</version>
     <packaging>jar</packaging>
   
     <name>bigdata</name>
     <url>http://maven.apache.org</url>
   
     <properties>
       <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
     </properties>
   
       <dependencies>
           <dependency>
               <groupId>junit</groupId>
               <artifactId>junit</artifactId>
               <version>3.8.1</version>
               <scope>test</scope>
           </dependency>
           <dependency>
               <groupId>org.springframework.data</groupId>
               <artifactId>spring-data-hadoop</artifactId>
               <version>0.9.0.RELEASE</version>
           </dependency>
           <dependency>
               <groupId>org.apache.hbase</groupId>
               <artifactId>hbase</artifactId>
               <version>0.94.1</version>
           </dependency>
           
           <!-- <dependency>
               <groupId>org.apache.hbase</groupId>
               <artifactId>hbase</artifactId>
               <version>0.90.2</version>
           </dependency> -->
           <dependency>
               <groupId>org.apache.hadoop</groupId>
               <artifactId>hadoop-core</artifactId>
               <version>1.0.3</version>
           </dependency>
           <dependency>
               <groupId>org.springframework</groupId>
               <artifactId>spring-test</artifactId>
               <version>3.0.5.RELEASE</version>
           </dependency>
       </dependencies>
   </project>



3. hbase-site.xml
   

   <?xml version="1.0"?>
   <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
   <!--
   /**
    * Copyright 2010 The Apache Software Foundation
    *
    * Licensed to the Apache Software Foundation (ASF) under one
    * or more contributor license agreements.  See the NOTICE file
    * distributed with this work for additional information
    * regarding copyright ownership.  The ASF licenses this file
    * to you under the Apache License, Version 2.0 (the
    * "License"); you may not use this file except in compliance
    * with the License.  You may obtain a copy of the License at
    *
    *     http://www.apache.org/licenses/LICENSE-2.0
    *
    * Unless required by applicable law or agreed to in writing, software
    * distributed under the License is distributed on an "AS IS" BASIS,
    * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
    * See the License for the specific language governing permissions and
    * limitations under the License.
    */
   -->
   <configuration>
   
       <property>
           <name>hbase.rootdir</name>
           <value>hdfs://ubuntu:9000/hbase</value>
       </property>
   
       <!-- 在構造JOB時，會新建一文件夾來準備所需文件。
              如果這一段沒寫，則默認本地環境為LINUX，將用LINUX命令去實施，在WINDOWS環境下會出錯 -->
       <property>
           <name>mapred.job.tracker</name>
           <value>ubuntu:9001</value>
       </property>
       
       <property>
           <name>hbase.cluster.distributed</name>
           <value>true</value>
       </property>
       
       <!-- 此處會向ZOOKEEPER咨詢JOB TRACKER的可用IP -->
       <property>
           <name>hbase.zookeeper.quorum</name>
           <value>ubuntu</value>
       </property>
       <property skipInDoc="true">
           <name>hbase.defaults.for.version</name>
           <value>0.94.1</value>
       </property>
   
   </configuration>



4. 測試文件：MapreduceTest.java
   
   package com.cloudputing.mapreduce;
   
   import java.io.IOException;
   
   import junit.framework.TestCase;
   
   public class MapreduceTest extends TestCase{
       
       public void testReadJob() throws IOException, InterruptedException, ClassNotFoundException
       {
           MapreduceRead.read();
       }
   
   }



5. MapreduceRead.java
   package com.cloudputing.mapreduce;
   
   import java.io.IOException;
   
   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.fs.FileSystem;
   import org.apache.hadoop.fs.Path;
   import org.apache.hadoop.hbase.HBaseConfiguration;
   import org.apache.hadoop.hbase.client.Result;
   import org.apache.hadoop.hbase.client.Scan;
   import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
   import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
   import org.apache.hadoop.hbase.mapreduce.TableMapper;
   import org.apache.hadoop.hbase.util.Bytes;
   import org.apache.hadoop.io.Text;
   import org.apache.hadoop.mapreduce.Job;
   import org.apache.hadoop.mapreduce.lib.output.NullOutputFormat;
   
   public class MapreduceRead {
       
       public static void read() throws IOException, InterruptedException, ClassNotFoundException
       {
           // Add these statements. XXX
   //        File jarFile = EJob.createTempJar("target/classes");
   //        EJob.addClasspath("D:/PAUL/WORK/WORK-SPACES/TEST1/cloudputing/src/main/resources");
   //        ClassLoader classLoader = EJob.getClassLoader();
   //        Thread.currentThread().setContextClassLoader(classLoader);
   
           Configuration config = HBaseConfiguration.create();
           addTmpJar("file:/D:/PAUL/WORK/WORK-SPACES/TEST1/cloudputing/target/bigdata-1.0.jar",config);
           
           Job job = new Job(config, "ExampleRead");
           // And add this statement. XXX
   //        ((JobConf) job.getConfiguration()).setJar(jarFile.toString());
   
   //        TableMapReduceUtil.addDependencyJars(job);
   //        TableMapReduceUtil.addDependencyJars(job.getConfiguration(),
   //                MapreduceRead.class,MyMapper.class);
           
           job.setJarByClass(MapreduceRead.class);     // class that contains mapper
           
           Scan scan = new Scan();
           scan.setCaching(500);        // 1 is the default in Scan, which will be bad for MapReduce jobs
           scan.setCacheBlocks(false);  // don't set to true for MR jobs
           // set other scan attrs
           
           TableMapReduceUtil.initTableMapperJob(
                   "wiki",        // input HBase table name
                   scan,             // Scan instance to control CF and attribute selection
                   MapreduceRead.MyMapper.class,   // mapper
                   null,             // mapper output key 
                   null,             // mapper output value
                   job);
           job.setOutputFormatClass(NullOutputFormat.class);   // because we aren't emitting anything from mapper
           
   //        DistributedCache.addFileToClassPath(new Path("hdfs://node.tracker1:9000/user/root/lib/stat-analysis-mapred-1.0-SNAPSHOT.jar"),job.getConfiguration());
           
           boolean b = job.waitForCompletion(true);
           if (!b) {
               throw new IOException("error with job!");
           }
           
       }
       
       /**
        * 為Mapreduce添加第三方jar包
        * 
        * @param jarPath
        *            舉例：D:/Java/new_java_workspace/scm/lib/guava-r08.jar
        * @param conf
        * @throws IOException
        */
       public static void addTmpJar(String jarPath, Configuration conf) throws IOException {
           System.setProperty("path.separator", ":");
           FileSystem fs = FileSystem.getLocal(conf);
           String newJarPath = new Path(jarPath).makeQualified(fs).toString();
           String tmpjars = conf.get("tmpjars");
           if (tmpjars == null || tmpjars.length() == 0) {
               conf.set("tmpjars", newJarPath);
           } else {
               conf.set("tmpjars", tmpjars + ":" + newJarPath);
           }
       }
       
       public static class MyMapper extends TableMapper<Text, Text> {
   
           public void map(ImmutableBytesWritable row, Result value,
                   Context context) throws InterruptedException, IOException {
               String val1 = getValue(value.getValue(Bytes.toBytes("text"), Bytes.toBytes("qual1")));
               String val2 = getValue(value.getValue(Bytes.toBytes("text"), Bytes.toBytes("qual2")));
               System.out.println(val1 + " -- " + val2);
           }
           
           private String getValue(byte [] value)
           {
               return value == null? "null" : new String(value);
           }
       } 
   
   }

posted @ 2013-01-29 00:19 paulwong 閱讀(1761) | 評論 (0) | 編輯 收藏

權限管理要點參考

界面：



算法：



說明：
http://lilyproject.org/books/daisy_docs_book--2_3/publications/html-chunked/output/s182.html

注意：
此處的ACL可以是一個系統多個的，如某些情況用不同的ACL。
資源：可以指文檔ID，頁面ID之類的，由于文檔可能很多個，因此用表達式代替之。
角色：指ROLE/USER之類的。
動作（PERMISSION）：指操作類型，如讀、寫、刪除等。
結果（ACTION）：指GRANT、DENNY等。
具體實現方式：根據表達式進行運算，看哪個表達式為TRUE，則用哪個，再傳入PERMISSION 類型，角色，看ACTION是GRANT還是DENNY，如果是GRANT則授權通過，DENNY則授權不通過。

posted @ 2013-01-28 17:34 paulwong 閱讀(593) | 評論 (0) | 編輯 收藏