DBUS_SESSION_BUS_ADDRESS="tcp:host=localhost,port=732"

本文出自 “jayenho” 博客，轉(zhuǎn)載請(qǐng)與作者聯(lián)系！

一個(gè)圖片太大了，只好分割成為兩部分。根據(jù)流程圖來說一下具體一個(gè)任務(wù)執(zhí)行的情況。

1. 在分布式環(huán)境中客戶端創(chuàng)建任務(wù)并提交。
2. InputFormat做Map前的預(yù)處理，主要負(fù)責(zé)以下工作：
   
   1. 驗(yàn)證輸入的格式是否符合JobConfig的輸入定義，這個(gè)在實(shí)現(xiàn)Map和構(gòu)建Conf的時(shí)候就會(huì)知道，不定義可以是Writable的任意子類。
   2. 將input的文件切分為邏輯上的輸入InputSplit，其實(shí)這就是在上面提到的在分布式文件系統(tǒng)中blocksize是有大小限制的，因此大文件會(huì)被劃分為多個(gè)block。
   3. 通過RecordReader來再次處理inputsplit為一組records，輸出給Map。（inputsplit只是邏輯切分的第一步，但是如何根據(jù)文件中的信息來切分還需要RecordReader來實(shí)現(xiàn)，例如最簡(jiǎn)單的默認(rèn)方式就是回車換行的切分）
3. RecordReader處理后的結(jié)果作為Map的輸入，Map執(zhí)行定義的Map邏輯，輸出處理后的key和value對(duì)應(yīng)到臨時(shí)中間文件。
4. Combiner可選擇配置，主要作用是在每一個(gè)Map執(zhí)行完分析以后，在本地優(yōu)先作Reduce的工作，減少在Reduce過程中的數(shù)據(jù)傳輸量。
5. Partitioner可選擇配置，主要作用是在多個(gè)Reduce的情況下，指定Map的結(jié)果由某一個(gè)Reduce處理，每一個(gè)Reduce都會(huì)有單獨(dú)的輸出文件。（后面的代碼實(shí)例中有介紹使用場(chǎng)景）
6. Reduce執(zhí)行具體的業(yè)務(wù)邏輯，并且將處理結(jié)果輸出給OutputFormat。
7. OutputFormat的職責(zé)是，驗(yàn)證輸出目錄是否已經(jīng)存在，同時(shí)驗(yàn)證輸出結(jié)果類型是否如Config中配置，最后輸出Reduce匯總后的結(jié)果。

業(yè)務(wù)場(chǎng)景和代碼范例

業(yè)務(wù)場(chǎng)景描述：可設(shè)定輸入和輸出路徑（操作系統(tǒng)的路徑非HDFS路徑），根據(jù)訪問日志分析某一個(gè)應(yīng)用訪問某一個(gè)API的總次數(shù)和總流量，統(tǒng)計(jì)后分別輸出到兩個(gè)文件中。這里僅僅為了測(cè)試，沒有去細(xì)分很多類，將所有的類都?xì)w并于一個(gè)類便于說明問題。

測(cè)試代碼類圖

LogAnalysiser就是主類，主要負(fù)責(zé)創(chuàng)建、提交任務(wù)，并且輸出部分信息。內(nèi)部的幾個(gè)子類用途可以參看流程中提到的角色職責(zé)。具體地看看幾個(gè)類和方法的代碼片斷：

LogAnalysiser::MapClass

    public static class MapClass extends MapReduceBase

        implements Mapper<LongWritable, Text, Text, LongWritable> 

    {

        public void map(LongWritable key, Text value, OutputCollector<Text, LongWritable> output, Reporter reporter)

                throws IOException

        {    

            String line = value.toString();//沒有配置RecordReader，所以默認(rèn)采用line的實(shí)現(xiàn)，key就是行號(hào)，value就是行內(nèi)容

            if (line == null || line.equals(""))

                return;

            String[] words = line.split(",");

            if (words == null || words.length < 8)

                return;

            String appid = words[1];

            String apiName = words[2];

            LongWritable recbytes = new LongWritable(Long.parseLong(words[7]));

            Text record = new Text();

            record.set(new StringBuffer("flow::").append(appid)

                            .append("::").append(apiName).toString());

            reporter.progress();

            output.collect(record, recbytes);//輸出流量的統(tǒng)計(jì)結(jié)果，通過flow::作為前綴來標(biāo)示。

            record.clear();

            record.set(new StringBuffer("count::").append(appid).append("::").append(apiName).toString());

            output.collect(record, new LongWritable(1));//輸出次數(shù)的統(tǒng)計(jì)結(jié)果，通過count::作為前綴來標(biāo)示

        }    

    }

LogAnalysiser:: PartitionerClass

    public static class PartitionerClass implements Partitioner<Text, LongWritable>

    {

        public int getPartition(Text key, LongWritable value, int numPartitions)

        {

            if (numPartitions >= 2)//Reduce 個(gè)數(shù)，判斷流量還是次數(shù)的統(tǒng)計(jì)分配到不同的Reduce

                if (key.toString().startsWith("flow::"))

                    return 0;

                else

                    return 1;

            else

                return 0;

        }

        public void configure(JobConf job){}    

}

LogAnalysiser:: CombinerClass

參看ReduceClass，通常兩者可以使用一個(gè)，不過這里有些不同的處理就分成了兩個(gè)。在ReduceClass中藍(lán)色的行表示在CombinerClass中不存在。

LogAnalysiser:: ReduceClass

    public static class ReduceClass extends MapReduceBase

        implements Reducer<Text, LongWritable,Text, LongWritable> 

    {

        public void reduce(Text key, Iterator<LongWritable> values,

                OutputCollector<Text, LongWritable> output, Reporter reporter)throws IOException

        {

            Text newkey = new Text();

            newkey.set(key.toString().substring(key.toString().indexOf("::")+2));

            LongWritable result = new LongWritable();

            long tmp = 0;

            int counter = 0;

            while(values.hasNext())//累加同一個(gè)key的統(tǒng)計(jì)結(jié)果

            {

                tmp = tmp + values.next().get();

                

                counter = counter +1;//擔(dān)心處理太久，JobTracker長(zhǎng)時(shí)間沒有收到報(bào)告會(huì)認(rèn)為TaskTracker已經(jīng)失效，因此定時(shí)報(bào)告一下

                if (counter == 1000)

                {

                    counter = 0;

                    reporter.progress();

                }

            }

            result.set(tmp);

            output.collect(newkey, result);//輸出最后的匯總結(jié)果

        }    

    }

LogAnalysiser

	public static void main(String[] args)

{

try

{

run(args);

} catch (Exception e)

{

e.printStackTrace();

}

}

public static void run(String[] args) throws Exception

{

if (args == null || args.length <2)

{

System.out.println("need inputpath and outputpath");

return;

}

String inputpath = args[0];

String outputpath = args[1];

String shortin = args[0];

String shortout = args[1];

if (shortin.indexOf(File.separator) >= 0)

shortin = shortin.substring(shortin.lastIndexOf(File.separator));

if (shortout.indexOf(File.separator) >= 0)

shortout = shortout.substring(shortout.lastIndexOf(File.separator));

SimpleDateFormat formater = new SimpleDateFormat("yyyy.MM.dd");

shortout = new StringBuffer(shortout).append("-")

.append(formater.format(new Date())).toString();





if (!shortin.startsWith("/"))

shortin = "/" + shortin;

if (!shortout.startsWith("/"))

shortout = "/" + shortout;

shortin = "/user/root" + shortin;

shortout = "/user/root" + shortout;			

File inputdir = new File(inputpath);

File outputdir = new File(outputpath);

if (!inputdir.exists() || !inputdir.isDirectory())

{

System.out.println("inputpath not exist or isn't dir!");

return;

}

if (!outputdir.exists())

{

new File(outputpath).mkdirs();

}



JobConf conf = new JobConf(new Configuration(),LogAnalysiser.class);//構(gòu)建Config

FileSystem fileSys = FileSystem.get(conf);

fileSys.copyFromLocalFile(new Path(inputpath), new Path(shortin));//將本地文件系統(tǒng)的文件拷貝到HDFS中



conf.setJobName("analysisjob");

conf.setOutputKeyClass(Text.class);//輸出的key類型，在OutputFormat會(huì)檢查

conf.setOutputValueClass(LongWritable.class); //輸出的value類型，在OutputFormat會(huì)檢查

conf.setMapperClass(MapClass.class);

conf.setCombinerClass(CombinerClass.class);

conf.setReducerClass(ReduceClass.class);

conf.setPartitionerClass(PartitionerClass.class);

conf.set("mapred.reduce.tasks", "2");//強(qiáng)制需要有兩個(gè)Reduce來分別處理流量和次數(shù)的統(tǒng)計(jì)

FileInputFormat.setInputPaths(conf, shortin);//hdfs中的輸入路徑

FileOutputFormat.setOutputPath(conf, new Path(shortout));//hdfs中輸出路徑



Date startTime = new Date();

System.out.println("Job started: " + startTime);

JobClient.runJob(conf);

Date end_time = new Date();

System.out.println("Job ended: " + end_time);

System.out.println("The job took " + (end_time.getTime() - startTime.getTime()) /1000 + " seconds.");

//刪除輸入和輸出的臨時(shí)文件

fileSys.copyToLocalFile(new Path(shortout),new Path(outputpath));

fileSys.delete(new Path(shortin),true);

fileSys.delete(new Path(shortout),true);

}

以上的代碼就完成了所有的邏輯性代碼，然后還需要一個(gè)注冊(cè)驅(qū)動(dòng)類來注冊(cè)業(yè)務(wù)Class為一個(gè)可標(biāo)示的命令，讓hadoop jar可以執(zhí)行。

public class ExampleDriver {

  public static void main(String argv[]){

    ProgramDriver pgd = new ProgramDriver();

    try {

      pgd.addClass("analysislog", LogAnalysiser.class, "A map/reduce program that analysis log .");

      pgd.driver(argv);

    }

    catch(Throwable e){

      e.printStackTrace();

    }

  }

}

將代碼打成jar，并且設(shè)置jar的mainClass為ExampleDriver這個(gè)類。在分布式環(huán)境啟動(dòng)以后執(zhí)行如下語句：

hadoop jar analysiser.jar analysislog /home/wenchu/test-in /home/wenchu/test-out

在/home/wenchu/test-in中是需要分析的日志文件，執(zhí)行后就會(huì)看見整個(gè)執(zhí)行過程，包括了Map和Reduce的進(jìn)度。執(zhí)行完畢會(huì)在/home/wenchu/test-out下看到輸出的內(nèi)容。有兩個(gè)文件：part-00000和part-00001分別記錄了統(tǒng)計(jì)后的結(jié)果。 如果需要看執(zhí)行的具體情況，可以看在輸出目錄下的_logs/history/xxxx_analysisjob，里面羅列了所有的Map，Reduce的創(chuàng)建情況以及執(zhí)行情況。在運(yùn)行期也可以通過瀏覽器來查看Map,Reduce的情況：http://MasterIP:50030/jobtracker.jsp

Hadoop集群測(cè)試

首先這里使用上面的范例作為測(cè)試，也沒有做太多的優(yōu)化配置，這個(gè)測(cè)試結(jié)果只是為了看看集群的效果，以及一些參數(shù)配置的影響。

文件復(fù)制數(shù)為1，blocksize 5M

Blocksize 5M

文件復(fù)制數(shù)為1

測(cè)試的數(shù)據(jù)結(jié)果很穩(wěn)定，基本測(cè)幾次同樣條件下都是一樣。通過測(cè)試結(jié)果可以看出以下幾點(diǎn)：

1. 機(jī)器數(shù)對(duì)于性能還是有幫助的（等于沒說^_^）。
2. 文件復(fù)制數(shù)的增加只對(duì)安全性有幫助，但是對(duì)于性能沒有太多幫助。而且現(xiàn)在采取的是將操作系統(tǒng)文件拷貝到HDFS中，所以備份多了，準(zhǔn)備的時(shí)間很長(zhǎng)。
3. blocksize對(duì)于性能影響很大，首先如果將block劃分的太小，那么將會(huì)增加job的數(shù)量，同時(shí)也增加了協(xié)作的代價(jià)，降低了性能，但是配置的太大也會(huì)讓job不能最大化并行處理。所以這個(gè)值的配置需要根據(jù)數(shù)據(jù)處理的量來考慮。
4. 最后就是除了這個(gè)表里面列出來的結(jié)果，應(yīng)該去仔細(xì)看輸出目錄中的_logs/history中的xxx_analysisjob這個(gè)文件，里面記錄了全部的執(zhí)行過程以及讀寫情況。這個(gè)可以更加清楚地了解哪里可能會(huì)更加耗時(shí)。

隨想

“云計(jì)算”熱的燙手，就和SAAS、Web2及SNS等一樣，往往都是在搞概念，只有真正踏踏實(shí)實(shí)的大型互聯(lián)網(wǎng)公司，才會(huì)投入人力物力去研究符合自己的分布式計(jì)算。其實(shí)當(dāng)你的數(shù)據(jù)量沒有那么大的時(shí)候，這種分布式計(jì)算也就僅僅只是一個(gè)玩具而已，只有在真正解決問題的過程中，它深層次的問題才會(huì)被挖掘出來。

這三篇文章（分布式計(jì)算開源框架Hadoop介紹，Hadoop中的集群配置和使用技巧）僅僅是為了給對(duì)分布式計(jì)算有興趣的朋友拋個(gè)磚，要想真的掘到金子，那么就踏踏實(shí)實(shí)的去用、去想、去分析。或者自己也會(huì)更進(jìn)一步地去研究框架中的實(shí)現(xiàn)機(jī)制，在解決自己?jiǎn)栴}的同時(shí)，也能夠貢獻(xiàn)一些什么。

前幾日看到有人跪求成為架構(gòu)師的方式，看了有些可悲，有些可笑，其實(shí)有多少架構(gòu)師知道什么叫做架構(gòu)？架構(gòu)師的職責(zé)是什么？與其追求這么一個(gè)名號(hào)，還不如踏踏實(shí)實(shí)地做塊石頭沉到水底。要知道，積累和沉淀的過程就是一種成長(zhǎng)。

相關(guān)閱讀：

1. 分布式計(jì)算開源框架Hadoop介紹――分布式計(jì)算開源框架Hadoop入門實(shí)踐（一）。
2. Hadoop中的集群配置和使用技巧――分布式計(jì)算開源框架Hadoop入門實(shí)踐（二）。

作者介紹：岑文初，就職于阿里軟件公司研發(fā)中心平臺(tái)一部，任架構(gòu)師。當(dāng)前主要工作涉及阿里軟件開發(fā)平臺(tái)服務(wù)框架（ASF）設(shè)計(jì)與實(shí)現(xiàn)，服務(wù)集成平臺(tái)（SIP）設(shè)計(jì)與實(shí)現(xiàn)。沒有什么擅長(zhǎng)或者精通，工作到現(xiàn)在唯一提升的就是學(xué)習(xí)能力和速度。個(gè)人Blog為：http://blog.csdn.net/cenwenchu79。

志愿參與InfoQ中文站內(nèi)容建設(shè)，請(qǐng)郵件至editors@cn.infoq.com。也歡迎大家到InfoQ中文站用戶討論組參與我們的線上討論。

http://code.google.com/p/nutla/ 

1、概述
 不管程序性能有多高，機(jī)器處理能力有多強(qiáng)，都會(huì)有其極限。能夠快速方便的橫向與縱向擴(kuò)展是Nut設(shè)計(jì)最重要的原則。
 Nut是一個(gè)Lucene+Hadoop分布式搜索框架，能對(duì)千G以上索引提供7*24小時(shí)搜索服務(wù)。在服務(wù)器資源足夠的情況下能達(dá)到每秒處理100萬次的搜索請(qǐng)求。
 Nut開發(fā)環(huán)境：jdk1.6.0.21+lucene3.0.2+eclipse3.6.1+hadoop0.20.2+zookeeper3.3.1+hbase0.20.6+memcached+linux

2、特新
 a、熱插拔
 b、可擴(kuò)展
 c、高負(fù)載
 d、易使用,與現(xiàn)有項(xiàng)目無縫集成
e、支持排序
f、7*24服務(wù)
g、失敗轉(zhuǎn)移

3、搜索流程
Nut由Index、Search、Client、Cache和DB五部分構(gòu)成。(Cache默認(rèn)使用memcached,DB默認(rèn)使用hbase)
Client處理用戶請(qǐng)求和對(duì)搜索結(jié)果排序。Search對(duì)請(qǐng)求進(jìn)行搜索，Search上只放索引，數(shù)據(jù)存儲(chǔ)在DB中，Nut將索引和存儲(chǔ)分離。Cache緩存的是搜索條件和結(jié)果文檔id。DB存儲(chǔ)著數(shù)據(jù)，Client根據(jù)搜索排序結(jié)果,取出當(dāng)前頁中的文檔id從DB上讀取數(shù)據(jù)。

用戶發(fā)起搜索請(qǐng)求給由Nut Client構(gòu)成的集群，由某個(gè)Nut Client根據(jù)搜索條件查詢Cache服務(wù)器是否有該緩存，如果有緩存根據(jù)緩存的文檔id直接從DB讀取數(shù)據(jù)，如果沒有緩存將隨機(jī)選擇一組搜索服務(wù)器組(Search Group i),將查詢條件同時(shí)發(fā)給該組搜索服務(wù)器組里的n臺(tái)搜索服務(wù)器，搜索服務(wù)器將搜索結(jié)果返回給Nut Client由其排序，取出當(dāng)前頁文檔id，將搜索條件和當(dāng)前文檔id緩存，同時(shí)從DB讀取數(shù)據(jù)。

4、索引流程
Hadoop Mapper/Reducer 建立索引。再將索引從HDFS分發(fā)到各個(gè)索引服務(wù)器。
對(duì)索引的更新分為兩種：刪除和添加（更新分解為刪除和添加）。
a、刪除
在HDFS上刪除索引，將生成的*.del文件分發(fā)到所有的索引服務(wù)器上去或者對(duì)HDFS索引目錄刪除索引再分發(fā)到對(duì)應(yīng)的索引服務(wù)器上去。
b、添加
新添加的數(shù)據(jù)用另一臺(tái)服務(wù)器來生成。
刪除和添加步驟可按不同定時(shí)策略來實(shí)現(xiàn)。

5、Zookeeper服務(wù)器狀態(tài)管理策略

在架構(gòu)設(shè)計(jì)上通過使用多組搜索服務(wù)器可以支持每秒處理100萬個(gè)搜索請(qǐng)求。
每組搜索服務(wù)器能處理的搜索請(qǐng)求數(shù)在1萬—1萬5千之間。如果使用100組搜索服務(wù)器，理論上每秒可處理100萬個(gè)搜索請(qǐng)求。

假如每組搜索服務(wù)器有100份索引放在100臺(tái)正在運(yùn)行中搜索服務(wù)器(run)上，那么將索引按照如下的方式放在備用中搜索服務(wù)器(bak)上：index 1,index 2,index 3,index 4,index 5,index 6,index 7,index 8,index 9,index 10放在B 1 上，index 6,index 7,index 8,index 9,index 10,index 11,index 12,index 13,index 14,index 15放在B 2上。。。。。。index 96,index 97,index 98,index 99,index 100,index 5,index 4,index 3,index 2,index 1放在最后一臺(tái)備用搜索服務(wù)器上。那么每份索引會(huì)存在3臺(tái)機(jī)器中（1份正在運(yùn)行中，2份備份中）。
盡管這樣設(shè)計(jì)每份索引會(huì)存在3臺(tái)機(jī)器中，仍然不是絕對(duì)安全的。假如運(yùn)行中的index 1,index 2,index 3同時(shí)宕機(jī)的話，那么就會(huì)有一份索引搜索服務(wù)無法正確啟用。這樣設(shè)計(jì)，作者認(rèn)為是在安全性和機(jī)器資源兩者之間一個(gè)比較適合的方案。

備用中的搜索服務(wù)器會(huì)定時(shí)檢查運(yùn)行中搜索服務(wù)器的狀態(tài)。一旦發(fā)現(xiàn)與自己索引對(duì)應(yīng)的服務(wù)器宕機(jī)就會(huì)向lock申請(qǐng)分布式鎖，得到分布式鎖的服務(wù)器就將自己加入到運(yùn)行中搜索服務(wù)器組，同時(shí)從備用搜索服務(wù)器組中刪除自己，并停止運(yùn)行中搜索服務(wù)器檢查服務(wù)。

為能夠更快速的得到搜索結(jié)果，設(shè)計(jì)上將搜索服務(wù)器分優(yōu)先等級(jí)。通常是將最新的數(shù)據(jù)放在一臺(tái)或幾臺(tái)內(nèi)存搜索服務(wù)器上。通常情況下前幾頁數(shù)據(jù)能在這幾臺(tái)搜索服務(wù)器里搜索到。如果在這幾臺(tái)搜索服務(wù)器上沒有數(shù)據(jù)時(shí)再向其他舊數(shù)據(jù)搜索服務(wù)器上搜索。
優(yōu)先搜索等級(jí)的邏輯是這樣的：9最大為搜索全部服務(wù)器并且9不能作為level標(biāo)識(shí)。當(dāng)搜索等級(jí)level為1，搜索優(yōu)先級(jí)為1的服務(wù)器，當(dāng)level為2時(shí)搜索優(yōu)先級(jí)為1和2的服務(wù)器，依此類推。

HBase – Hadoop Database，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。

HBase是Google Bigtable的開源實(shí)現(xiàn)，類似Google Bigtable利用GFS作為其文件存儲(chǔ)系統(tǒng)，HBase利用Hadoop HDFS作為其文件存儲(chǔ)系統(tǒng)；Google運(yùn)行MapReduce來處理Bigtable中的海量數(shù)據(jù)，HBase同樣利用Hadoop MapReduce來處理HBase中的海量數(shù)據(jù)；Google Bigtable利用 Chubby作為協(xié)同服務(wù)，HBase利用Zookeeper作為對(duì)應(yīng)。

上圖描述了Hadoop EcoSystem中的各層系統(tǒng)，其中HBase位于結(jié)構(gòu)化存儲(chǔ)層，Hadoop HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持，Hadoop MapReduce為HBase提供了高性能的計(jì)算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機(jī)制。

此外，Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理變的非常簡(jiǎn)單。 Sqoop則為HBase提供了方便的RDBMS數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向HBase中遷移變的非常方便。

HBase訪問接口

1.       Native Java API，最常規(guī)和高效的訪問方式，適合Hadoop MapReduce Job并行批處理HBase表數(shù)據(jù)

2.       HBase Shell，HBase的命令行工具，最簡(jiǎn)單的接口，適合HBase管理使用

3.       Thrift Gateway，利用Thrift序列化技術(shù)，支持C++，PHP，Python等多種語言，適合其他異構(gòu)系統(tǒng)在線訪問HBase表數(shù)據(jù)

4.       REST Gateway，支持REST 風(fēng)格的Http API訪問HBase, 解除了語言限制

5.       Pig，可以使用Pig Latin流式編程語言來操作HBase中的數(shù)據(jù)，和Hive類似，本質(zhì)最終也是編譯成MapReduce Job來處理HBase表數(shù)據(jù)，適合做數(shù)據(jù)統(tǒng)計(jì)

6.       Hive，當(dāng)前Hive的Release版本尚沒有加入對(duì)HBase的支持，但在下一個(gè)版本Hive 0.7.0中將會(huì)支持HBase，可以使用類似SQL語言來訪問HBase

HBase數(shù)據(jù)模型

Table & Column Family

Ø  Row Key: 行鍵，Table的主鍵，Table中的記錄按照Row Key排序

Ø  Timestamp: 時(shí)間戳，每次數(shù)據(jù)操作對(duì)應(yīng)的時(shí)間戳，可以看作是數(shù)據(jù)的version number

Ø  Column Family：列簇，Table在水平方向有一個(gè)或者多個(gè)Column Family組成，一個(gè)Column Family中可以由任意多個(gè)Column組成，即Column Family支持動(dòng)態(tài)擴(kuò)展，無需預(yù)先定義Column的數(shù)量以及類型，所有Column均以二進(jìn)制格式存儲(chǔ)，用戶需要自行進(jìn)行類型轉(zhuǎn)換。

Table & Region

當(dāng)Table隨著記錄數(shù)不斷增加而變大后，會(huì)逐漸分裂成多份splits，成為regions，一個(gè)region由[startkey,endkey)表示，不同的region會(huì)被Master分配給相應(yīng)的RegionServer進(jìn)行管理：

-ROOT- && .META. Table

HBase中有兩張?zhí)厥獾腡able，-ROOT-和.META.

Ø  .META.：記錄了用戶表的Region信息，.META.可以有多個(gè)regoin

Ø  -ROOT-：記錄了.META.表的Region信息，-ROOT-只有一個(gè)region

Ø  Zookeeper中記錄了-ROOT-表的location

Client訪問用戶數(shù)據(jù)之前需要首先訪問zookeeper，然后訪問-ROOT-表，接著訪問.META.表，最后才能找到用戶數(shù)據(jù)的位置去訪問，中間需要多次網(wǎng)絡(luò)操作，不過client端會(huì)做cache緩存。

MapReduce on HBase

在HBase系統(tǒng)上運(yùn)行批處理運(yùn)算，最方便和實(shí)用的模型依然是MapReduce，如下圖：

HBase Table和Region的關(guān)系，比較類似HDFS File和Block的關(guān)系，HBase提供了配套的TableInputFormat和TableOutputFormat API，可以方便的將HBase Table作為Hadoop MapReduce的Source和Sink，對(duì)于MapReduce Job應(yīng)用開發(fā)人員來說，基本不需要關(guān)注HBase系統(tǒng)自身的細(xì)節(jié)。

HBase系統(tǒng)架構(gòu)

Client

HBase Client使用HBase的RPC機(jī)制與HMaster和HRegionServer進(jìn)行通信，對(duì)于管理類操作，Client與HMaster進(jìn)行RPC；對(duì)于數(shù)據(jù)讀寫類操作，Client與HRegionServer進(jìn)行RPC

Zookeeper

Zookeeper Quorum中除了存儲(chǔ)了-ROOT-表的地址和HMaster的地址，HRegionServer也會(huì)把自己以Ephemeral方式注冊(cè)到Zookeeper中，使得HMaster可以隨時(shí)感知到各個(gè)HRegionServer的健康狀態(tài)。此外，Zookeeper也避免了HMaster的單點(diǎn)問題，見下文描述

HMaster

HMaster沒有單點(diǎn)問題，HBase中可以啟動(dòng)多個(gè)HMaster，通過Zookeeper的Master Election機(jī)制保證總有一個(gè)Master運(yùn)行，HMaster在功能上主要負(fù)責(zé)Table和Region的管理工作：

1.       管理用戶對(duì)Table的增、刪、改、查操作

2.       管理HRegionServer的負(fù)載均衡，調(diào)整Region分布

3.       在Region Split后，負(fù)責(zé)新Region的分配

4.       在HRegionServer停機(jī)后，負(fù)責(zé)失效HRegionServer 上的Regions遷移

HRegionServer

HRegionServer主要負(fù)責(zé)響應(yīng)用戶I/O請(qǐng)求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)，是HBase中最核心的模塊。

HRegionServer內(nèi)部管理了一系列HRegion對(duì)象，每個(gè)HRegion對(duì)應(yīng)了Table中的一個(gè)Region，HRegion中由多個(gè)HStore組成。每個(gè)HStore對(duì)應(yīng)了Table中的一個(gè)Column Family的存儲(chǔ)，可以看出每個(gè)Column Family其實(shí)就是一個(gè)集中的存儲(chǔ)單元，因此最好將具備共同IO特性的column放在一個(gè)Column Family中，這樣最高效。

HStore存儲(chǔ)是HBase存儲(chǔ)的核心了，其中由兩部分組成，一部分是MemStore，一部分是StoreFiles。MemStore是Sorted Memory Buffer，用戶寫入的數(shù)據(jù)首先會(huì)放入MemStore，當(dāng)MemStore滿了以后會(huì)Flush成一個(gè)StoreFile（底層實(shí)現(xiàn)是HFile），當(dāng)StoreFile文件數(shù)量增長(zhǎng)到一定閾值，會(huì)觸發(fā)Compact合并操作，將多個(gè)StoreFiles合并成一個(gè)StoreFile，合并過程中會(huì)進(jìn)行版本合并和數(shù)據(jù)刪除，因此可以看出HBase其實(shí)只有增加數(shù)據(jù)，所有的更新和刪除操作都是在后續(xù)的compact過程中進(jìn)行的，這使得用戶的寫操作只要進(jìn)入內(nèi)存中就可以立即返回，保證了HBase I/O的高性能。當(dāng)StoreFiles Compact后，會(huì)逐步形成越來越大的StoreFile，當(dāng)單個(gè)StoreFile大小超過一定閾值后，會(huì)觸發(fā)Split操作，同時(shí)把當(dāng)前Region Split成2個(gè)Region，父Region會(huì)下線，新Split出的2個(gè)孩子Region會(huì)被HMaster分配到相應(yīng)的HRegionServer上，使得原先1個(gè)Region的壓力得以分流到2個(gè)Region上。下圖描述了Compaction和Split的過程：

在理解了上述HStore的基本原理后，還必須了解一下HLog的功能，因?yàn)樯鲜龅腍Store在系統(tǒng)正常工作的前提下是沒有問題的，但是在分布式系統(tǒng)環(huán)境中，無法避免系統(tǒng)出錯(cuò)或者宕機(jī)，因此一旦HRegionServer意外退出，MemStore中的內(nèi)存數(shù)據(jù)將會(huì)丟失，這就需要引入HLog了。每個(gè)HRegionServer中都有一個(gè)HLog對(duì)象，HLog是一個(gè)實(shí)現(xiàn)Write Ahead Log的類，在每次用戶操作寫入MemStore的同時(shí)，也會(huì)寫一份數(shù)據(jù)到HLog文件中（HLog文件格式見后續(xù)），HLog文件定期會(huì)滾動(dòng)出新的，并刪除舊的文件（已持久化到StoreFile中的數(shù)據(jù)）。當(dāng)HRegionServer意外終止后，HMaster會(huì)通過Zookeeper感知到，HMaster首先會(huì)處理遺留的 HLog文件，將其中不同Region的Log數(shù)據(jù)進(jìn)行拆分，分別放到相應(yīng)region的目錄下，然后再將失效的region重新分配，領(lǐng)取 到這些region的HRegionServer在Load Region的過程中，會(huì)發(fā)現(xiàn)有歷史HLog需要處理，因此會(huì)Replay HLog中的數(shù)據(jù)到MemStore中，然后flush到StoreFiles，完成數(shù)據(jù)恢復(fù)。

HBase存儲(chǔ)格式

HBase中的所有數(shù)據(jù)文件都存儲(chǔ)在Hadoop HDFS文件系統(tǒng)上，主要包括上述提出的兩種文件類型：

1.       HFile， HBase中KeyValue數(shù)據(jù)的存儲(chǔ)格式，HFile是Hadoop的二進(jìn)制格式文件，實(shí)際上StoreFile就是對(duì)HFile做了輕量級(jí)包裝，即StoreFile底層就是HFile

2.       HLog File，HBase中WAL（Write Ahead Log） 的存儲(chǔ)格式，物理上是Hadoop的Sequence File

HFile

下圖是HFile的存儲(chǔ)格式：

首先HFile文件是不定長(zhǎng)的，長(zhǎng)度固定的只有其中的兩塊：Trailer和FileInfo。正如圖中所示的，Trailer中有指針指向其他數(shù)據(jù)塊的起始點(diǎn)。File Info中記錄了文件的一些Meta信息，例如：AVG_KEY_LEN, AVG_VALUE_LEN, LAST_KEY, COMPARATOR, MAX_SEQ_ID_KEY等。Data Index和Meta Index塊記錄了每個(gè)Data塊和Meta塊的起始點(diǎn)。

Data Block是HBase I/O的基本單元，為了提高效率，HRegionServer中有基于LRU的Block Cache機(jī)制。每個(gè)Data塊的大小可以在創(chuàng)建一個(gè)Table的時(shí)候通過參數(shù)指定，大號(hào)的Block有利于順序Scan，小號(hào)Block利于隨機(jī)查詢。每個(gè)Data塊除了開頭的Magic以外就是一個(gè)個(gè)KeyValue對(duì)拼接而成, Magic內(nèi)容就是一些隨機(jī)數(shù)字，目的是防止數(shù)據(jù)損壞。后面會(huì)詳細(xì)介紹每個(gè)KeyValue對(duì)的內(nèi)部構(gòu)造。

HFile里面的每個(gè)KeyValue對(duì)就是一個(gè)簡(jiǎn)單的byte數(shù)組。但是這個(gè)byte數(shù)組里面包含了很多項(xiàng)，并且有固定的結(jié)構(gòu)。我們來看看里面的具體結(jié)構(gòu)：

開始是兩個(gè)固定長(zhǎng)度的數(shù)值，分別表示Key的長(zhǎng)度和Value的長(zhǎng)度。緊接著是Key，開始是固定長(zhǎng)度的數(shù)值，表示RowKey的長(zhǎng)度，緊接著是RowKey，然后是固定長(zhǎng)度的數(shù)值，表示Family的長(zhǎng)度，然后是Family，接著是Qualifier，然后是兩個(gè)固定長(zhǎng)度的數(shù)值，表示Time Stamp和Key Type（Put/Delete）。Value部分沒有這么復(fù)雜的結(jié)構(gòu)，就是純粹的二進(jìn)制數(shù)據(jù)了。

HLogFile

上圖中示意了HLog文件的結(jié)構(gòu)，其實(shí)HLog文件就是一個(gè)普通的Hadoop Sequence File，Sequence File 的Key是HLogKey對(duì)象，HLogKey中記錄了寫入數(shù)據(jù)的歸屬信息，除了table和region名字外，同時(shí)還包括 sequence number和timestamp，timestamp是“寫入時(shí)間”，sequence number的起始值為0，或者是最近一次存入文件系統(tǒng)中sequence number。

HLog Sequece File的Value是HBase的KeyValue對(duì)象，即對(duì)應(yīng)HFile中的KeyValue，可參見上文描述。

結(jié)束

本文對(duì)HBase技術(shù)在功能和設(shè)計(jì)上進(jìn)行了大致的介紹，由于篇幅有限，本文沒有過多深入地描述HBase的一些細(xì)節(jié)技術(shù)。目前一淘的存儲(chǔ)系統(tǒng)就是基于HBase技術(shù)搭建的，后續(xù)將介紹“一淘分布式存儲(chǔ)系統(tǒng)”，通過實(shí)際案例來更多的介紹HBase應(yīng)用。