開源項(xiàng)目 Kettle 介紹
?
?
??? 一直想在手工ETL的同時(shí)自己做一個(gè)簡單的元數(shù)據(jù)管理庫。到網(wǎng)上搜索了一下，有前輩說可以參考開源項(xiàng)目Kettle的源代碼，于是就到網(wǎng)上下了一個(gè)用了一下，發(fā)現(xiàn)過程比較簡潔，而且在很多地方都做得比較人性化，比如支持自己編寫SQL、Java Script等。所以特地打算研究一下，發(fā)現(xiàn)網(wǎng)上已經(jīng)有很多教程了，轉(zhuǎn)一篇過來看看。改天有時(shí)間再研究一下后臺(tái)的代碼。不過對于元數(shù)據(jù)的記錄信息似乎少了點(diǎn)，不過鑒于它是完全免費(fèi)使用的，也沒什么可說的了。下面是轉(zhuǎn)載文：
----------------------------
?
??? 說到ETL開源項(xiàng)目，Kettle當(dāng)屬翹首，因此，偶決定花點(diǎn)時(shí)間了解一下。項(xiàng)目名稱很有意思，水壺。按項(xiàng)目負(fù)責(zé)人Matt的說法：把各種數(shù)據(jù)放到一個(gè)壺里，然后呢，以一種你希望的格式流出。呵呵，外國人都很有聯(lián)想力。看了提供的文檔，然后對發(fā)布程序的簡單試用后，可以很清楚得看到Kettle的四大塊：
??? Chef——工作(job)設(shè)計(jì)工具 (GUI方式)
??? Kitchen——工作(job)執(zhí)行器 (命令行方式)
??? Spoon——轉(zhuǎn)換(transform)設(shè)計(jì)工具(GUI方式)
??? Span——轉(zhuǎn)換(trasform)執(zhí)行器(命令行方式)
?
??? 嗯，廚師已經(jīng)在廚房里，勺子和盤子一應(yīng)俱全，且看能做出如何的大餐？
?
?
一：Chef——工作(job)設(shè)計(jì)器
??? 這是一個(gè)GUI工具，操作方式主要通過拖拖拉拉，勿庸多言，一看就會(huì)。何謂工作？多個(gè)作業(yè)項(xiàng)，按特定的工作流串聯(lián)起來，開成一項(xiàng)工作。正如：我的工作是軟件開發(fā)。我的作業(yè)項(xiàng)是：設(shè)計(jì)、編碼、測試！先設(shè)計(jì)，如果成功，則編碼，否則繼續(xù)設(shè)計(jì)，編碼完成則開始設(shè)計(jì)，周而復(fù)始，作業(yè)完成。來，看看Chef中的作業(yè)項(xiàng)：
??? 1.1： 轉(zhuǎn)換：指定更細(xì)的轉(zhuǎn)換任務(wù)，通過Spoon生成。通過Field來輸入?yún)?shù)。
??? 1.2： SQL：sql語句執(zhí)行，
??? 1.3： FTP：下載ftp文件。
??? 1.4： 郵件：發(fā)送郵件。
??? 1.5： 檢查表是否存在，
??? 1.6： 檢查文件是否存在，
??? 1.7： 執(zhí)行shell腳本。如：dos命令。
??? 1.8： 批處理。(注意：windows批處理不能有輸出到控制臺(tái))。
??? 1.9： Job包。作為嵌套作業(yè)使用。
??? 1.10：JavaScript執(zhí)行。這個(gè)比較有意思，我看了一下源碼，如果你有自已的Script引擎，可以很方便的替換成自定義Script，來擴(kuò)充其功能。
??? 1.11：SFTP：安全的Ftp協(xié)議傳輸。
??? 1.12：HTTP方式的上/下傳。
?
??? 好了，看看工作流：
??? 如上文所述，工作流是作業(yè)項(xiàng)的連接方式。分為三種：無條件，成功，失敗。這個(gè)沒啥好說的，從名字就能知道它的意圖。嗯，為了方便工作流使用，提供了幾個(gè)輔助結(jié)點(diǎn)單元(你也可將其作為簡單的作業(yè)項(xiàng))：
??? 1：Start單元，任務(wù)必須由此開始。設(shè)計(jì)作業(yè)時(shí)，以此為起點(diǎn)。
??? 2：OK單元：可以編制做為中間任務(wù)單元，且進(jìn)行腳本編制，用來控制流程。
??? 3：ERROR單元：用途同上。
??? 4：DUMMY單元：啥都不做，主要是用來支持多分支的情況。文檔中有例子，不再多說。
?
??? 存儲(chǔ)方式：
??? 支持XML存儲(chǔ)，或存儲(chǔ)到指定數(shù)據(jù)庫中。一些默認(rèn)的配置(如數(shù)據(jù)庫存儲(chǔ)位置……)，在系統(tǒng)的用戶目錄下，單獨(dú)建立了一個(gè).Kettle目錄，用來保存用戶的這些設(shè)置。?
??? LogView：可查看執(zhí)行日志。
?
?
二：Kitchen——作業(yè)執(zhí)行器
?
??? 是一個(gè)作業(yè)執(zhí)行引擎，用來執(zhí)行作業(yè)。這是一個(gè)命令行執(zhí)行工具，沒啥可講的，就把它的參數(shù)說明列一下。
??? -rep????? : Repository name?? 任務(wù)包所在存儲(chǔ)名
??? -user???? : Repository username?? 執(zhí)行人
??? -pass???? : Repository password?? 執(zhí)行人密碼
??? -job????? : The name of the job to launch 任務(wù)包名稱
??? -dir????? : The directory (don''t forget the leading / or \)
??? -file???? : The filename (Job XML) to launch
??? -level??? : The logging level (Basic, Detailed, Debug, Rowlevel, Error, Nothing) 指定日志級別
??? -log????? : The logging file to write to? 指定日志文件
??? -listdir? : List the directories in the repository 列出指定存儲(chǔ)中的目錄結(jié)構(gòu)。
??? -listjobs : List the jobs in the specified directory 列出指定目錄下的所有任務(wù)
??? -listrep? : List the defined repositories 列出所有的存儲(chǔ)
??? -norep??? : Don''t log into the repository? 不寫日志
??? 嗯，居然不支持調(diào)度。看了一下文檔，建議使用操作系統(tǒng)提供的調(diào)度器來實(shí)現(xiàn)調(diào)度，比如：Windows可以使用它的任務(wù)計(jì)劃工具。
?
?
三：Spoon——轉(zhuǎn)換過程設(shè)計(jì)器
??? GUI工作，用來設(shè)計(jì)數(shù)據(jù)轉(zhuǎn)換過程，創(chuàng)建的轉(zhuǎn)換可以由Pan來執(zhí)行，也可以被Chef所包含，作為作業(yè)中的一個(gè)作業(yè)項(xiàng)。下面簡單列舉一下所有的轉(zhuǎn)換過程。(簡單描述，詳細(xì)的可見Spoon文檔)
?
??? 3.1：Input-Steps：輸入步驟
??? 3.1.1：Text file input：文本文件輸入，
?????????? 可以支持多文件合并，有不少參數(shù)，基本一看參數(shù)名就能明白其意圖。
??? 3.1.2：Table input：數(shù)據(jù)表輸入
?????????? 實(shí)際上是視圖方式輸入，因?yàn)檩斎氲氖莝ql語句。當(dāng)然，需要指定數(shù)據(jù)源(數(shù)據(jù)源的定制方式在后面講一下)
??? 3.1.3：Get system info：取系統(tǒng)信息
?????????? 就是取一些固定的系統(tǒng)環(huán)境值，如本月最后一天的時(shí)間，本機(jī)的IP地址之類。
??? 3.1.4：Generate Rows：生成多行。
?????????? 這個(gè)需要匹配使用，主要用于生成多行的數(shù)據(jù)輸入，比如配合Add sequence可以生成一個(gè)指定序號的數(shù)據(jù)列。
??? 3.1.5：XBase Input：
??? 3.1.6：Excel Input：
??? 3.1.7：XML Input：
?????????? 這三個(gè)沒啥可講的，看看參數(shù)就明了。
?
??? 3.2：Output-Steps： 輸出步聚
??? 3.2.1：Text file output：文本文件輸出。
?????????? 這個(gè)用來作測試蠻好，呵呵。很方便的看到轉(zhuǎn)換的輸出。
??? 3.2.2：Table output：輸出到目的表。
??? 3.2.3：Insert/Update：目的表和輸入數(shù)據(jù)行進(jìn)行比較，然后有選擇的執(zhí)行增加，更新操作。
??? 3.2.4：Update：同上，只是不支持增加操作。
??? 3.2.5：XML Output：
?
??? 3.3：Look-up：查找操作
??? DataBase:
??? Stream：
??? Procedure：
??? Database join：
??????? 很簡單，看看參數(shù)就明白了。
?
??? 3.4：Transform? 轉(zhuǎn)換 (嗯，重點(diǎn))
??? 3.4.1：Select values： 對輸入的行記錄數(shù)據(jù) 的字段進(jìn)行更改 (更改數(shù)據(jù)類型，更改字段名或刪除)
?????????? 數(shù)據(jù)類型變更時(shí)，數(shù)據(jù)的轉(zhuǎn)換有固定規(guī)則，可簡單定制參數(shù)。可用來進(jìn)行數(shù)據(jù)表的改裝。
??? 3.4.2：Filter rows： 對輸入的行記錄進(jìn)行 指定復(fù)雜條件 的過濾。
?????????? 用途可擴(kuò)充sql語句現(xiàn)有的過濾功能。但現(xiàn)有提供邏輯功能超出標(biāo)準(zhǔn)sql的不多。
??? 3.4.3：Sort rows：對指定的列以升序或降序排序，當(dāng)排序的行數(shù)超過5000時(shí)需要臨時(shí)表。
??? 3.4.4：Add sequence：為數(shù)據(jù)流增加一個(gè)序列，
?????????? 這個(gè)配合其它Step(Generate rows, rows join)，可以生成序列表，如日期維度表(年、月、日)。
??? 3.4.5：Dummy：不做任何處理，主要用來作為分支節(jié)點(diǎn)。
??? 3.4.6：Join Rows：對所有輸入流做笛卡兒乘積。
??? 3.4.7：Aggregate：聚合，分組處理
??? 3.4.8：Group by：分組
?????????? 用途可擴(kuò)充sql語句現(xiàn)有的分組，聚合函數(shù)。但我想可能會(huì)有其它方式的sql語句能實(shí)現(xiàn)。
??? 3.4.9：Java Script value：使用mozilla的rhino作為腳本語言，并提供了很多函數(shù)，用戶可以在腳本中使用這些函數(shù)。
??? 3.4.10： Row Normaliser：該步驟可以從透視表中還原數(shù)據(jù)到事實(shí)表，
?????????? 通過指定維度字段及其分類值，度量字段，最終還原出事實(shí)表數(shù)據(jù)。
??? 3.4.11. Unique rows：去掉輸入流中的重復(fù)行
?????????? 在使用該節(jié)點(diǎn)前要先排序，否則只能刪除連續(xù)的重復(fù)行。?
??? 3.4.12. Calculator：提供了一組函數(shù)對列值進(jìn)行運(yùn)算，
?????????? 所介紹，使用該方式比用戶自定義JAVA SCRIPT腳本速度更快。
??? 3.4.13. Merge Rows：用于比較兩組輸入數(shù)據(jù)，一般用于更新后的數(shù)據(jù)重新導(dǎo)入到數(shù)據(jù)倉庫中。
??? 3.4.14. Add constants：增加常量值。
?????????? 這個(gè)我沒弄明白它的用法？？？
??? 3.4.15. Row denormaliser：同Normaliser過程相反。
??? 3.4.16. Row flattener：表扁平化處理
?????????? 指定需處理的字段和扃平化后的新字段，將其它字段做為組合Key進(jìn)行扃平化處理。
?
??? 3.5：Extra：除了上述基本節(jié)點(diǎn)類型外還定義了擴(kuò)展節(jié)點(diǎn)類型?
??? 3.5.1：SPLIT FIELDS， 按指定分隔符拆分字段
??? 3.5.2：EXECUTE SQL SCRIPT，執(zhí)行SQL語句
??? 3.5.3：CUBE INPUT，
??? 3.5.4：CUBE OUTPUT等。
?????????? 這兩個(gè)沒明白是啥意思。
???
??? 3.6：其它
??? 存儲(chǔ)方式： 與Chef相同。
??? 數(shù)據(jù)源(Connection)；見后。
??? Hops：setp連接起來，形成Hops。
??? Plugin step types等節(jié)點(diǎn)：這個(gè)沒仔細(xì)看，不知如何制作Plugin step。
??? LogView：可查看執(zhí)行日志。
?
?
四：Pan——轉(zhuǎn)換的執(zhí)行工具
??? 命令行執(zhí)行方式，可以執(zhí)行由Spoon生成的轉(zhuǎn)換任務(wù)。
??? 同樣，不支持調(diào)度。
??? 參數(shù)與Kitchen類似，可參見Pan的文檔。
?
?
五：其它
??? Connection：
??? 可以配置多個(gè)數(shù)據(jù)源，在Job或是Trans中使用，這意味著可以實(shí)現(xiàn)跨數(shù)據(jù)庫的任務(wù)。
??? 支持大多數(shù)市面上流行的數(shù)據(jù)庫。
?
??? 個(gè)人感覺：(本人不成熟的看法)
??? 1：轉(zhuǎn)換功能全，使用簡潔。作業(yè)項(xiàng)豐富，流程合理。但缺少調(diào)度。
??? 2：java代碼，支持的數(shù)據(jù)源范圍廣，所以，跨平臺(tái)性較好。
??? 3：從實(shí)際項(xiàng)目的角度看，和其它開源項(xiàng)目類似，主要還是程序員的思維，缺少與實(shí)際應(yīng)用項(xiàng)目(專業(yè)領(lǐng)域)的更多接軌，當(dāng)然，項(xiàng)目實(shí)施者的專注點(diǎn)可能在于一個(gè)平臺(tái)框架，而非實(shí)際應(yīng)用(實(shí)際應(yīng)用需要二次開發(fā))。
??? 4：看過了大多數(shù)源碼，發(fā)現(xiàn)源碼的可重用性不是太好(缺少大粒度封裝)，有些關(guān)鍵部分好象有Bug。比如：個(gè)別class過于臃腫，線程實(shí)現(xiàn)的同步有問題。
??? 5：提供的工具有些小錯(cuò)，如參數(shù)的容錯(cuò)處理。
?
??? 好，對Kettle有了淺淺的了解，其它的容后再說。
?
?
?
******************************************************************
至于細(xì)節(jié)的用法，可以參考網(wǎng)絡(luò)上導(dǎo)出都是的《ETL工具Kettle用戶手冊》
另附一些Kettle的用法介紹：
Kettle官網(wǎng)：
******************************************************************
?
?