1、 KETL是什么?
KETL是一個開源的ETL平臺,由具有KPMG和IBM兩家公司的背景的公司開發(fā),使用 java而構(gòu)建的,其基于元數(shù)據(jù)驅(qū)動,使用XML語言作為ETL過程的描述工具。
其支持的元數(shù)據(jù)庫有oracle、mysql、postgresql、h2等,并在安裝文件中,有oracle、postgresql及h2的元數(shù)據(jù)腳本(主要是建用戶、模式、數(shù)據(jù)表、索引等sql腳本)。
2、 KETL的特性:
基于java開發(fā),具有平臺無關(guān)的特性
使用XML作為ETL表達(dá)語言,但不僅限于此
多線程特性
元數(shù)據(jù)驅(qū)動,支持多種關(guān)系型數(shù)據(jù)庫,并提供相應(yīng)的建表腳本
3、 KETL安裝
以下展示 整個KETL的安裝過程,其在fedora虛擬機上運行,基于 postgresql元數(shù)據(jù)庫運行。大家可在參考KETL 安裝手冊的基礎(chǔ)上,對其進(jìn)行安裝,本文重點是對其中存在的問題進(jìn)行了一些補充,歡迎大家交流。具體安裝步驟如下:
1、 準(zhǔn)備所需的軟件安裝包,及所安裝部署的平臺
1) KETL安裝包(linux)
2) Postgressql安裝包(linux)
KETL提供在window平臺的管理頁面,可在其中進(jìn)行流程的查看及監(jiān)控,需要安裝以下幾個應(yīng)用程序
3) Tomcat安裝包(linux)
4) Ketl web service war包(tomcat中)
5) Kinetic Network 安裝包(window)
以下具體步驟可以參見KETL的安裝指導(dǎo),以下只給出大致過程及安裝過程中出現(xiàn)的問題。
2、 安裝KETL核心包
配置KETL的安裝路徑及環(huán)境變量
3、 安裝postgresql
4、 從ketl安裝文件的xml文件夾中,選取運行postgresql的元數(shù)據(jù)腳本
在此過程中,可能存在nvl函數(shù)不存在的問題,此函數(shù)為oracle的函數(shù),需自己手動添加該函數(shù)。
5、 配置修改ketl的配置文件,指定運行的元數(shù)據(jù)服務(wù)器
6、 啟動 kelt_ctrl命令,啟動ketl服務(wù)器
此時,安裝過程結(jié)束,可以通過運行shell命令,進(jìn)行elt的開發(fā),但可視化程度不高,監(jiān)控、調(diào)度較困難,為此,KETL提供了相應(yīng)的監(jiān)測平臺,需要繼續(xù)安裝tomcat等程序。
7、 安裝tomcat
8、 在tomcat中部署web service 程序
9、 在window平臺,安裝 Kinetic Network安裝包
10、 運行 KETL administror 程序,輸入用戶名和密碼(ketl配置文件中指定的),通過加載XML文件,實現(xiàn)運行單元的展示,可在此基礎(chǔ)上,運行該etl或通過調(diào)度方式進(jìn)行運行(需注意的是,xml腳本需手工構(gòu)建,Kinetic Network 程序僅僅是個展示、調(diào)度和簡單監(jiān)控的平臺)。
其運行界面如下所示:

至此,整個KETL的安裝過程結(jié)束。
講的不清楚的地方,歡迎大家批評指正。
posted on 2011-04-12 17:14
mingsen 閱讀(8101)
評論(0) 編輯 收藏