1、 KETL是什么？

         KETL是一個開源的ETL平臺，由具有KPMG和IBM兩家公司的背景的公司開發(fā)，使用 java而構(gòu)建的，其基于元數(shù)據(jù)驅(qū)動，使用XML語言作為ETL過程的描述工具。

         其支持的元數(shù)據(jù)庫有oracle、mysql、postgresql、h2等，并在安裝文件中，有oracle、postgresql及h2的元數(shù)據(jù)腳本（主要是建用戶、模式、數(shù)據(jù)表、索引等sql腳本）。

2、 KETL的特性：

基于java開發(fā)，具有平臺無關(guān)的特性

使用XML作為ETL表達(dá)語言，但不僅限于此

多線程特性

元數(shù)據(jù)驅(qū)動，支持多種關(guān)系型數(shù)據(jù)庫，并提供相應(yīng)的建表腳本

3、 KETL安裝

以下展示 整個KETL的安裝過程，其在fedora虛擬機上運行，基于 postgresql元數(shù)據(jù)庫運行。大家可在參考KETL 安裝手冊的基礎(chǔ)上，對其進行安裝，本文重點是對其中存在的問題進行了一些補充，歡迎大家交流。具體安裝步驟如下：

1、 準(zhǔn)備所需的軟件安裝包，及所安裝部署的平臺

1）    KETL安裝包（linux）

2）    Postgressql安裝包（linux）

KETL提供在window平臺的管理頁面，可在其中進行流程的查看及監(jiān)控，需要安裝以下幾個應(yīng)用程序

3）    Tomcat安裝包（linux）

4）    Ketl web service war包（tomcat中）

5）    Kinetic Network 安裝包（window）

以下具體步驟可以參見KETL的安裝指導(dǎo)，以下只給出大致過程及安裝過程中出現(xiàn)的問題。

2、 安裝KETL核心包

配置KETL的安裝路徑及環(huán)境變量

3、 安裝postgresql

4、 從ketl安裝文件的xml文件夾中，選取運行postgresql的元數(shù)據(jù)腳本

在此過程中，可能存在nvl函數(shù)不存在的問題，此函數(shù)為oracle的函數(shù)，需自己手動添加該函數(shù)。

5、 配置修改ketl的配置文件，指定運行的元數(shù)據(jù)服務(wù)器

6、 啟動 kelt_ctrl命令，啟動ketl服務(wù)器

此時，安裝過程結(jié)束，可以通過運行shell命令，進行elt的開發(fā)，但可視化程度不高，監(jiān)控、調(diào)度較困難，為此，KETL提供了相應(yīng)的監(jiān)測平臺，需要繼續(xù)安裝tomcat等程序。

7、 安裝tomcat

8、 在tomcat中部署web service 程序

9、 在window平臺，安裝 Kinetic Network安裝包

10、              運行 KETL administror 程序，輸入用戶名和密碼（ketl配置文件中指定的），通過加載XML文件，實現(xiàn)運行單元的展示，可在此基礎(chǔ)上，運行該etl或通過調(diào)度方式進行運行（需注意的是，xml腳本需手工構(gòu)建，Kinetic Network 程序僅僅是個展示、調(diào)度和簡單監(jiān)控的平臺）。

其運行界面如下所示：

至此，整個KETL的安裝過程結(jié)束。
講的不清楚的地方，歡迎大家批評指正。

       有點犯困，思維不是很活躍，但是今天看到的一些文章，還是讓自己有些感觸。
        最深的恐怕還是在秋葉的博客上 看到的那份ppt，很有感觸，作者使用黑白照片的方式描述了一個即將畢業(yè)學(xué)子的一個心態(tài)，那種戀戀不舍，那種眷戀，通過黑白的單色 描述的淋漓盡致。我承認(rèn)是它促動了我懷舊的情結(jié)，但作者使用這種方式的描述，更讓人一種向?qū)У牧α俊Ｔ瓉肀磉_(dá)的方式還可以這樣。因為我正好在寫ppt、也因為我也有單反相機，有這ps的教程，很早很早就有了，但是，但是，就是還沒有去學(xué)~~。
      第二個事情是 看見馬云的視頻講座，呵呵，不得不佩服人家的眼光和勇氣，如果馬云如果能夠成功，百分之八十的中國人就可以成功；從小事做起，做一個不抱怨的人，做一個積極的人。
       第三個，海賊王最新的一集終于又一次在周日更新了，看見路飛使出的霸氣，看見白胡子船長對于未來的憧憬與保護，我也看到了感動，那種堅持不懈的力量，那種對于未來的渴望，那種永不放棄的精神 值得每一個人去學(xué)習(xí)。

        
       困了，睡覺了，明早交ppt，開始技術(shù)交流，明早開始新的路程，新的一周，繼續(xù)上路。 編寫一個下載 Excel的程序，老是報 outofMemory的錯誤，想起曾經(jīng) Eclipse的錯誤，所以一起解決問題，上網(wǎng)搜了很多的資料，都是基本是同一個版本，但是就是給的不是很全，嘗試了很多，居然還是不能解決問題，很有挫折感啊，不過還是google好，問題解決了，把搜集的資料貼出來，省得白費勁。

網(wǎng)上的解決方法：

    1、設(shè)置環(huán)境變量
    2、設(shè)置 tomcat中的 catalina.bat （window環(huán)境下），catalina.sh（linux環(huán)境下）

實際解決方法：
    以上方法，對于在Myeclipse中均為無用，需
    Myeclipse->preferences->myeclipse->servers->tomcat->tomcat×.×->JDK面板中的

    Optional Java VM arguments中添加：-Xmx1024M -Xms512M -XX:MaxPermSize=256m

參數(shù)理解：
    -vmargs   虛擬機設(shè)置開始標(biāo)志
    -Xms128M  堆棧內(nèi)存起始大小 128M
    -Xmx512M 堆棧內(nèi)存最大大小 512M
    -XX:PermSize=64M 非堆棧內(nèi)存 起始大小 64M
    -XX:MaxPermSize=128M 非堆棧內(nèi)存 最大大小 64M
在Eclipse.ini中配置，添加時 注意其格式

文章參考：http://blog.csdn.net/bjd14/archive/2009/02/16/3896153.aspx

Eclipse非堆棧內(nèi)容不足的問題解決：http://www.tkk7.com/JetMah/archive/2007/12/07/166025.html

 

1、  使用 別的維護的數(shù)據(jù)表時，需檢驗其輸入的數(shù)據(jù)字典，查詢其維護的數(shù)據(jù)特征是不是嚴(yán)格按照 約定的數(shù)據(jù)字典說明來進行的。用select distinct進行查詢。

2、  多積累Exception的經(jīng)驗，仔細(xì)閱讀Exception的內(nèi)容，即使已經(jīng)明白該異常的原因，也應(yīng)該在解決問題后，將問題積累下來，以備事后的總結(jié)，如項目中的ibatis錯誤問題，區(qū)別一些微小的細(xì)節(jié)。

3、  嚴(yán)格對待字符處理與判斷、轉(zhuǎn)換等問題，防止出現(xiàn)NULLException的錯誤，對于自己寫的程序，最好能夠?qū)?/span>NullException具有相應(yīng)的容錯能力。

4、  對于全局變量的維護 一定要注意，最好能夠應(yīng)用一定的方法，便于維護，如在 科目通用查詢中的查詢重置功能，可能就會對全局變量進行 重置，那樣會造成 部分功能無法使用。

5、  對于全局變量，在引用的方法中，一定要對其進行初始化，相當(dāng)于在使用前進行重置。

6、  對于鏈表之類的數(shù)據(jù)結(jié)構(gòu)，一定要注意 其初始化的位置放置將變量重復(fù)裝入，如java中的ArrayList、js中的[]等。

7、  要定期對java中的類及方法進行清理，保持代碼的可讀性，善用Eclipse中的查詢工具，對方法進行搜索，在確認(rèn)的情況下，對方法類進行刪除與修改。