商業(yè)智能平臺研究 (十) ETL 選型
ETL (Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)作為BI/DW（Business Intelligence）的核心和靈魂，能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價值，是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程，是實施數(shù)據(jù)倉庫的重要步驟。如果說數(shù)據(jù)倉庫的模型設(shè)計是一座大廈的設(shè)計藍(lán)圖，數(shù)據(jù)是磚瓦的話，那么ETL就是建設(shè)大廈的過程。在整個項目中最難部分是用戶需求分析和模型設(shè)計，而ETL規(guī)則設(shè)計和實施則是工作量最大的，約占整個項目的60%～80%，這是國內(nèi)外從眾多實踐中得到的普遍共識。
ETL工具從廠商來分為兩種,一種是數(shù)據(jù)庫廠商自帶的ETL工具,Oracle warehouse builder 就是這種,另外一種是第三方工具提供商.開源世界也有一大票的ETL工具,功能各異,強弱不一,你可以從一下地址找到開源ETL工具的列表 http://www.manageability.org/blog/stuff/open-source-etl/view , 提醒一句,選用工具的時候要慎重,真的,千萬要慎重,不管你是選用商業(yè)的ETL工具(一般比較貴),還是開源的工具,都要在你充分了解產(chǎn)品的特性才去選擇,千萬不要聽某某人說什么這個工具好,就購買了那個工具,一定要自己了解產(chǎn)品.
開源的ETL工具的列表 (排名是亂排的)
kettle http://kettle.pentaho.org/ ,pentaho官方的ETL工具,是一個metadata-driven 的ETL工具,不需要自己寫code .
talend http://www.talend.com/ talend是talend自己公司的產(chǎn)品,宣傳的是全功能的Data Integration 解決方案,基于eclipse 平臺,包括很多的模塊來實現(xiàn)商業(yè)流程建模,數(shù)據(jù)流程建模,最后輸出的是perl 和 Java code
jasperETL http://www.jaspersoft.com/ JasperETL是基于talend的平臺,不太清楚有什么區(qū)別,jaspersoft開發(fā)的ETL產(chǎn)品.
Octopus http://www.enhydra.org/tech/octopus/index.html octopuc是enhydra 的一個ETL工具,enhydra是一個產(chǎn)品跨度非常大的開源站點,它有個開源的Workflow ,Shark ,pentaho就是使用的這個Workflow ,這個組織從workflow 到application server , 從ETL工具到application framework ,還有一些其他的中間件,octopus非常的原始,支持任何的JDBC數(shù)據(jù)源,用XML語言來定義的.也支持JDBC-DOBC ,和excel 和 access ,csv-files, XML files ,用Ant 和 JUnit 來創(chuàng)建表和測試.
CloverETL http://cloveretl.berlios.de/ CloverETL是提供給你一組API,用XML來定義ETL過程,同樣支持JDBC數(shù)據(jù)源, CloverETL是開源的,但是它是沒有圖形界面的,它提供一個有圖形界面的CloverGUI 來進行ETL的圖形化開發(fā)過程,但是不是開源的,需要購買商業(yè)許可證.
KETL http://www.ketl.org/ 聽說是幾個前IBM員工做出來的ETL產(chǎn)品,
另外還有很多.不一一寫介紹了,只列個表吧,
Joost http://joost.sourceforge.net/ 最近有個web2.0 網(wǎng)站也叫Joost,名字相同而已.
Xineo http://software.xineo.net/xil.jspx
BabelDoc http://sourceforge.net/projects/babeldoc
CB2XML http://sourceforge.net/projects/cb2xml
mec-eagle http://sourceforge.net/projects/mec-eagle/
Transmorpher http://transmorpher.inrialpes.fr/
XPipe http://xpipe.sourceforge.net/Articles/Miscellaneous/fog0000000018.html
DataSift http://www.datasift.org/
Xephyrus Flume http://www.xephyrus.com/flume/flume-intro.Prlx
Smallx https://smallx.dev.java.net/
Nux http://dsd.lbl.gov/nux/index.html
Netflux http://www.netflux.org/
OpenDigger https://opendigger.dev.java.net/
ServingXML http://servingxml.sourceforge.net/
Scriptella http://scriptella.javaforge.com/
ETL Integrator http://www.glassfishwiki.org/jbiwiki/Wiki.jsp?page=ETLSE
Jitterbit http://www.jitterbit.com/
Apatar http://www.apatar.com/
Spring Batch http://static.springframework.org/spring-batch/
大多數(shù)站點都是在sf.net上的.其中最后一個是Spring的,大名鼎鼎的Spring 也往ETL插一腳.實在是..........
根據(jù)talend官方介紹的數(shù)據(jù),ETL工具的市場份額在2006好像是有160多億美元.由于BI項目的成功,ETL的這一市場份額還會擴大,這也不難理解,為什么這么多的公司都在做ETL工具了.開源世界也免不了想要分一杯羹.再次廢話一句,開源的東西你可以免費得到和使用,但是當(dāng)你想應(yīng)用到企業(yè)級開發(fā)的時候,省錢可不是唯一應(yīng)該考慮的因素.還是那句話,慎重呀慎重.
下一篇介紹BI的基本概念.