高效實現數據倉庫的七個步驟?

數據倉庫和我們常見的RDBMS系統有些親緣關系，但它又有所不同。如果你沒有實施過數據倉庫，那么從設定目標到給出設計，從創建數據結構到編寫數據分析程序，再到面對挑剔的用戶的評估，整個過程都會帶給你一種與以往的項目完全不同的體驗。一句話，如果你試圖以舊有的方式創建數據倉庫，那你所面對的不是預算超支就是所建立的數據倉庫無法良好運作。?

在處理一個數據倉庫項目時需要注意的問題很多，但同時也有很多有建設性的參考可以幫助你更順利的完成任務。開放思維，不斷嘗試新的途徑，對于找到一種可行的數據倉庫實現方法來說也是必需的。?

1. 配備一個全職的項目經理或你自己全面負責項目管理
在通常情況下，項目經理都會同時負責多個項目的實施。這么做完全是出于資金和IT資源方面的考慮。但是對于數據倉庫項目的管理，絕對不能出現一人身兼數個項目的情況。由于你所處的領域是你和你的團隊之前沒有進入過的領域，有關數據倉庫的一切－數據分析、設計、編程、測試、修改、維護－全都是嶄新的，因此你或者你指派的項目經理如果能全心投入，對于項目的成功會有很大幫助。?

2. 將項目管理職責推給別的項目經理
由于數據倉庫實現過程實在是太困難了，為了避免自虐，你可以在當前階段的項目完成后就將項目管理職責推給別的項目經理。當然，這個新的項目經理一定要復合第一條所說的具有全職性。為什么要這么做呢？首先，從項目經理的角度看，數據倉庫實施過程的任何一個階段都足以讓人身心疲憊。從物理存儲設備的開發到Extract-Transform-Load的實現，從設計開發模型到OLAP，所有階段都明顯的比以前接觸的項目更加困難。每個階段不但需要新的處理方法、新的管理方法，還需要創新性的觀點。所以將管理職責推給別的項目經理不但不會對項目有損害，還可以起到幫助作用。

3.與用戶進行溝通
這里所講的內容遠比一篇文章本身要重要的多。你必須明白，在數據倉庫的設計階段，那些潛在用戶自己也不清楚他們到底需要數據倉庫為他們做什么。他們在不斷的探索和發現自己的需求，而你的開發團隊也在和客戶的接觸中做著同樣的事情。更加頻繁的與客戶接觸，多做記錄，并讓你的團隊更關注于項目需求討論的結果而不是討論的過程本身。

既然你和客戶的交流是為了了解存儲的數據是何種類型以及如何有效存儲數據，你也許需要（和你的用戶一起）采用一種新的方法觀察數據，而不是直接處理數據。你可以嘗試從中找出隱藏的信息，比如在一段時期內的數字漲落等。不要試圖追尋項目需求的答案，而是要讓答案找上門來。

4. 以技術/信息庫作為領導
由于數據倉庫實施的各個階段都有很大不同，因此你需要有人能起到維持整個項目的連續進行的作用，不過這個職責并不需要那種全職性。項目實施有三個重要方面：架構、技術和業務。將架構作為重點可以保證在整個項目中，數據倉庫的架構從物理層往上，都會受到良好的維護。而我們應該將技術作為重點，因為開發團隊和關鍵用戶都在使用他們以前從未用過的工具，必須有人監督開發過程以及工具使用的一致性。

最后，在數據倉庫的應用過程中浮現出來的業務需求必須被詳細分析和記錄，以促機開發過程持續下去。如果用戶不能很好的開發人員以及其它用戶溝通，那么數據分析和度量方面的開發進程就會延期，所以必須有人關注業務方面的開發，推動開發進入更高級別。

5. 跳出反復修改程序的陷阱
第一次實現的數據倉庫肯定不會是最終交付的版本。為什么呢？實際上在真正見到產品前，你無法確定的知道自己的目標是什么?；蛘哒f，最終用戶只有在使用數據倉庫產品一段時間后，才能明確告訴你這個產品是不是他所希望的。與你以往處理的項目不同，業務智能還處于發展的初期，每個公司對業務智能都有不同的解釋，因此你的項目決不會一次成功。

為了以正確的格式獲得數據，你需要在不斷變化的狀況中摸索前進。BI具有很強的個性，不同的環境、不同的市場以及不同的企業都有不同的BI。這又代表什么呢？這表示你需要把數據庫管理員放在一個消息相對封閉的環境中，不要讓他知道數據倉庫的數據結構以及ETL程序在不斷的改變。對此沒有別的辦法。這樣可以減輕你和DBA所承受的壓力。

6. 對大量的前端資源進行數據源分析
在數據倉庫實現過程中，你不得不在舊有的數據中艱難跋涉，這些數據來自老的數據庫、老的磁帶機以及遠程的數據。它們中的大部分都凌亂不堪，并且難以獲取。你要對這些數據進行大量處理，并且還要設計ETL程序來尋找其中的有用信息。如果你希望整個項目做起來比較順利，并且找到一種方法能夠一次成功，那就需要你的開發人員必須花費足夠的時間來充分研究這些舊有數據，將凌亂的數據規則化，并盡力設計和實現強壯的數據采集和轉換過程。數據倉庫的ETL部分會占用整個項目資源的百分之八十，所以一定要確定你的資源都用在刀刃上了。

7. 將人際關系處理放在首位
在數據倉庫實現過程中真正的地獄不是來自技術或者開發方面，而是來自你周圍的人。你也許會遇到一個對項目并不樂觀而又沒時間聽你陳述的領導。你也許會遇到一些開發人員將進度拖延太長時間還抱怨為什么不能用老方法實施。你也許還會遇到一些抱有不切實際的幻想的用戶，他們希望輕點鼠標就能實現想象中的功能，但卻不愿在他們那邊多做些智力投資，更好的培訓他們自己的員工。而你也已經疲憊不堪，鼓勵投資，以及在開發團隊和用戶（甚至老板）中推廣新的開發技巧。

總之你要保持微笑。當一切搞定，你的煩惱也就一掃而空了，笑到最后才笑得最輕松。



數據倉庫開發過程中的七個禁忌?

過去我們一直使用的OLTP技術也許隱藏著許多嚴重的缺陷。數據倉庫的實現并不是一個簡單的任務，你會發現以前積累下來的豐富經驗，并不適合處理每個數據倉庫的獨特需求。?

下面列出的條款是你在實現數據倉庫過程中一定會面對的問題，其中一些看起來并沒有想象中那么嚴重，但是你還是應該盡量避免出現類似問題。數據倉庫并不是一個事務處理系統，它沒有一定的標準也不會實現某個特定的應用，但它本質上是非常有組織性的?？傊總€公司所建立的數據倉庫都是唯一的，并且每一次數據倉庫的實現方法都不是一成不變的。在實現數據倉庫時需要注意的不單是"應該如何作"，更要注意"不該如何做"。下面就是我們總結的七點"不該如何作"。?

1.不要編寫自己無法快速修改的代碼
你所要編寫的程序主要用于數據分析，而不是處理事務。而你的用戶也并不真正知道他們自己真正想要一個什么樣的程序。因此你不得不反復修改代碼好幾次，才會明白用戶到底需要一個什么樣的程序。如果你編寫的程序具有良好的結構和靈活性，就算需要修改也不會太浪費力氣。反之，你會被自己累死。?

2. 不要使用無法修改的數據庫訪問API
在過去，你的數據庫可以為大量的客戶提供穩定的數據查詢服務。而如今，你的程序必須能夠應付更多的數據查詢。這使得重新改寫程序以使得每個查詢請求能得到最大的數據量成為勢在必行的工作，而一般來說這種代碼修改都不會一次成功，所以只有選擇合適的可以修改的API，才能使程序盡快適應新的需求。?

3. 不要設計任何無法擴展的東西
在聯機處理過程（OLTP）應用中，數據分析并不是一個真正的應用程序。實際上，數據分析的關鍵是獲取大量舊的數據，從中提取數據模型，并以此模型推斷出新的信息。而你所編寫的訪問潛在信息的代碼應該具有可擴展性，可以附加新的數據。千萬別在支持數據分析的代碼中假定數據都是固定格式的。?

4. 不要附加不必要的功能
一個倉庫要做的是恰到好處的服務，用戶走進倉庫，從貨架上取得自己所需得信息，僅此而已。由于業務智能、分析以及規律性的問題都有各自的處理程序，因此你的客戶唯一的需要就是獲取信息。他們需要一種應用環境，可以讓他們快速的從數據倉庫中取得分析過程所需的數據，而不論這個數據是什么樣子的。也許你想幫助他們精煉一下獲得的數據，但最好不要這么做。一定要記住，不要給客戶的數據分析程序添加任何會影響數據訪問性能的功能。

5. 不要簡化數據清除和數據源分析的步驟
在實現數據倉庫過程中最應該注意的地方就是為Extract-Transform-Load機制分析數據源，以及為優化負載而清除數據。安全的做法是假設項目經理在這個階段會需要整個項目資源的一半以上。相反，如果你在這方面進行了簡化，稍后肯定會后悔。所以就算系統工作緩慢，也不要簡化清理舊的數據的過程。

6. 不要避免顆粒度和分區問題
在數據倉庫設計過程中有兩個最大的數據存儲問題，第一是如何給轉換數據定位一個恰當的顆粒度等級，第二是如何將數據絕對的分區。為什么這兩點問題如此重要呢？因為整個數據倉庫的響應能力受顆粒度影響，并且數據訪問的效率直接與數據分區性能有關。因此這是具有關鍵性的工作，不要試圖避免面對這些問題。

7. 不要在沒考慮業務問題前就使用OLAP
用戶在親眼見到程序前通常都不知道自己到底想要個什么樣的程序。因此他們的觀點有不少錯誤，比如他們希望分析結果會忠實反應性能度量，或者希望程序會使他們部門或公司的業務工作有所不同。而你必須跳出自己的職責范圍，從IT管理者的角度考慮用戶部門直至整個企業的運行方式，才能在開發過程中避免這類問題。在通常的OLTP開發中，你可以比較方便的理解業務流程。而在聯機分析處理（OLAP）領域，任何事情都需要親自考察，而在你周圍工作的人也許并不會發現你對業務方面存在的誤解。因此，不要自以為已經了解了足夠的信息。不斷的詢問才能使你真正了解"業務智能"中的"業務"到底是什么樣子的


順利開發數據倉庫的七種思路?


對于大多數IT顧問來說，實現一個數據倉庫的難度比以前做過的任何項目難度都要大?？紤]到不同的數據結構、用途以及應用程序開發方法，以前所積累的經驗和技巧大部分都無用武之地了。但是只要在你的前進道路上稍加修正，你就會發現實現一個數據倉庫并不是難事，就算你是第一次實現數據倉庫也沒問題。?

下面列出了數據倉庫實施過程需要考慮的步驟，有一些你可能從來沒有意識到，而另一些可能已經在實施過程中使用到了，但是重新思考一番也許你會有更多的領悟。開放思維，不斷嘗試新的途徑，找到一種可行的數據倉庫實現方法。?

1. 再三考慮應用程序的實現方法
數據倉庫并不涉及事務處理，并且在報表方面也僅占一小部分。而數據倉庫應用程序的本質是分析，尤其是針對業務智能的分析。BI并不是通常所說的數據：它是一種從舊有數據中,模型化得到的新的數據。那么如何才能從舊有數據中挖出這些新數據呢？事實上，這個工作不是讓你來完成的，而是你的客戶所要完成的。從項目主管的角度看，應該有一個經驗豐富的數據表格設計師與你合作，進而決定如何將各類程序融合在一起。其中所遇到的最主要的挑戰將是如何用新的方法觀察數據，這也是你的客戶正在試圖使用的方法。?

2. 創建抽象的、良好部署的數據庫訪問組件
在過去你接觸過的數據庫項目和現在的數據倉庫之間，有一點絕對不同，那就是：在Online Transaction Processing （OLTP）環境中，用戶數量非常大，但使用到的數據卻比較少；而在Online Analytical Processing （OLAP）環境中情況卻正好相反，少量的用戶在使用大量的數據。而你的工作就是編寫一個應用程序來優化這種不同。這里有一個線索：在你所有的分析程序中，都要能抓取連續的數據項，這樣在以后建立和訪問的數據結構中才能存放與原數據物理結構類似的數據。具體如何實現呢？首先不要規格化數據。第二將其放入數組中最小化讀取請求數。按照這種方法，DBA會很樂意與你合作。

3. 保持松散
現在回頭看看第一步，你應該可以理解定義一個分析程序不是件簡單事了，而且一般情況下，很難在第一次就實現符合要求的最終產品。而在你將要進行分析的數據結構上同樣存在這種問題。一句話，實現過程會有很多變數，你需要不斷的改動你的程序。通常我們都希望將改動次數降到最低。在一個數據倉庫實現過程中，本質是要分析過程毫無差錯，這也需要DBA的參與。不要死抓住你的程序設計、代碼、框圖，或你建立的其它什么東西不放手，要根據這種變化而不斷進行調整。

4. 將管理放在首位
在分析數據源方面你做的如何呢？你是否認為清理垃圾數據的工作非常困難？并不是只有你一個人這樣想，做過類似工作的人都有這種看法。在一個一般規模的機構中，作為數據倉庫實現過程的一部分，會有大量的舊有數據必須進行一致性處理。所以分析數據源并花費數個小時編寫轉換程序將舊有數據導入數據倉庫是整個數據倉庫實現過程中最艱難的一部分。并且這也是整個項目中最重要的一環，可以占到整個項目周期和預算的四分之三。所以一定要小心對待。

5. 從字里行間發現問題
與用戶交流是個很麻煩的事情，為什么這么說呢？因為很多用戶在見到最終產品前都不知道自己想要什么樣的產品。定義數據倉庫應用程序是一個探索的過程，而且這個過程要反復進行。記住所謂的"業務智能"是用戶自己定義的，他們按照自己的理解來處理業務流程。因此這些用戶就是連接數據和業務處理過程間的橋梁。他們所要的并不是數據本身，而是隱藏在數據后面的智能性。你可以讓他們討論、思考并給出建設性的意見。但千萬不要讓他們解決或讓他們任意想象和發表那些"有可能"的觀點。最后，一定要隨時留意用戶得出的結論。

6. 保持領先
數據倉庫看起來沒有傳統的OLTP模式根深蒂固，事實如此。雖然很多人投身數據倉庫的開發中，但由于其框架與以前的系統大相徑庭，因此在開始的一段時間數據倉庫的實現看上去相當混亂。但是堅持下去是很重要的。它具有兩方面重要的作用。

第一，技術的領先性。它可以跟蹤項目中任何階段的軟件工具的部署和正確使用，以及開發過程。如果這復合你的背景，你可以對此多加留意。

第二，體系結構的領先性。它使得項目在各個階段轉換時，數據倉庫和它所支持的系統的物理以及邏輯架構都具有持續性，不會發生改變。這也是你能提供的。

7. 發出警告
最后你要記住，你并不是唯一登上新大陸的人。你周圍的每一個人都會有下面一點或幾點問題：不現實的期望、對技術的誤解、舊習慣或壞習慣、競爭行為，或缺乏對項目的信任度。雖然交流溝通等任務應該是項目經理負責的，但實際上你也要擔負起相同的責任。那么作為技術總監你該怎么作呢？首先當然是要真誠的對待周圍的人，但一定要豎立威信，適當的發出警告。當你發現項目進度緩慢、資源流失，或者員工失去目標，就要直言不諱的說出來?？焖倜鞔_的給予警告在大部分情況下都是明智之舉。匆忙上馬的數據倉庫項目也許會出軌，但不要讓失敗的項目把你拉下馬。