BI難以成功的6宗罪[轉]
??? 2005年開始，有關報道宣稱中國的商業智能（BI）市場在IT領域炙手可熱，引發眾多管理軟件企業摩拳擦掌，在這新的利潤增長點上躍躍欲試。但事實上，至于今說 “ BI逐漸火起來 ” 說兩三年，用戶的BI項目實施卻沒看到有實質性的進展。
?
??? 今年8月，《經理人》雜志一篇《解析商業智能失敗的根源》中提道，據相關統計數字顯示，在國外，投資建設BI的企業有60%～70%以失敗告終；而在中國，這個數據可能會更高。其中的原因有很多，比如缺乏歷史數據支持、理解上存在誤區等等。《三位一體的商業智能 — 管理、技術與應用》的作者王茁先生在與CIO INSIGHT雜志記者交流也談到商業智能項目確實有著很高的失敗率。他說這也造成了現在普遍存在的對于商業智能的兩種極端的觀點 —— 萬能論和無用論。該篇采訪在8月1號被刊發于網上。
?
??? 筆者從事BI的幾年工作實際也證實了BI確實難以成功。失敗的根源，眾說紛紜，大致有以下。一是實施過程難控，如不致陷入貪大求全的項目整體規劃與分步實施、需求提煉、數據質量控制、針對非技術人員設計出簡便而形象的用戶界面等；二是協調配合難度大，如王茁先生認為大型的BI項目需要多個部門的認真配合，如導入源數據到數據倉庫這么一個簡單環節都會同時牽涉到眾多部門的參與。三是，一把手支持力度不夠，參與BI的業務人員級別低以及投入不高。四、BI系統上線后的使用者數量少且不專業。
?
??? 也許不能臆斷這些BI應用都是失敗的。但是BI沒有達到用戶和廠商宣稱的結果卻是不爭的事實。??? 筆者也和其它BI從業人員一樣，反思問題尋找原因。筆者認為，BI當前有六宗罪，導致了BI的高失敗。即在意識和認知層面的 “ 體系不清、方向不明 ” ，在執行和操作層面的 “ 數據不準、應用不實 ” ，在基礎層面的 “ 全程不通、工具不全 ” 。如下圖所示。
?
??? 
?
?
罪一：體系不清，雞對鴨講，無法公正地相互理解以建立統一的BI認知
?
??? 以下問題廣泛存于各種BI項目中，主要原因是BI體系不完整和BI廠商和代理商的宣傳誘導。各BI廠商的差異化營銷策略形成了 “ 差異化基礎上的差異化 ” ，而不是 “ 標準化基礎上的差異化 ” 。由此導致了用戶和開發者之間的溝通交流受阻，甚至是單方面的誘導用戶的溝通。根本原因，還是在于BI “ 體系不清 ” 未能給用戶和集成商建立起一個標準化的認知平臺。
???????
??? 用戶：BI實質是什么，應該如何理解BI?面對眾多的BI產品及其不同功能的版本，我們應該選擇什么樣的BI產品才能適合本企業？BI建設應該做成什么樣？對于本企業的BI如何評估難度和深度并據此考慮經費、周期等問題？未來本企業做BI還應是怎樣？
?
??? 開發者和集成商：如何能將我們的概念融入用戶的意識？怎么樣向其介紹BI才能相互和諧？如何和用戶共同發掘需求并順利推薦相應的產品及其功能？如何讓客戶理解本次BI項目的難度而不至對支出 “ 討價還價 ” ？
?
??? 面對上述實際問題，用戶和開發者集成商卻難以達成一個利于BI長期發展的認知。原因在于當前BI體系不清晰，對BI的理解也不一致。
?
??? 當前的BI體系，側重于技術角度以詳略不等的程度體現了BI從數據到應用的過程。IBM增加了該過程的管控和安全。美國數據倉庫研究院展示了BI的結果對策略和行動的關聯和影響。這些BI體系全面性和貼近應用性有所不足，或者用戶不能深入理解，只簡單的僅將BI當作利用數據的過程；或者開發者只知BI實現過程而難以明白實現結果以及原因，以致無法達到用戶和開發者之間的順暢交流。事實上，當前的BI體系僅解決一個方面的問題，即如何做BI，這僅是體用關系中 “ 用 ” 的其中一部分。可見當前BI體系的不完整和片面性，以至于它難以解決用戶期望的BI是什么和為什么，以及BI有什么類型，BI要做成什么樣？BI后期如何提升等問題，因而無法順暢實現開發者和用戶的溝通。此部分內容可詳見本人博客《商業智能（BI）的哲學思索---BI框架體系探討》。
?
??? 當前商業智能也存有多種概念。從概念提出至現在，數年來對BI仍沒有一個公認的統一的定義。Gartner Group、IBM、Microsoft、IDC、SAS、Business Objects、Cognos、Teradata、Oracle、MicroStrategy、all-BI述定義大致可分為三類：第一類軟件論或技術論，認為商業智能是一套幫助企業管理或決策的系統。第二類技術和軟件結合形成的概念和方法。第三類則多是自動化管理過程。綜合上述商業智能的定義，都揭示了商業智能的技術性特性，部分觀點也點明了商業智能與管理的聯系。但是，他們都缺乏明確的本質性揭示和實施方法的體系化思考，既不能讓人深入、全面的理解，更無法讓人實現操作。可參見本人博客《商業智能的 “ 操作性和提升性 ” 轉換----商業智能（BI）的三維框架》。
?
??? 另一方面的原因，當前對BI概念和BI體系的描述不易讓用戶和更多的開發者集成商理解，不夠直白，也容易造成大家理解BI進入誤區，不好造就一個輕松交流的平臺。比如有人認為業務流程改進(BPI)比業務流程再造(BPR)更適合于當前國內大多數企業的信息化及人員素質現狀，因此直白地解釋為 “ 不坐電梯走樓梯 ” 。這種直白確實容易讓大眾理解，相反太IT化太針對性的BI描述卻難以讓用戶和技術開發者直接接受。這正如王茁先生認為的當前對BI的概念太窄化了，不易普及。
?
?
罪二：方向不明，好鋼沒有用到刀刃上，難以引導BI實現預期目標
?
??? BI以數據驅動為方向，還是以業務驅動為方向？這個問題日益受到重視。即使是以業務驅動為導向，還是會滑向數據為核心，這是為什么？
?
??? 王茁先生指出商業智能發展到現在所存在的問題是人們往往過度強調 “ 智能 ” ，卻忽視了 “ 商業。商業智能變得越來越像一個IT的專有名詞，從而退化成了一項IT技術工具。這說明過度注重IT技術的結果，將會使BI距離業務越來越遠。
?
??? 一份調查證實了當前國外在商業智能上高度注重業務的傾向。今年Gartner研究公司的副總裁和著名的分析師Burton在調查了350家企業的商務智能項目后說，商務智能(沒有成功)的核心問題不是技術問題。問題則恰恰是商務領導人方面的失敗，他們沒有能夠確保企業得到他們所需要的信息，并且沒有把信息按照對企業目標有意義的方式進行調整。顯然，這實際要求BI的信息要按照業務邏輯進行組織。調查中列舉了Coldwater Creek Inc.公司。它是一家專門供給職業婦女的服裝目錄編制商和零售商，該公司成功運用了BI。公司創始人Dennis Pence說，(商務智能)絕對不能是一個IT項目， “ 我不認為它在脫離了商業的情況下會有什么意義。商務應該感覺他們在某種程度擁有它。
?
??? 上半年的CHICAGO —— Gartner商業智能峰會重新定義商業智能。峰會上主要發言人認為BI要從商業策略、商業策略、人員和流程、分析應用四個方面介紹了如何幫助業務的成功。可參見本人博客《BI，中國人可以對你說不-----評2007 Gartner商業智能峰會重定》。
?
??? 可見，以業務驅動為方向應是BI的趨勢。但是上面描述的問題卻恰恰說明當前BI往往是以數據驅動為方向。原因一是，發起者的角色錯位或角色責任轉化的不易實現。BI的發起者往往是信息中心等技術部門，而不是業務部門發起或業務部門聯合信息部門發起。二，BI泊來品照搬國外未經消化的后遺癥。BI引入國內，即是以報表，OLAP的旋轉、切片等概念和演示呈現給用戶，把用戶帶入了技術的胡同。三，業務類人員包括不少企業的一把手，對管理精細、數據分析、強化經營效果的意識不強，不易打動業務人員的參與。四，非技術的業務類人員對BI技術的使用并不熟練，兼之BI界面方便性有待提高，導致業務類人員往往認為BI是增加了自己的工作負擔。
?
??? 上述原因，往往在BI實施前后過程中形成了技術部門占主導的局面。這直接造就了BI以數據邏輯進行組織，并且直接構成了數據標準、數據源獲取、數據組織和存儲、數據利用和展示的BI主要環節。并由此形成了元數據管理工具、主數據管理工具、數據集成與交換工具、數據倉庫工具和前端展示工具這些產品。此時此刻，BI往往被定義在了前端展現工具上，即BI成了數據生命周期中的一個最終環節。集成商的開發人員考慮業務最多的是在這個BI展現環節，也就是特意強調這個環節滿足業務的需求。顯然，這造就了BI的惡果，埋下了BI不易達到實施目標的禍根。首先，由技術部門牽頭必然容易滑向自己熟悉的領域，特別是數據獲取、數據組織和存儲這些過程；其次由于涉及部門較多而業務類人員并不用心參與，造就了協調的難度；再次，面子意識以及官本位容易使信息負責人希望實施人員要拿出成果且能拿得出手時，才愿意組織業務類人員鄭重洽談。此時往往技術開發人員被要求要做出一個完整的DEMO出來。當考慮很少業務需求的DEMO做出后，信息部門覺得界面不好看、色彩不鮮明等原因擔心引起業務類角色的笑話，又以自己的想法強迫技術人員重新修改。可想時間花去了，解決業務問題的要求卻遠了。鑒于上述，即使項目經理或技術開發人員拋棄了自己的技術思維跨入業務類思維而考慮到了在數據生命周期各環節要以業務需求作紅繩，以貫串整個數據過程也難以在工作中真正做得到與此想法相匹配的行動。更何況，信息部門、技術人員中的多數根本不具備業務管理方面的思維和管理知識素養，以及對業務的深入了解能力。
?
??? 可惜！可嘆！
?
??? 總結之，技術占主導局面非常容易使BI跌入數據驅動陷阱。數據驅動有什么不好？數據驅動模式很好，它由數據的深度挖掘來輔助業務，它將企業所有的數據都整合、清洗并按不同的粒度存儲起來，業務類人員用什么數據都能提供。技術部門也似乎能一勞永逸。但是，該模型可能不適合當前國內BI發展的現狀。原因除上述所言，數據導向容易把BI的根本在于商務，應由業務邏輯來組織數據的紅繩莫須有化，結果使得BI偏離業務偏離企業的績效日益遠之；另外，還有以下原因。如人員素質以及用戶習慣。用得上BI的企業信息化程度應該不低，但是能用各種方法和工具從數據中提取有效信息的業務人員并不好找；又如變化。用得上BI的企業業務應有一定穩定性。然而花大力氣整頓好的數據，卻可能在競爭環境下對戰略戰術的調整而致使數據毫無用處。再說財力和成本，盡管能上線BI的企業財力不弱，但如從數據驅動出發長期整理數據，成本之高確實難以承載；筆者曾從事一個BI項目，僅是把數據搞準確就花了兩年,而事實上搞準的那些數據能用到業務類人員所關心的管理問題方面的非常少，價值很低。最后從項目成果來看，數據導向耗費大量時間在數據的一致性等方面，在業務需求和業務邏輯的理解和深入上盡力不夠，結果匆匆忙忙拿出的成果是報表和一些DashBoard。由于涉及業務膚淺，本質效果很少，就花時間在界面的美觀和絢麗上，敷衍領導。
?
??? 數據驅動的技術主導方向，在8月份Business Objects公司在杭州凱悅酒店所請嘉賓的職業亦可見一斑。據主持人介紹，聽眾由政府行政人員、企業人員構成。在進一步的講師講課互動中得知絕大多數人員擔任信息中心工作，即技術人員占絕對多數。當魯博士提示是否有業務人員時，現場無人舉手。可見業務類人員的參與度極低。
?
??? 數據驅動的技術主導，業務類人員參與度低，這顯然是企業最高領導的責任。正如Gartner研究公司的副總裁和著名的分析師Burton所說，當商務智能軟件項目失敗的時候，IT通常是受到責備的那個。但是這個失敗卻通常會追蹤到領導能力的缺乏，而不是技術。但是誰又敢去責備一把手？誰又能去責備一把手？不僅是因為它的公司地位，更重要是他沒有他正確理解的BI體系和BI概念以及正確的BI方向。
???
??? 即意識層面的體系不清和方向不明，導致了一把手的錯誤決策，同時也導致了業務類人員的低度參與熱情，最終導致了BI結果的不如人意。這難道是某一個人的錯誤？
?
?
罪三：數據不準 ，相關者愛恨交織，BI讓人不能心安
?
??? 實施BI，最容易出現的問題即是數據不準。看著BI生成的報表，業務方面的經理們很容易說， “ 嘿，數據是錯的 ” ，從此對BI數據的使用懷有陰影。或者他們會指出BI系統和其它操作型系統對同一個指標的數值不一致，我究竟敢用哪一個數據？主管技術的信息部門面對此種指責與懷疑更是羞愧不安。好不容易抽取完數據，花子大量時間驗證數據的一致性，又花大力氣構建了數據倉庫，本以為前端對數據展示就可以收工了，殊不知竟然基于數據在界面上被別人逮個正著，又得回到數據檢查錯誤來源了。真是又愛又恨
?
??? 確實，數據質量控制對于BI成功非常關鍵。據《商業周刊》去年的研究顯示，43%的商業人士不能確信他們企業內部的信息是否準確，77%的被訪者表示他們因為缺乏可信的信息而做出過失敗的決策。這其中，數據的質量存在很大的問題。舉例來說銀行數據庫中的信息少則幾千萬條，多則幾億條。如此龐大的數據量質量卻不一定好。同名賬戶、廢棄賬戶，一個人有多個賬戶，這些信息需要專業的工具來清洗和改良。對于數據輸入時質量控制更是得及早預防和改善。
?
??? 筆者從事的BI項目中，同名不同義，同義不同名的字段名稱的一致化就耗時甚長。對于那種字段類型不一致的也是非常之多。有時一個指標的數據發生錯誤，但是卻要花費不少精力來查出錯誤的源頭。在某個數據進入ODS區域，再進入數據倉庫，數據集市后，技術人員往往不知道該數據是如何被利用以及數據的利用路徑。實施現場的技術人員尚且如此，更何況做維護的工程師了。
?
??? 異構系統通常是原始數據臟的原因。從原始數據整合起，數據的抽取、轉換、清洗和加載過程屬于技術過程。一般來說ETL工具保證了某些部分的數據質量，例如剔除那些有空白字段的信息、找出小數點明顯點錯的數據等，但是目前的數據集成與轉換工具大多集中在數據的抽取、轉換和加載方面的功能，對數據質量保證不夠重視。這是因為相關確保數據質量的工具比較缺少，因此在目前的大多數BI項目中缺少從技術角度去確保數據質量這個環節。
?
??? 數據質量控制是BI實施中極其困難的一個環節。對原有異構數據一致化的困難過程，對源頭上新數據的質量控制的新制度約束艱難，都是當前BI難以成功完成目標的重要障礙，也成為大多數復雜BI項目最容易受人責難的焦點之一。
?
??? 除了開發人員的經驗和細心盡責之外，高效能的數據質量工具是解決上述問題的重點。
?
罪四：應用不實，成為作 “ Show ” ，BI難以解決實際問題
?
??? “ 應用不實 ” 或許最能激起BI從事者的共鳴。
?
??? 當信息中心有關人員要求開發實施者不停地在大量的報表中折騰時，他們有沒有想到這些寶貴的時間是不是要用在研究企業的業務邏輯方面。當我們的信息主管在責罵實施組需求研究不深入時，他們有沒有想到項目實施組所謂的業務專家想充分了解業務卻又在企業信息主管因擔心弄不好遭同事笑話的阻隔下而不能深入了解業務運營時情景。
?
??? 當業務人員指責已經做成的BI系統只是一堆垃圾，或者說大部分功能不實用只是 “Show” 而不能提出有價值的信息時，他們有沒有、會不會好好反省一下：我已經讓企業、讓技術部門、讓實施人員清晰地了解了我們想要從商務智能中獲得什么了嗎?我是不是已經用關鍵業績指標來將業務運作的核心點聯系起來了么？業務人員指出數字并且說，這些數字是錯誤的，要將他們改正過來。把它們改正是比較容易，花費些精力和時間總是能夠完成。???
?
??? 如果沒有與業務運作的邏輯緊密聯系，就算將數據搞得多么的正確，就算將報表和DashBoard做得多么的絢爛和形狀怪異，亦不能讓BI幫助企業實現管理上的節流和營銷上的開源，因此BI亦勢必不能發揮更大的作用。
?
??? 這就是應用不實！
?
??? 應用不實，是當前大多數BI項目的通病，也是阻礙BI發展的核心問題。應用不實表明，BI這種分析型的系統不能像操作型的流程型系統一樣真正貫入企業的業務流程，不能幫助業務人員解決問題。也就是說BI不能落實在工作之中，它成了一種 “Show” 。
?
??? “成也蕭何，敗也蕭何” ，基本不需要改動流程這種BI系統的特性，既成了BI實施啟動的優勢，也是BI實施不能成功的劣勢。
?
??? 應用不實的原因涉及到多個方面，業務和技術的協同問題，業務類人員對BI的理解以用業務類人員自身素質問題，業務需求的多變因素等等。
?
?
罪五：全程不通，銜接處參差不齊，無形中加大BI集成商開發和用戶維護的難度
?
??? 集成商對 “ 全程不通 ” 應該最有感觸。集成商在面對客戶時抱怨做BI系統要綜合個廠家的BI產品，難以權衡，同時又在暗地里得意：沒有這么多的廠家，我的價值從何體現？全程不通，造就了集成商開發BI的難度，也約束了最終使用單位不一定屬于專業的技術人員對BI的自我運用。當然，也造就了集成商對 “ BI產品選型 ” 的獨特優勢，也使最終用戶難以把握住產品選型。
?
??? BI系統可以簡單地看成由三個部分組成: 數據源到數據倉庫（或數據集市），再到前端展現。三部分間相關的軟件產品和工具有很多種，而每個工具之間的連接都存在相當的二次開發工作。沒有全程連通的產品，或者說沒有哪個廠家真正具有全程聯通的產品，造就了當前的困境。下表列出部分當前的BI產品。這些工具支撐了數據標準、數據集成與交換、數據存儲和數據應用以及元數據管理的BI主要過程。
?
??? 
?
??? 上表列出的BI產品是各廠家的強項所在。近來，上表中的部分廠家開始了向上和向下一體化的步伐。以數據庫為拳頭產品的廠家通過收購或自我開發的方式，向下進一步挖掘與開發元數據管理產品、主數據管理產品，向上開始注重前端展示類產品、把報表與展示類的產品收歸麾下。如以DB2為基石的IBM即收購了alphablox作為BI數據利用的前端展示；在前端展示市場占有率極高的BO，現在開始提倡BO的數據質量、數據管理和數據利用為一體。主數據管理是其強調的優勢。又如做統計分析很牛的SAS，其分析、統計預測的能力，行業內首屈一指。SAS現在宣稱其擁有從數據源到數據倉庫再到數據利用的全線產品。
?
??? 從尊重歷史的角度實事求是地講，各廠家由于有某項強項產品，才得以在競爭中生存。不可否認在較短的時間內一定有能力開發出其上下游的產品，但是市場能否相信該產品的成熟度，市場能否接受呢？如果是收購或兼并，必然或多或少也要涉及軟件之間的整合問題。確實不易。
?
?
罪六：工具不全，手工操作之處不少，既降低開發效率又影響應用效果
?
??? 全程不通，講的是BI現有的全程產品主要由拼湊而得，總體上還缺乏一套成熟的全程產品。工具不全，描述各個環節產品還存有工具不全的罪狀，特別是在數據層面和應用層面。
?
??? 在數據層面，當前的元數據管理工具似乎并不能面面俱到。元數據管理，管理著技術元數據、業務元數據。技術元數據，主要包括對數據倉庫的數據源數據、目標數據的描述以及它們間的抽取、轉換、清洗規則，以及數據倉庫的維護和數據更新策略。業務元數據向業務用戶提供了訪問數據倉庫或數據集市的導航數據，通過業務元數據，業務用戶可以清晰地理解數據的含義及相關的處理（基于統一的業務術語），因此業務人員可用此來作其操作的導航，以保持分析結果的一致性。舉技術元數據的例子，當前的工具難以監測到某個數據的生命周期或者說利用過程。比如，技術員得知業務人員發現報表中某個數據出錯后，需要花費比較長的時間來尋找該數據的來龍去脈。如果有強撼的元數據管理工具還需要如此費力么？
?
??? 在應用層面，也就是BI的數據利用層面，現有的工具在幫助客戶解決問題方面仍有不足。筆者認為支撐應用的BI工具有7類：描述性統計工具、報表與展示工具、經濟預測方法與模型、經營技術與工具、OLAP分析及專家系統工具、決策方法與模型來實現。7類工具各自又含有自己的類別工具。另一方面，當前的應用支撐工具還不能將工具與應用串起業，也未能將工具和應用與別的工具和應用，按業務邏輯的方式串起來。因此，在應用層面，當前的BI工具還有待發展。
?
??? 當前大型企業在實施BI后，通常建立了專們的BI分析團隊。據報道，神州數碼的所有員工都已不同程度地成為 “ 初級BI分析師 ” 。寶鋼實施了SAS的BI后，在企業內部有100名左右的專職分析師。試想，如此龐大的隊伍，如果不能利用完善的工具，其成功率、效率與成本值得考察。實際上，并不是所有企業都能培養專職的分析師隊伍，普通員工操作著部分且不一定能有效的工具，如OLAP分析工具，花了大量的時間并不能解決其設計的問題，豈不是怨言滿天而阻礙了BI的進一步發展？
?
?
?
?
六宗罪源于當前BI的先天缺陷和后天不足
?
??? BI六宗罪源于BI環節的肥瘦不均、先天缺陷和后天不足難以保證結果而又期望過高，導致差距過大。如下圖所示。
?
??? 
?
??? 首先，理念層在體系和BI方向上的認知不一致，容易被誤導或者出現混亂，從而在項目洽談前就埋下了先天缺陷。 這種缺陷客觀存在，基于BI的發展歷程或者說大家對BI認識也漸進過程。先行者為此缺陷埋單位！或者說不自覺地為完善對BI的認識付出了昂貴的成本和精力。理念層面環節是當前BI最為虛胖的環節，隱性地制約了BI的真正發展。
?
??? 其次，基礎層面不牢靠，支撐不力也是項目洽談前的先天缺陷。 合理選型有意識地規避了部分基礎層的風險，它通過一定的提前措施盡量減少了不足。但是從整體來看，仍然是在缺陷中減少缺陷的方法，只能是在缺陷中將風險壓制到最小或可以接受的程度。該環節也是BI比較虛胖之處。
?
??? 由于甲乙雙方在項目認知的沖突，或者甲乙雙方一致但雙方與BI正確方向和體系的沖突，并且由于工具方面的缺陷，特別容易導致項目實施時的后天不足。因此執行層在面對異構數據時，由于工具和數據質量等客觀原因及其它主觀因素，導致數據不準；而雙方對項目認知的不妥，致使項目難以協調，而導致最終開發結果華而不實，沒有實際價值。可見，由于BI先天的虛胖，加之于后天的困難則更多，導致BI實施失敗的可能大大增加。
?
??? 從實施BI的角度，在當前并非落實BI最佳時刻的客觀環境下，BI廠商、用戶和集成商應該清醒地統一認知，謹慎地規劃與工具相匹配的應用。酌情而作，應是上策。
?
??? 從BI發展的角度來看，BI應該在理念層、執行層和基礎層協調配合，以理念層為指引，引導基礎層和執行層。
?
?