|
環節一：異種數據源集成
??? 企業在經營分析與決策支持系統的建設時，必須將遺留系統（Legacy System）進行高效全面的集成。由于遺留系統是在企業發展的不同時期建設的，往往缺乏全局規劃，所以擁有不同的操作系統、不同的數據庫、不同的網絡通信機制等，形成了所謂的“信息孤島”。
??? 系統中采用異種數據源企業應用集成接口，來實現對異種數據源的透明訪問，包括數據源元數據訪問及業務操作數據訪問。數據源分為在線數據源和離線數據源，在線數據源是指允許在線抽取的業務數據源，如營業數據; 離線數據源是指不允許直接在線抽取的數據源，如計費樣單數據就是采用以脫機文件數據格式及FTP方式集成進系統。
?? 對數據源實現元數據級的管理，數據源的連接類型（ODBC、OLEDB、JDBC、Native）、連接字符串，以及數據結構信息都以元數據的形式存儲于元數據庫中，通過控制臺對其進行業務語義定義，使用戶對整個企業的信息系統有了全面的掌握。
環節二：ODS層的設計
??? 操作數據存儲ODS（Operation Data Storage）是一個集成了來自不同數據庫數據的環境。其目的是為終端用戶提供一致的企業數據集成視圖。它可以幫助用戶輕松應對跨多個商業功能的操作挑戰，是面向主題的、集成的、近實時的數據存儲。
??? 設計ODS層的目的在于改善了對關鍵操作數據庫的存取，用戶能獲得收益、客戶等主題的企業級完整視圖，有利于更好地通觀全局。近實時的數據存儲提供了查詢與服務能力，并以更高的性能生成操作報告。設計ODS的核心是實現焦點主題全局試圖應用，如企業的客戶管理系統，可以建立以客戶為中心的ODS客戶主題視圖，向上層提供高效的服務。而對于話費結算則采取了從綜合結算系統中直接抽取到數據倉庫的方式，抽取周期為結算周期，能完全滿足決策分析的時間窗要求。
環節三：ETL過程的設計
??? 數據抽取、轉換和加載，是數據倉庫實現過程中，數據由數據源系統向數據倉庫加載的主要方法，整個數據處理過程如下：
??? 數據抽取 從數據源系統抽取數據倉庫系統所需的數據，數據抽取采用統一的接口，可以從數據庫抽取數據，也可以從文件抽取。對于不同數據平臺、源數據形式、性能要求的業務系統，以及不同數據量的源數據，可能采用的接口方式不同，為保證抽取效率，減少對生產運營的影響，對于大數據量的抽取，采取“數據分割、縮短抽取周期”的原則，對于直接的數據庫抽取，采取協商接口表的方式，保障生產系統數據庫的安全。
?? 數據轉換 數據轉換是指對抽取的源數據根據數據倉庫系統模型的要求，進行數據的轉換、清洗、拆分、匯總等，保證來自不同系統、不同格式的數據和信息模型具有一致性和完整性，并按要求裝入數據倉庫。
?? 數據加載 數據加載是將轉換后的數據加載到數據倉庫中，可以采用數據加載工具，也可以采用API編程進行數據加載。數據加載策略包括加載周期和數據追加策略，對于電信企業級應用，采用對ETL工具DataStage進行功能封裝，向上提供監控與調度接口的方式。數據加載周期要綜合考慮經營分析需求和系統加載的代價，對不同業務系統的數據采用不同的加載周期，但必須保持同一時間業務數據的完整性和一致性。
環節四：倉庫模型設計
?? 由于經營分析需求的不斷變化，數據倉庫中數據的存儲必須采用主題分域的方式，及盡可能小的業務單元進行數據的組織和存儲，以滿足數據倉庫的靈活性。此外，任何一個信息系統都具有整體性、結構性、層次性、相對性、可變性，數據倉庫的目標邏輯結構的設計要體現這些特征。
?? 例如，某電信運營商的業務可以按照不同的主題域分為八類：客戶、賬務、資源、服務、客服、營銷、服務使用、結算。客戶主題包含與客戶相關的基本信息，如客戶的自然屬性（姓名、年齡、職業等）、分類信息（現有客戶、潛在客戶、大客戶等）、重要屬性信息（信用度、忠誠度、消費層次等）。賬務主題中包含了與客戶相關的費用信息，如明細賬單、綜合賬單、賬本、賬戶、付費記錄、銷賬流水等；資源主題中包含網絡資源和服務資源信息及占用情況；服務主題包含產品、套餐、資費與優惠規則等的信息；客服主題包含與客戶服務相關的部門信息、流程信息、分類信息等; 營銷主題包含銷售機會、營銷渠道、促銷活動等相關信息；服務使用主題描述客戶購買和使用電信服務產品的信息，包括用戶、服務使用記錄、清單等；結算主題包含結算清單、結算明細賬單、合作服務方等信息。對于主題的建模采用星型結構，以事實表或概要表加相關維表構成。
環節五：元數據管理
??? 元數據（Metadata）是關于數據、操縱數據的進程，以及應用程序的結構、意義的描述信息，其主要目標是提供數據資源的全面指南。元數據是描述數據倉庫內數據結構和建立方法的數據，可將其按用途分為兩類：技術元數據（Technical Metadata）、業務元數據（Business Metadata）和內聯映射元數據（Inter-Mapping Metadata）。
??? 技術元數據是存儲關于數據倉庫系統技術細節的數據，是用于開發和管理數據倉庫的數據，主要包括數據倉庫結構的描述（各個主題的定義，星型模式或雪花型模式的描述定義等）、ODS層的企業數據模型描述（以描述關系表及其關聯關系為形式）、對數據稽核規則的定義、數據集市定義描述與裝載描述（包括Cube的維度、層次、度量以及相應事實表、概要表的抽取規則）。另外，安全認證數據也作為元數據的一個重要部分進行管理。
??? 業務元數據從業務角度描述了數據倉庫中的數據，它提供了介于使用者和實際系統之間的語義層，使得不懂計算機技術的業務人員也能夠理解數據倉庫中的數據。業務元數據包括以下信息:使用者的業務術語所表達的數據模型、對象名和屬性名；訪問數據的原則和數據來源;系統所提供的分析方法及公式、報表信息。
??? 內聯映射元數據（Inter-Mapping Metadata）實現技術元數據與業務元數據的層間映射，使得信息系統的概念模型與物理模型相互獨立，使企業的概念、業務模型重組，以及物理模型的變化相互透明。
??? 內聯映射元數據從技術上為業務需求驅動、企業數據驅動的雙驅動建設模型提供了重要保證,使信息系統的建設具有更高的靈活性與適應性（基于元模型數據倉庫建模的過程如圖1所示）。
環節六：專題數據挖掘
??? 電信企業在長期信息化建設過程中積累了大量業務運營數據和業務管理數據，一般的企業數據量已超過TB級。市場的激烈競爭和管理的復雜性，決定了企業需要對客戶關系、市場營銷、產品工程、投資分析等方面的歷史數據進行提取與分析，將數據轉化為有用的信息。數據挖掘一般用于在海量數據集中發現間接、隱藏、新穎的規律，數據挖掘技術的優勢在于，通過對數據集進行有限步驟的采集、整理、分析、推理、比較等分析手段，來揭露埋藏數據內部的有用信息。數據挖掘常用的算法包括：關聯規則、聚類檢測、決策樹、神經網絡、遺傳算法、支持向量機等，在SAS、IM8等數據挖掘工具中支持的算法包括決策樹、聚類分析、神經網絡、回歸分析等。
??? 以電信經營數據分類與預測分析數據挖掘專題為例，分類包括客戶分類、網元分類等; 預測包括客戶發展分析與預測、業務量發展分析與預測、客戶流失分析與預測、營銷管理與銷售機會分析與預測、市場競爭分析與預測、大客戶分析與預測等。
|