?商業(yè)智能是企業(yè)利用現(xiàn)代信息技術(shù)收集、管理和分析結(jié)構(gòu)化和非結(jié)構(gòu)化的商務(wù)數(shù)據(jù)和信息,創(chuàng)造和累計商務(wù)知識和見解,改善商務(wù)決策水平,采取有效的商務(wù)行動,完善各種商務(wù)流程,提升各方面商務(wù)績效,增強(qiáng)綜合競爭力的智慧和能力。
通俗點講,商務(wù)智能就好比“數(shù)據(jù)煉油廠”,即把商業(yè)活動中累積的數(shù)據(jù)加工成可用于支持商業(yè)決策的信息
?
BI的范圍很廣,在實際商務(wù)中我們往往只需運用其中的某個部分就可以暫時滿足企業(yè)的需求,如數(shù)據(jù)倉庫,聯(lián)機(jī)事務(wù)分析(OLAP),數(shù)據(jù)挖掘,決策支持系統(tǒng)(DDS)等。其實,整個BI的框架結(jié)構(gòu)可以用下面的圖中間的三部分(數(shù)據(jù)預(yù)處理、數(shù)據(jù)倉庫、數(shù)據(jù)分析)來表示:
就我理解,商業(yè)智能的最終目的就是提供給決策者一份站在戰(zhàn)略層角度統(tǒng)觀全局,及時的,在短時間內(nèi)可以讀完,為企業(yè)決策服務(wù)的統(tǒng)計報表。BI專家把這個任務(wù)分解為三個子任務(wù):
1)
為了整合各種格式的數(shù)據(jù),清除原有數(shù)據(jù)中的錯誤記錄,專家們提出了數(shù)據(jù)預(yù)處理的要求
——ETL(
數(shù)據(jù)抽取、轉(zhuǎn)換、裝載
)
;
很多企業(yè)同時采用了多個在線事務(wù)處理系統(tǒng),而這些系統(tǒng)之間的數(shù)據(jù)定義格式不盡相同,我們必須先定義一個統(tǒng)一的數(shù)據(jù)格式,然后把各個來源的數(shù)據(jù)按新的統(tǒng)一的格式進(jìn)行轉(zhuǎn)換,然后集中裝載入數(shù)據(jù)倉庫中。但并不是各個來源的不同格式的所有數(shù)據(jù)都能被新的統(tǒng)一格式包容,我們也不應(yīng)強(qiáng)求非要把所有數(shù)據(jù)源的數(shù)據(jù)全部集中起來。有可能原來錄入的數(shù)據(jù)中,少量的記錄使用了錯誤的數(shù)據(jù),這類數(shù)據(jù)如果無法校正,應(yīng)該被舍去。某些數(shù)據(jù)記錄是非結(jié)構(gòu)化的,很難將其轉(zhuǎn)化成新定義的統(tǒng)一格式,而且從中抽取信息必須讀取整個文件,效率極低,如大容量的二進(jìn)制數(shù)據(jù)文件,多媒體文件等,這類數(shù)據(jù)如果對企業(yè)決策不大,可以舍去
2)
對預(yù)處理過數(shù)據(jù),應(yīng)該統(tǒng)一集中起來,由此產(chǎn)生了元數(shù)據(jù)
(Meta data)
、數(shù)據(jù)倉庫
(Data Warehouse)
;
數(shù)據(jù)倉庫是
BI
的基礎(chǔ),有如下四個特性:
①面向主題的:不同類型的公司,其主題集合是不相同的。
②集成的:數(shù)據(jù)倉庫的數(shù)據(jù)來源很廣,數(shù)據(jù)倉庫最重要的目的就是為了集成這些不同數(shù)據(jù)源的數(shù)據(jù)。
③非易失的:和傳統(tǒng)的操作型數(shù)據(jù)庫系統(tǒng)相比,數(shù)據(jù)倉庫通常是以批量方式載入和訪問。而且,對于數(shù)據(jù)倉庫中的記錄,并不進(jìn)行一般意義上的數(shù)據(jù)更新,刪除。所有的歷史數(shù)據(jù)都會被保留,通常我們只是不停的批量導(dǎo)入新的數(shù)據(jù)。
④隨時間變化的:操作型數(shù)據(jù)庫系統(tǒng)出于性能上的考慮,并不保存系統(tǒng)投入運行后所產(chǎn)生的所有數(shù)據(jù),一般只保留最新的
60~90
天內(nèi)所產(chǎn)生的數(shù)據(jù)記錄。。
?
3)
最后,對于集中起來的龐大的數(shù)據(jù)集,還應(yīng)進(jìn)行相應(yīng)的專業(yè)統(tǒng)計和開發(fā)應(yīng)用,從中發(fā)掘出對企業(yè)決策有價值的新的機(jī)會,這就是
OLAP(
聯(lián)機(jī)事務(wù)分析
)
和數(shù)據(jù)挖掘
(Data Mining)
。
數(shù)據(jù)挖掘(
Data Mining
,
DM
)是指從大量不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中,提取隱含在其中的、有用的信息和知識的過程。
CRISP-DM
(
Cross-Industry Standard Process for Data Mining
)就是公認(rèn)的、很有影響的數(shù)據(jù)挖掘方法論之一。
CRISP-DM
強(qiáng)調(diào),
DM
不單是數(shù)據(jù)的組織或者呈現(xiàn),也不僅是數(shù)據(jù)分析和統(tǒng)計建模,而是一個從理解業(yè)務(wù)需求、尋求解決方案到接受實踐檢驗的完整過程。
CRISP-DM
將整個挖掘過程分為以下六個階段:商業(yè)理解(
Business Understanding
),數(shù)據(jù)理解
(Data Understanding)
,數(shù)據(jù)準(zhǔn)備
(Data Preparation)
,建模
(Modeling)
,評估
(Evaluation)
和發(fā)布
(Deployment)
。其框架圖如下:
?
從技術(shù)層來看,數(shù)據(jù)挖掘技術(shù)可分為描述型數(shù)據(jù)挖掘和預(yù)測型數(shù)據(jù)挖掘兩種。描述型數(shù)據(jù)挖掘包括數(shù)據(jù)總結(jié)、聚類及關(guān)聯(lián)分析等。預(yù)測型數(shù)據(jù)挖掘包括分類、回歸及時間序列分析等。
凡是有該標(biāo)志的文章,都是該blog博主Caoer(草兒)原創(chuàng),凡是索引、收藏
、轉(zhuǎn)載請注明來處和原文作者。非常感謝。