1.1 系統(tǒng)構(gòu)成
童式魔方的構(gòu)成主要包括:數(shù)據(jù)倉(cāng)庫(kù)、ETL、元數(shù)據(jù)解析器、數(shù)據(jù)分析引擎、公式解析器、數(shù)據(jù)渲染引擎、緩存機(jī)制、知識(shí)庫(kù)、報(bào)表展示器、圖形展示器。
1.1.1 數(shù)據(jù)倉(cāng)庫(kù)
童式魔方可采用各種sql數(shù)據(jù)庫(kù)來(lái)建立數(shù)據(jù)倉(cāng)庫(kù),具體的選擇需根據(jù)用戶的實(shí)際情況,對(duì)于一般情況的需求最簡(jiǎn)單的方法就是采用mysql數(shù)據(jù)庫(kù)。
1.1.2 ETL
ETL是數(shù)據(jù)采集、清洗的工具,負(fù)責(zé)從各類數(shù)據(jù)源中根據(jù)用戶需要篩選出來(lái)的感興趣的數(shù)據(jù)并創(chuàng)建成通用、可重復(fù)使用的多維數(shù)據(jù)立方體;ETL具有極高的存儲(chǔ)效率和響應(yīng)速度,一旦創(chuàng)建規(guī)則、建立存儲(chǔ),企業(yè)不同層級(jí)用戶將基于立方體進(jìn)行商業(yè)分析,完全與生成系統(tǒng)進(jìn)行剝離,性能可靠性得到保障,保證用戶訪問(wèn)數(shù)據(jù)的響應(yīng)速度。
1.1.3 元數(shù)據(jù)解析器
元數(shù)據(jù)是系統(tǒng)中關(guān)于數(shù)據(jù)源、數(shù)據(jù)結(jié)構(gòu)、業(yè)務(wù)模型等的描述,是整個(gè)分析系統(tǒng)的基礎(chǔ),童式魔方的設(shè)計(jì)、開(kāi)發(fā)和使用都是基于元數(shù)據(jù)來(lái)進(jìn)行的。系統(tǒng)采用了業(yè)界標(biāo)準(zhǔn)的立方體定義方法,并對(duì)其進(jìn)行了部分的改進(jìn),如樹(shù)型描述部分;系統(tǒng)提供了對(duì)這種定義方法的解析器,該解析器支持元數(shù)據(jù)的熱加載,在系統(tǒng)啟動(dòng)時(shí)便可加載已定義的元數(shù)據(jù),亦可在系統(tǒng)啟動(dòng)后檢測(cè)到新的元數(shù)據(jù)定義并加載,隨時(shí)準(zhǔn)備提供給用戶做分析設(shè)計(jì)。 輸入:元數(shù)據(jù)定義文件;輸出:元數(shù)據(jù)對(duì)象;元數(shù)據(jù)解析器具備以下特性:l 準(zhǔn)確性:相同的元數(shù)據(jù)定義應(yīng)該產(chǎn)生一致的解析結(jié)果。l 熱加載:對(duì)新增的元數(shù)據(jù)定義的反應(yīng) 應(yīng)該是快速及時(shí)的。
1.1.4 數(shù)據(jù)分析引擎
數(shù)據(jù)分析引擎是整個(gè)系統(tǒng)的核心部分,主要負(fù)責(zé):立方體的模擬、把設(shè)計(jì)緯度解析成分析緯度、把原生數(shù)據(jù)轉(zhuǎn)換成立方體數(shù)據(jù)、緯度與度量的上卷與下鉆、子立方的計(jì)算(與公式解析器的交互)、子立方的定位;輸入:原生數(shù)據(jù)(數(shù)據(jù)倉(cāng)庫(kù)提供)、設(shè)計(jì)立方體(知識(shí)庫(kù)提供);輸出:計(jì)算后的模擬立方體對(duì)象;數(shù)據(jù)分析引擎還應(yīng)該提供對(duì)自身工作的監(jiān)控信息,監(jiān)控信息應(yīng)該包含模擬立方體對(duì)象生成的時(shí)間和數(shù)據(jù)容量等信息。――未完成數(shù)據(jù)分析引擎具備以下特性:l 準(zhǔn)確性:相同的原生數(shù)據(jù)在相同的統(tǒng)計(jì)口徑中應(yīng)該產(chǎn)生一致的分析結(jié)果;l 高性能:對(duì)數(shù)據(jù)的處理應(yīng)該是快速及時(shí)的;l 伸縮性:對(duì)數(shù)據(jù)的處理和分析是可配置的;l 智能型:可自識(shí)別所有的子立方是否計(jì)算完成,避免無(wú)限制的計(jì)算;
1.1.5 公式解析器
公式解析器用與配合數(shù)據(jù)分析引擎對(duì)自定義緯度的公式進(jìn)行解析和計(jì)算,支持四則運(yùn)算、分片排名、同期比、環(huán)比;公式的參數(shù)定義規(guī)則有兩種:父子關(guān)系、軸坐標(biāo);輸入:自定義公式、模擬立方體對(duì)象;輸出:計(jì)算結(jié)果;公式解析器具備以下特性:l 準(zhǔn)確性:相同的模擬立方體對(duì)象在相同的計(jì)算公式中應(yīng)該產(chǎn)生一致的計(jì)算結(jié)果;l 高性能:對(duì)公式的解析、參數(shù)在模擬立方體的定位、結(jié)果的計(jì)算應(yīng)該是快速及時(shí)的;l 易擴(kuò)張:公式定義的需求是多變的,解析器需不斷擴(kuò)展自己的解析能力;
1.1.6 數(shù)據(jù)渲染引擎
數(shù)據(jù)渲染引擎負(fù)責(zé)對(duì)數(shù)據(jù)分析引擎提供的數(shù)據(jù)進(jìn)行最后的格式化操作,包含數(shù)據(jù)的監(jiān)控報(bào)警信息,用于提供給分析結(jié)果展示器;數(shù)據(jù)渲染引擎扮演一個(gè)油漆工的角色,只是對(duì)數(shù)據(jù)分析引擎分析完成的數(shù)據(jù)進(jìn)行美化工作;輸入:模擬立方體對(duì)象;輸出:格式化數(shù)據(jù); 渲染引擎應(yīng)該具備以下特性:l 高性能:對(duì)數(shù)據(jù)的渲染應(yīng)該是快速的;l 兼容性:渲染引擎輸出應(yīng)該兼容同類設(shè)備,例如Html應(yīng)該兼容IE和FireFox;
1.1.7 緩存機(jī)制
緩存機(jī)制的產(chǎn)生主要是為了解決多用戶的并發(fā)訪問(wèn)和相同立方體的訪問(wèn),主要是向外提供已經(jīng)被緩存了的數(shù)據(jù);緩存機(jī)制緩存的數(shù)據(jù)可能是原生數(shù)據(jù),也可能是數(shù)據(jù)分析引擎生成的模擬立方體對(duì)象或者數(shù)據(jù)渲染引擎生成的數(shù)據(jù)。輸入:供存儲(chǔ)的數(shù)據(jù)輸出:無(wú)或者被緩存的數(shù)據(jù)緩存機(jī)制具備以下特性:l 高性能:對(duì)被緩存的數(shù)據(jù)的查找和返回應(yīng)該是快速的;l 高并發(fā):緩存機(jī)制能夠舒緩多用戶操作帶來(lái)的并發(fā)壓力問(wèn)題,主要舒緩后端立方體數(shù)據(jù)的并發(fā)計(jì)算和原生數(shù)據(jù)的并發(fā)訪問(wèn);l 自適應(yīng):能根據(jù)總體內(nèi)存的大小和數(shù)據(jù)的使用頻率來(lái)清理緩存,使自身能良好運(yùn)作;
1.1.8 知識(shí)庫(kù)
知識(shí)庫(kù)用于存儲(chǔ)用戶定義的各種分析要求,包括立方體的定義和緯度定義,并提供簡(jiǎn)單易用的設(shè)計(jì)界面。知識(shí)庫(kù)作為整個(gè)系統(tǒng)的核心配置存儲(chǔ)應(yīng)該具備以下特性:l 數(shù)據(jù)的穩(wěn)健性:知識(shí)庫(kù)中的數(shù)據(jù)因?yàn)樯婕按罅康膱?bào)表配置信息,這些數(shù)據(jù)應(yīng)該是穩(wěn)定而且不易丟失的;l 查詢性能:因?yàn)閳?bào)表引擎頻繁訪問(wèn)知識(shí)庫(kù)中的數(shù)據(jù),一般情況下,知識(shí)庫(kù)的查詢性能優(yōu)于其寫(xiě)入性能;
1.1.9 報(bào)表展示器
報(bào)表展示器用于對(duì)分析結(jié)果的展現(xiàn),結(jié)合數(shù)據(jù)渲染引擎可支持html、excel、pdf等多種格式的展現(xiàn),html的展現(xiàn)可支持緯度的上卷、下鉆、篩選、行列對(duì)換,亦可支持度量數(shù)據(jù)的鉆取等操作。輸入:數(shù)據(jù)渲染引擎渲染后的數(shù)據(jù)輸出:報(bào)表報(bào)表展示器具備以下特性:l 高性能:報(bào)表展示器能把模擬的立方體數(shù)據(jù)快速轉(zhuǎn)換成報(bào)表數(shù)據(jù);l 直觀性:報(bào)表呈現(xiàn)的數(shù)據(jù)要直觀易懂,提供交互的地方要易操作。
1.1.10 圖形展示器
圖形展示器用于對(duì)分析結(jié)果的圖形展現(xiàn),可支持柱圖、線圖、區(qū)域圖、餅圖等多種形式的圖形展現(xiàn)。輸入:模擬立方體對(duì)象、圖形展示參數(shù)輸出:圖形圖形展示器具備以下特性:l 高性能:圖形展示器能把模擬的立方體數(shù)據(jù)快速轉(zhuǎn)換成圖形數(shù)據(jù);l 圖表聯(lián)動(dòng):圖形展示器可根據(jù)用戶對(duì)報(bào)表的操作結(jié)果生成相應(yīng)的圖形。
posted on 2008-11-06 08:58
kufee 閱讀(1782)
評(píng)論(0) 編輯 收藏