本文由CSDN博主IT小牛吐血打造,親身經(jīng)歷,獨(dú)家報(bào)道,第一視角呈現(xiàn)、解讀保險(xiǎn)公司決策分析系統(tǒng)建設(shè)的背景、實(shí)現(xiàn)目的是哪些,其項(xiàng)目建設(shè)方案又是如何。絕對(duì)干貨,絕對(duì)超值!
科普知識(shí):什么是決策分析系統(tǒng)
決策分析系統(tǒng)呈現(xiàn)的是數(shù)據(jù)頁面,也就是俗稱的報(bào)表,報(bào)表與報(bào)表間、數(shù)據(jù)與數(shù)據(jù)間都按照一定的邏輯設(shè)定,是業(yè)務(wù)人員查看、分析數(shù)據(jù)的平臺(tái),更是輔助領(lǐng)導(dǎo)們運(yùn)營(yíng)決策的平臺(tái)。底層數(shù)據(jù)決定上層分析,所以建設(shè)決策分析系統(tǒng)一般包括數(shù)據(jù)層處理(數(shù)據(jù)倉(cāng)庫建設(shè))。
開篇點(diǎn)題:項(xiàng)目背景是怎么樣的
通常,保險(xiǎn)公司信息化程度很高,基本上都有業(yè)務(wù)處理系統(tǒng)(像集團(tuán)業(yè)務(wù)處理系統(tǒng)、老業(yè)務(wù)處理系統(tǒng)、個(gè)人代理人系統(tǒng)等)、數(shù)據(jù)服務(wù)系統(tǒng)(通過ETL對(duì)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的集成)、數(shù)據(jù)分析查詢系統(tǒng)(比如銷售管理系統(tǒng)、業(yè)務(wù)查詢系統(tǒng))。
說下項(xiàng)目主角:某某保險(xiǎn)公司。話說該保險(xiǎn)公司的業(yè)務(wù)在發(fā)展,時(shí)間再推移,上述三大系統(tǒng)在配合應(yīng)用方面就顯得非常吃力,問題有:
一、數(shù)據(jù)量進(jìn)入TB級(jí)
數(shù)據(jù)變化,多表關(guān)聯(lián)查詢,更新刪除,受軟硬件制約,比之前緩慢。傳統(tǒng)寫SQL做報(bào)表已跟不上節(jié)奏。還要保證數(shù)據(jù)的即時(shí)性,準(zhǔn)確性,可靠性。
二、報(bào)表需求爆炸增長(zhǎng)
公司經(jīng)營(yíng)體制改革,各業(yè)務(wù)渠道各部門對(duì)數(shù)據(jù)報(bào)表要求在深度,廣度,精度越來越高,需求從不同的視角切分查看匯總數(shù)據(jù)。業(yè)務(wù)流程時(shí)效,處理過程預(yù)警。
三、報(bào)表開發(fā)時(shí)效性問題
公司部門人員往往今天提一個(gè)需求,明天就想要結(jié)果,傳統(tǒng)的用存儲(chǔ)過程,dtsx包先處理好數(shù)據(jù),然后從結(jié)果表出數(shù)據(jù),一個(gè)臨時(shí)表對(duì)應(yīng)一張報(bào)表,非常耗時(shí)。延誤需求。開發(fā)人員工作量也大。
四、統(tǒng)計(jì)口徑不一致
沒有統(tǒng)一的維度,統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)(業(yè)務(wù)數(shù)據(jù)錄入出錯(cuò)),統(tǒng)一的業(yè)務(wù)邏輯,開發(fā)人員不同,一個(gè)報(bào)表這個(gè)指標(biāo)這樣算,另外一個(gè)人員那樣算,導(dǎo)致天天在核對(duì)數(shù)據(jù)。
五、數(shù)據(jù)權(quán)限
不同的用戶看到不同的報(bào)表,同一張報(bào)表看到不同的內(nèi)容。之前套路開發(fā)緩慢。
六、大量數(shù)據(jù)在沉睡
積累了大量的客戶,銷售人員和保單數(shù)據(jù)交易數(shù)據(jù),未充分利用,數(shù)據(jù)深層次的關(guān)聯(lián),由于信息開發(fā)人員工作時(shí)間被上面幾項(xiàng)問題天天纏著,根本沒有時(shí)間結(jié)合公司實(shí)際,去發(fā)現(xiàn)數(shù)據(jù)價(jià)值,活用數(shù)據(jù),從而把數(shù)據(jù)轉(zhuǎn)為生產(chǎn)力,幫助領(lǐng)導(dǎo)決策,指導(dǎo)銷售人員跟單。
所以,高大上的決策分析系統(tǒng)呼之而出,光榮的歷史使命便是:挖掘現(xiàn)有數(shù)據(jù)價(jià)值,用活數(shù)據(jù),將數(shù)據(jù)轉(zhuǎn)化為生產(chǎn)力,從而輔助領(lǐng)導(dǎo)進(jìn)行決策,促進(jìn)提高工作效率,提升公司效益。
劍指咽喉:項(xiàng)目建設(shè)的目的明細(xì)
一、公司數(shù)據(jù)達(dá)到整體統(tǒng)一,所有的分析數(shù)據(jù)均來源于一處,而且有明確的符合業(yè)務(wù)的數(shù)據(jù)粒度,實(shí)現(xiàn)數(shù)據(jù)及時(shí)、準(zhǔn)確、可靠。
二、統(tǒng)一門戶管理報(bào)表,統(tǒng)一管理原有系統(tǒng)的報(bào)表,以及新開發(fā)的報(bào)表。不同的職位對(duì)應(yīng)不同的報(bào)表查閱、打印、下載權(quán)限。對(duì)于公共的報(bào)表,直接放在網(wǎng)站上,供所有人查詢?yōu)g覽。無需用戶登錄。同時(shí)用戶可以在移動(dòng)端查看報(bào)表。
三、報(bào)表功能上方便,快捷,高效,展現(xiàn)方式豐富,可以輕松開發(fā)報(bào)表。能實(shí)現(xiàn)定制式報(bào)表,用戶自定義分析報(bào)表,即不同人物角色進(jìn)去看到的指標(biāo)不同:有的關(guān)注總的,有的關(guān)注個(gè)人渠道的,且可以讓他們自己選擇關(guān)注的指標(biāo)。
四、報(bào)表在性能方面達(dá)到要求,對(duì)大數(shù)據(jù)處理有好的方式,確保在查詢5萬+以上明細(xì)數(shù)據(jù)時(shí)可以快速出來。
五、為未來考慮,整個(gè)系統(tǒng)要方便擴(kuò)展,且有新的技術(shù)和應(yīng)用可以更新。
排兵布陣:項(xiàng)目建設(shè)的方案設(shè)計(jì)
一、數(shù)據(jù)倉(cāng)庫
1、處理TB級(jí)的數(shù)據(jù),避免磁盤IO瓶頸,采取分庫分表,數(shù)據(jù)壓縮技術(shù)設(shè)計(jì)架構(gòu)數(shù)據(jù)庫中的表存儲(chǔ)。
2、kimball維度設(shè)計(jì)法則,面向主題設(shè)計(jì),分維度表,事實(shí)表,采用星形,雪花型結(jié)構(gòu)設(shè)計(jì)表間關(guān)系結(jié)構(gòu)。主題大概有收付費(fèi)主題,保單主題,新契約主題,核保主題,保全主題,理賠主題,客戶主題,單證主題,人力主題等。清單類數(shù)據(jù)維度架構(gòu)中直接SQL出,指標(biāo)類數(shù)據(jù)從多維數(shù)集中通過MDX出。
3、用SSIS從業(yè)務(wù)系統(tǒng)提取、轉(zhuǎn)換數(shù)據(jù),加載到主題庫表中。
二、報(bào)表開發(fā)
用FineReport報(bào)表工具依托數(shù)據(jù)倉(cāng)庫,開發(fā) “常用指標(biāo)式-固定報(bào)表”、“常用指標(biāo)式-定制報(bào)表”、“非常用指標(biāo)式-數(shù)據(jù)分析報(bào)表”、“非常用指標(biāo)式-推送查詢式報(bào)表”、“非常用指標(biāo)式-用戶自定義查詢報(bào)表”等5類報(bào)表N多張報(bào)表模板。
三、權(quán)限管理
用FineReport報(bào)表工具基于角色控制報(bào)表與數(shù)據(jù)倉(cāng)庫中角色維度結(jié)合,同時(shí)與業(yè)務(wù)系統(tǒng)等集成,統(tǒng)一權(quán)限管理,實(shí)現(xiàn)單點(diǎn)登錄。
四、后臺(tái)支撐
APACHE+TOMCAT集群部暑FineReport,以滿足5000人訪問
五、數(shù)據(jù)分析挖掘
基于數(shù)據(jù)倉(cāng)庫,采用多變量分析等方法,對(duì)數(shù)據(jù)進(jìn)行分析,發(fā)現(xiàn)潛在關(guān)系,對(duì)下一步行為決策提供依據(jù)。
辛苦收官,IT小牛的心得總結(jié)
所有IT高手都是熬出來的,IT小牛也是。這個(gè)項(xiàng)目寫出來感覺輕輕松松,其實(shí)過程相當(dāng)坎坷。項(xiàng)目的難度超出預(yù)期,尤其是數(shù)據(jù)倉(cāng)庫建立塊,最終項(xiàng)目延期兩個(gè)月,過程中IT小牛作為項(xiàng)目經(jīng)理承擔(dān)著各種壓力,項(xiàng)目成員們情緒上的波動(dòng),公司和客戶的各種催促。最后還是挺過來了,感覺成長(zhǎng)不少,一是對(duì)待項(xiàng)目評(píng)估的謹(jǐn)慎,前期一定要把項(xiàng)目調(diào)研做的足夠好;二是心態(tài)上的成長(zhǎng),大概以后就要冷眼看世界,不管愁與喜了。
轉(zhuǎn)載自csdn博客:絕對(duì)干貨:保險(xiǎn)公司決策分析系統(tǒng)建設(shè)方案