1. 序
在數(shù)據(jù)集成類的項(xiàng)目中，最難的過程就是數(shù)據(jù)分析了，數(shù)據(jù)分析過程位于數(shù)據(jù)集成類項(xiàng)目整個(gè)過程(前期準(zhǔn)備調(diào)研-----數(shù)據(jù)分析-----接口實(shí)現(xiàn))的第二步，它為第三步接口實(shí)現(xiàn)提供了充分的準(zhǔn)備，因此數(shù)據(jù)分析的正確與否很大程度上決定了數(shù)據(jù)集成能否成功的實(shí)現(xiàn)和完成。
怎么樣有效的進(jìn)行數(shù)據(jù)分析呢，怎么樣提前在數(shù)據(jù)分析中盡量避免問題等到實(shí)現(xiàn)時(shí)才出現(xiàn)呢？這是一個(gè)行之有效的數(shù)據(jù)分析方法論的評(píng)判的關(guān)鍵。
經(jīng)過幾個(gè)項(xiàng)目的經(jīng)歷，反思了一下在做這些項(xiàng)目時(shí)比較有效的方法和失妥的方法，總結(jié)了一套目前個(gè)人覺得可行的數(shù)據(jù)分析方法，此套數(shù)據(jù)分析方法只適用于數(shù)據(jù)庫(kù)---文件---數(shù)據(jù)庫(kù)或數(shù)據(jù)庫(kù)---數(shù)據(jù)庫(kù)的分析，對(duì)于接口式的集成(例如調(diào)用對(duì)方的webservice、EJB接口等)并不適用，在這樣的一套數(shù)據(jù)分析的方法中，為數(shù)據(jù)分析的步驟以及需要注意的問題事項(xiàng)提出了指導(dǎo)，編寫此blog以希望有同行的同學(xué)們多多交流。
2. 數(shù)據(jù)分析方法論
此方法論中涉及的名詞的解釋：
l 目標(biāo)數(shù)據(jù)源
指在數(shù)據(jù)集成中需要導(dǎo)入數(shù)據(jù)的數(shù)據(jù)源，此數(shù)據(jù)源可能是數(shù)據(jù)庫(kù)，也有可能是文件。
l 源數(shù)據(jù)源
指在數(shù)據(jù)集成中獲取數(shù)據(jù)的數(shù)據(jù)源，此數(shù)據(jù)源可能是數(shù)據(jù)庫(kù)，也有可能是文件。
l 字典代碼
在數(shù)據(jù)庫(kù)中以代碼的方式(如數(shù)字、英文字母等)來代替中文意思進(jìn)行存儲(chǔ)，其中的這些代碼就稱為字典代碼。
2.1. 步驟
2.1.1. 分析目標(biāo)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)
目標(biāo)數(shù)據(jù)源既有可能是數(shù)據(jù)庫(kù)也有可能是文件，但無(wú)論是哪種，它都是有數(shù)據(jù)結(jié)構(gòu)的，首先要做的就是分析目標(biāo)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)，在分析目標(biāo)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)時(shí)，要分析清楚的有：
l 表
目標(biāo)數(shù)據(jù)源中需要交換的有哪些表，這些表的含義分別是什么。
l 字段
這些表中包含的字段、字段的類型以及長(zhǎng)度。
l 字段含義
分析每個(gè)字段的含義，包括字段的中文含義、字段涉及到的字典代碼以及字段的規(guī)則(如業(yè)務(wù)規(guī)則、生成規(guī)則)。
在分析了上面所提及的表、字段、字段含義后，形成如下結(jié)構(gòu)的文檔：
表名
|
字段
|
字段類型及長(zhǎng)度
|
中文含義
|
涉及到的字典代碼
|
字段規(guī)則
|
|
id
|
number(10)
|
主鍵流水號(hào)
|
--
|
流水號(hào)，通過表名_SEQ的Sequence來獲取
|
|
unitcode
|
varchar2(19)
|
單位編碼
|
單位編碼字典
|
--
|
2.1.2. 分析目標(biāo)數(shù)據(jù)源的表關(guān)系
在完成了第一步后，需要接著分析目標(biāo)數(shù)據(jù)源的表關(guān)系，分析表關(guān)系最重要的在于分析各個(gè)表之間的關(guān)聯(lián)關(guān)系(例如一對(duì)一、一對(duì)多，通過這里可以分析出的為主鍵、外鍵的關(guān)聯(lián)關(guān)系)，其次就是需要根據(jù)業(yè)務(wù)來分析其各個(gè)表之間的隱性關(guān)聯(lián)，如只有當(dāng)A表中的某個(gè)值為03時(shí)才關(guān)聯(lián)到B表。
在分析完畢目標(biāo)數(shù)據(jù)源的表關(guān)系后，形成如下Rose圖：
2.1.3. 分析源數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)
方法同2.1.1，分析的對(duì)象改變?yōu)樵磾?shù)據(jù)源，分析完畢后形成同2.1.1中的文檔。
2.1.4. 分析源數(shù)據(jù)源的表關(guān)系
方法同2.1.2，分析的對(duì)象改變?yōu)樵磾?shù)據(jù)源，分析完畢后形成同2.1.2中的Rose圖。
2.1.5. 根據(jù)目標(biāo)數(shù)據(jù)源的表關(guān)系分析其和源數(shù)據(jù)源的表的對(duì)應(yīng)關(guān)系
根據(jù)目標(biāo)數(shù)據(jù)源的表關(guān)系，來分析其和源數(shù)據(jù)源表的對(duì)應(yīng)關(guān)系，在這個(gè)步驟中需要分析清楚的是目標(biāo)數(shù)據(jù)源的表的數(shù)據(jù)來源于源數(shù)據(jù)源的哪些表，怎么獲取到這些數(shù)據(jù)，分析完畢后可形成校驗(yàn)數(shù)據(jù)集成是否正確的一個(gè)標(biāo)準(zhǔn)，那就是目標(biāo)數(shù)據(jù)源的表的數(shù)據(jù)量和其來源的源數(shù)據(jù)源的那些表的數(shù)據(jù)量應(yīng)該是一致的，分析時(shí)仍然是根據(jù)目標(biāo)表的業(yè)務(wù)含義去源數(shù)據(jù)源中的表中尋找具備相同含義的表，在分析的過程中可能會(huì)碰到如下幾種情況：
l 含義相同的表
這種情況通常是目標(biāo)數(shù)據(jù)源和源數(shù)據(jù)源均為使用一張表存儲(chǔ)，含義相同的表通常都是一對(duì)一的數(shù)據(jù)關(guān)系，例如目標(biāo)數(shù)據(jù)源中有一張表為常住人口基本信息，源數(shù)據(jù)源中有張常住人員基本信息，兩張表就可以對(duì)應(yīng)上了，當(dāng)然，有些時(shí)候并不一定是意義相同就一定相同，這需要從業(yè)務(wù)層面去判斷。
l 具備包含意義的表
這種情況通常是目標(biāo)數(shù)據(jù)源為一張表，源數(shù)據(jù)源為多張表，這個(gè)時(shí)候就形成多對(duì)一的關(guān)系，例如目標(biāo)數(shù)據(jù)源中有張表為物品表，源數(shù)據(jù)源中為手機(jī)、證券等幾張表，這個(gè)時(shí)候就需要將手機(jī)、證券這些表對(duì)應(yīng)到物品表。
又或者可能會(huì)碰到這樣的現(xiàn)象，目標(biāo)數(shù)據(jù)源為一張表，源數(shù)據(jù)源也是一張表，但源數(shù)據(jù)源的這張表的每行記錄包含了目標(biāo)表的兩種類型的記錄，這種情況下就需要將源數(shù)據(jù)源的一行記錄拆分為兩條導(dǎo)入到目標(biāo)表中，例如目標(biāo)數(shù)據(jù)源有張表為遷入遷出表，其存儲(chǔ)方式為遷入和遷出都為單獨(dú)的記錄來存儲(chǔ)的，源數(shù)據(jù)源有張表也為遷入遷出表，但其存儲(chǔ)方式為遷入和遷出在同一條記錄，這個(gè)時(shí)候就要將源數(shù)據(jù)源的這張遷入遷出表的一行記錄拆分為兩條進(jìn)行導(dǎo)入了。
l 被包含意義的表
和之上的具備包含意義的表相反。
l 根據(jù)業(yè)務(wù)的對(duì)應(yīng)關(guān)系
這張是最為復(fù)雜的，例如可能會(huì)碰到這樣的現(xiàn)象，當(dāng)源數(shù)據(jù)源的某張表的某個(gè)字段的值為多個(gè)的時(shí)候，就需要拆分為兩條記錄導(dǎo)入到目標(biāo)表中。
綜合上面所述，目標(biāo)數(shù)據(jù)源的表和源數(shù)據(jù)源的表可能會(huì)存在一對(duì)一、一對(duì)多、多對(duì)一、多對(duì)多、條件式的對(duì)應(yīng)幾種關(guān)系，在分析完畢后形成如下的文檔：
|
目標(biāo)數(shù)據(jù)源
|
源數(shù)據(jù)源
|
校驗(yàn)標(biāo)準(zhǔn)
|
|
A
|
A
|
A.數(shù)據(jù)量==A.數(shù)據(jù)量(變動(dòng)(新增、編輯、刪除)的數(shù)據(jù))
|
|
B
|
B
C
|
B.數(shù)據(jù)量==B.數(shù)據(jù)量+C.數(shù)據(jù)量
|
|
C
D
|
D
|
C.數(shù)據(jù)量+D.數(shù)據(jù)量=D.數(shù)據(jù)量
C.數(shù)據(jù)量=D.數(shù)據(jù)量(D.wplx=’03’)
D.數(shù)據(jù)量=D.數(shù)據(jù)量(D.wplx=’05’)
|
|
E
|
E
|
E.數(shù)據(jù)量=E.數(shù)據(jù)量*2
|
|
F
|
F
|
F.數(shù)據(jù)量=F.數(shù)據(jù)量/2(F.qrsj=F.qcsj)
|
|
G
|
G
|
G.數(shù)據(jù)量=G.數(shù)據(jù)量+G.數(shù)據(jù)量(G.name包含的,的總數(shù)-1)
|
2.1.6. 根據(jù)表的對(duì)應(yīng)關(guān)系分析字段的對(duì)應(yīng)關(guān)系以及轉(zhuǎn)化規(guī)則
在對(duì)應(yīng)了表的對(duì)應(yīng)關(guān)系后，根據(jù)表的單一對(duì)應(yīng)關(guān)系(如目標(biāo)數(shù)據(jù)源的B表對(duì)應(yīng)到了源數(shù)據(jù)源的B、C表，則需要分為B對(duì)應(yīng)B以及B對(duì)應(yīng)C兩個(gè)步驟來分析)來分析每個(gè)表中的字段的對(duì)應(yīng)關(guān)系以及轉(zhuǎn)化規(guī)則了，對(duì)應(yīng)的方法為：
l 先在對(duì)應(yīng)的表中尋找相應(yīng)的字段
l 如尋找不到則到相關(guān)的表中尋找相應(yīng)的字段
l 如還是尋找不到則需要從業(yè)務(wù)含義方面去推測(cè)
從業(yè)務(wù)含義角度分析此字段是否需要合并多個(gè)字段或拆分字段，又或根據(jù)某種業(yè)務(wù)規(guī)則來生成這個(gè)字段的值。
在尋找到了相應(yīng)的字段后，首先根據(jù)類型、長(zhǎng)度來分析是否需要進(jìn)行類型和長(zhǎng)度的處理，之后需要分析該字段是否為通過關(guān)聯(lián)到其他表來獲取的，接著再分析此字段是否涉及到字典代碼，如涉及則需要對(duì)照兩邊的字典代碼是否一致，如不一致則需要形成兩邊的字典代碼的對(duì)應(yīng)關(guān)系，最后分析該字段是否涉及業(yè)務(wù)含義，如涉及則需注明如何進(jìn)行處理。
在分析完畢后，形成如下文檔：
表名
|
字段
|
字段類型及長(zhǎng)度
|
源數(shù)據(jù)源字段
|
字段類型及長(zhǎng)度
|
轉(zhuǎn)化規(guī)則
|
|
id
|
number(10)
|
表名.id
|
number(10)
|
|
|
unitcode
|
varchar2(19)
|
表名.xzqh+表名.unit
|
Varchar2(8)+varchar2(20)
|
單位代碼字典映射
|
|
content
|
Varchar2(100)
|
Substr(表名.content,0,50)
|
Varchar2(100)
|
|
|
ifmonth
|
Varchar2(1)
|
If(表名.createdate.月份==’系統(tǒng)時(shí)間的月份’)
Return ‘1’;
Else
Return ‘2’.
|
|
|
|
unitname
|
Varchar2(100)
|
UnitNames.unitName
|
Varchar2(100)
|
表名.xzqh+表名.unit=UnitNames.UnitCode
|
2.2. 需注意的問題
由于數(shù)據(jù)集成涉及的為系統(tǒng)中最為重要的基礎(chǔ)—數(shù)據(jù)，那么在做數(shù)據(jù)集成時(shí)就特別需要仔細(xì)考慮不要對(duì)數(shù)據(jù)產(chǎn)生了破壞性的影響，這也是數(shù)據(jù)分析過程中需要慎重考慮的問題。
2.2.1. 數(shù)據(jù)覆蓋/混亂的問題
在做數(shù)據(jù)分析時(shí)需要考慮，這樣集成數(shù)據(jù)后是否會(huì)將已存在的數(shù)據(jù)非法的覆蓋或造出混亂，出現(xiàn)這種問題通常都是由于主鍵的原因，這個(gè)在做數(shù)據(jù)分析時(shí)需要考慮。
2.2.2. 制定錯(cuò)誤出現(xiàn)時(shí)的彌補(bǔ)方案
在做數(shù)據(jù)分析時(shí)需要考慮在進(jìn)行數(shù)據(jù)集成后可能會(huì)出現(xiàn)的錯(cuò)誤，對(duì)于這些可能出現(xiàn)的錯(cuò)誤需要制定相應(yīng)的彌補(bǔ)方案，以避免數(shù)據(jù)的被破壞。
2.2.3. 源數(shù)據(jù)源數(shù)據(jù)質(zhì)量造成的問題的處理方案
需要考慮如源數(shù)據(jù)源本身的數(shù)據(jù)質(zhì)量出現(xiàn)問題時(shí)，應(yīng)如何處理或者如何避免。
2.2.4. 業(yè)務(wù)專家的支持
在整個(gè)數(shù)據(jù)分析的過程中，可以看出業(yè)務(wù)專家起到了非常大的作用，可以說如果缺少業(yè)務(wù)專家的話，數(shù)據(jù)分析很可能會(huì)失敗，或需要走很多的彎路才能最后摸索出來，有一點(diǎn)可以肯定，在缺少業(yè)務(wù)專家的支持下整個(gè)數(shù)據(jù)分析的過程將會(huì)大大的延長(zhǎng)，從這點(diǎn)可以看出，在進(jìn)行數(shù)據(jù)分析時(shí)要盡量獲取到業(yè)務(wù)專家的支持。
3. 總結(jié)
如上的方法論對(duì)數(shù)據(jù)分析的過程和避免問題的方法做出了一定的描述，在實(shí)際的進(jìn)行數(shù)據(jù)分析時(shí)，最重要的還是負(fù)責(zé)數(shù)據(jù)分析的人對(duì)于系統(tǒng)的理解，有過系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)的人來做數(shù)據(jù)分析成功的幾率會(huì)高很多，有些非常專業(yè)的系統(tǒng)的話還得依賴有相應(yīng)的設(shè)計(jì)經(jīng)驗(yàn)的人才做才能做得了，類如流程系統(tǒng)的數(shù)據(jù)集成。
在一個(gè)數(shù)據(jù)分析過程中，已經(jīng)可以制定出判斷數(shù)據(jù)集成是否成功的標(biāo)準(zhǔn)了，這也可以列為TDD的入口條件，J。
方法論始終都還是理論，我本來就不是一個(gè)那么講理論的人，但也不否認(rèn)理論對(duì)于實(shí)際是有很好的指導(dǎo)作用的，避免在實(shí)踐過程中走過多的彎路，能做到理論結(jié)合實(shí)踐那是最好的，理論指導(dǎo)實(shí)踐，實(shí)踐改進(jìn)理論。