Started to write relative desigen document for my NMS system.First of all,
I should make a summary of topological discovery.
Network management has already become the key of network system. The automatic
topological discovery of network is the precondition of network management, analysis of
performance and localization of fault. With the enlargement of the network size, the
topological structure Of the network layer can't reflect the connecting relation between the
network devices accurately. So, according to the protocol SNMP, ICMP and relevant MIB
information, this text proposes a new and effective automatic topology discovery algorithm
for Ethernet. The algorithm is based on theorem for determining the connection between two
Ethernet devices. Compared with other approaches to Ethernet topology discovery, this
algorithm doesn＇t require all network devices to support SNMP and it is more efficient and
practical. The experimental result demonstrates that the algorithm can construct the
physical topology of IP network fast and exactly.
先把文檔的綱要寫下來,然后按這個思路寫。
沒有文檔等于沒有積累，所以我們必須重視文檔。
綱要
一、 引言
1． 目的；
2． 縮略詞及術(shù)語。
二、 總體設(shè)計
1． 思路以及發(fā)現(xiàn)方式說明；
2． 算法說明，附流程圖和時序圖。
三、 設(shè)備和鏈路的發(fā)現(xiàn)方法
1． 一個IP的判別流程
2． 基于路由的發(fā)現(xiàn)；
3． 基于子網(wǎng)的發(fā)現(xiàn)；
4． 基于通用算法的鏈路發(fā)現(xiàn)，即由間接連接推導(dǎo)出直接連接；
5． 基于STP的鏈路發(fā)現(xiàn)；
6． 基于CDP的鏈路發(fā)現(xiàn)。
7． 關(guān)于IP定位問題
四、 總結(jié)（后續(xù)工作）
待深入研究的問題。
通過學(xué)習(xí)，對什么是BI以及OLAP，在概念上有了明確的認(rèn)識。
商業(yè)智能(BI)是通常被理解為將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，幫助企業(yè)做出明智決策的軟件解決方案。它包含以下技術(shù)：
數(shù)據(jù)集市（Data Mart）和數(shù)據(jù)倉庫（Data Warehouse, DW）；
用戶查詢和報表(Query & Reports)；
聯(lián)機(jī)分析處理（On-Line Analytical Processing, OLAP），也稱為多維分析；
數(shù)據(jù)挖掘（Data Mining）；
關(guān)鍵績效指標(biāo)(KPI)；
分析型應(yīng)用（Analytic Application）。
前段時間下載了openi，部署安裝后跑不起來，今天有空專門下載了
mondrian。
本來想用mysql作為數(shù)據(jù)源，可FoodMartCreateData.sql導(dǎo)入mysql會出錯，不知這個
SQL適合哪種數(shù)據(jù)庫。只好用odbc連接那個access文件，總算安裝成功了，呵呵。
不知為何用mondrian這個名字，也許跟tomcat和catalina一樣吧。
Mondrian, 蒙得里安·皮特1872-1944荷蘭畫家，作品以交錯的三原色為基色的垂直
線條和平面為特點，他的著作包括 新造型主義(1920年），對抽象藝術(shù)的發(fā)展曾經(jīng)產(chǎn)
生很深影響。（金山詞霸）
Mondrian是一個用Java寫成的OLAP（在線分析性處理）引擎。它用MDX語言實現(xiàn)查詢
，從關(guān)系數(shù)據(jù)庫(RDBMS)中讀取數(shù)據(jù)。然后經(jīng)過Java API用多維的方式對結(jié)果進(jìn)行展示。
Mondrian面向ROLAP包含4層：表示層、計算層、聚集層、存儲層。
● 表示層：指最終呈現(xiàn)在用戶顯示器上的以及與用戶之間的交互，有許多方法來展現(xiàn)多維數(shù)據(jù)，
包括數(shù)據(jù)透視表、餅、柱、線狀圖。
● 計算層：分析、驗證、執(zhí)行MDX查詢。
● 聚集層：一個聚集指內(nèi)存中一組計算值(cell)，這些值通過維列來限制。計算層發(fā)送單元請求，
如果請求不在緩存中，或者不能通過旋轉(zhuǎn)聚集導(dǎo)出的話，那么聚集層向存儲層發(fā)送請求。聚合層
是一個數(shù)據(jù)緩沖層，從數(shù)據(jù)庫來的單元數(shù)據(jù)，聚合后提供給計算層。聚合層的主要作用是提高系
統(tǒng)的性能。
● 存儲層：提供聚集單元數(shù)據(jù)和維表的成員。包括三種需要存儲的數(shù)據(jù)，分別是事實數(shù)據(jù)、聚集和維。
OLAP客戶端
JPivot是JSP風(fēng)格的標(biāo)簽庫，用來支持OLAP表，使用戶可以執(zhí)行典型的OLAP操作，如切片、切塊、
上鉆、下鉆等。JPivot使用Mondrian服務(wù)器，分析結(jié)果可以導(dǎo)出為Excel或PDF文件格式。
完整開源BI解決方案
1.Pentaho
它是一個以流程為中心的、面向解決方案的框架，具有商務(wù)智能組件。BI 平臺是以流程為中心的，其中樞控制器是一個工作流引擎。工作流引擎使用流程定義來定義在 BI 平臺上執(zhí)行的商務(wù)智能流程。流程可以很容易被定制，也可以添加新的流程。BI 平臺包含組件和報表，用以分析這些流程的性能。BI 平臺是面向解決方案的，平臺的操作是定義在流程定義和指定每個活動的 action 文檔里。這些流程和操作共同定義了一個商務(wù)智能問題的解決方案。這個 BI 解決方案可以很容易地集成到平臺外部的商業(yè)流程。一個解決方案的定義可以包含任意數(shù)量的流程和操作。
BI平臺包括一個 BI 框架、BI 組件、一個 BI 工作臺和桌面收件箱。BI 工作臺是一套設(shè)計和管理工具，集成到Eclipse環(huán)境。這些工具允許商業(yè)分析人員或開發(fā)人員創(chuàng)建報表、儀表盤、分析模型、商業(yè)規(guī)則和 BI 流程。Pentaho BI 平臺構(gòu)建于服務(wù)器、引擎和組件的基礎(chǔ)之上，包括J2EE 服務(wù)器、安全與權(quán)限控制、portal、工作流、規(guī)則引擎、圖表、協(xié)作、內(nèi)容管理、數(shù)據(jù)集成、多維分析和系統(tǒng)建模等功能。這些組件的大部分是基于標(biāo)準(zhǔn)的，可使用其他產(chǎn)品替換之。
2.ObjectWeb
該項目近日發(fā)布了SpagoBi 1.8版本。SpagoBi 是一款基于Mondrain+JProvit的BI方案，能夠通過OpenLaszlo產(chǎn)生實時報表，為商務(wù)智能項目提供了一個完整開源的解決方案，它涵蓋了一個BI系統(tǒng)所有方面的功能，包括：數(shù)據(jù)挖掘、查詢、分析、報告、Dashboard儀表板等等。SpagoBI使用核心系統(tǒng)與功能模塊集成的架構(gòu)，這樣在確保平臺穩(wěn)定性與協(xié)調(diào)性的基礎(chǔ)上又保證了系統(tǒng)具有很強(qiáng)的擴(kuò)展能力。用戶無需使用SpagoBI的所有模塊，而是可以只利用其中的一些模塊。
SpagoBI使用了許多已有的開源軟件，如Spago和Spagosi等。因此，SpagoBI集成了 Spago的特征和技術(shù)特點，使用它們管理商務(wù)智能對象，如報表、OLAP分析、儀表盤、記分卡以及數(shù)據(jù)挖掘模型等。SpagoBI支持BI系統(tǒng)的監(jiān)控管理，包括商務(wù)智能對象的控制、校驗、認(rèn)證和分配流程。SpagoBI采用Portalet技術(shù)將所有的BI對象發(fā)布到終端用戶，因此BI對象就可以集成到為特定的企業(yè)需求而已經(jīng)選擇好的Portal系統(tǒng)中去。
3.Bee
該項目是一套支持商務(wù)智能項目實施的工具套件，包括ETL工具和OLAP 服務(wù)器。Bee的ETL工具使用基于Perl的BEI，通過界面描述流程，以XML形式進(jìn)行存儲。用戶必須對轉(zhuǎn)換過程進(jìn)行編碼。Bee的ROLAP 服務(wù)器保證多通SQL 生成和強(qiáng)有力的高速緩存管理(使用MySQL數(shù)據(jù)庫管理系統(tǒng))。ROLAP服務(wù)器通過SOAP應(yīng)用接口提供豐富的客戶應(yīng)用。Web Portal作為主要的用戶接口，通過Web瀏覽器進(jìn)行報表設(shè)計、展示和管理控制，分析結(jié)果可以以Excel、PDF、PNG、PowerPoint、 text和XML等多種形式導(dǎo)出。
Bee項目的特點在于：
● 簡單快捷的數(shù)據(jù)訪問；
● 支持預(yù)先定義報表和實時查詢；
● 通過拖拽方式輕松實現(xiàn)報表定制；
● 完整報表的輕松控制；
● 以表和圖進(jìn)行高質(zhì)量的數(shù)據(jù)展示。
開源ETL工具
1．CloverETL是一個Java的ETL框架，用來轉(zhuǎn)換結(jié)構(gòu)化的數(shù)據(jù)，支持多種字符集之間的轉(zhuǎn)換（如ASCII、UTF-8和ISO-8859-1等）；支持JDBC，同時支持dBase和FoxPro數(shù)據(jù)文件；支持基于XML的轉(zhuǎn)換描述。
2．Octupus是一個基于Java的ETL工具，它也支持JDBC數(shù)據(jù)源和基于XML的轉(zhuǎn)換定義。Octupus提供通用的方法進(jìn)行數(shù)據(jù)轉(zhuǎn)換，用戶可以通過實現(xiàn)轉(zhuǎn)換接口或者使用Jscript代碼來定義轉(zhuǎn)換流程。
開源OLAP客戶端
JPivot是JSP風(fēng)格的標(biāo)簽庫，用來支持OLAP表，使用戶可以執(zhí)行典型的OLAP操作，如切片、切塊、上鉆、下鉆等。JPivot使用Mondrian服務(wù)器，分析結(jié)果可以導(dǎo)出為Excel或PDF文件格式。
開源OLAP服務(wù)器
1．Lemur主要面向HOLAP，雖然采用C++編寫，但是可以被其他語言的程序所調(diào)用。Lemur支持基本的操作，如切片、切塊和旋轉(zhuǎn)等基本操作。
2．Mondrian面向ROLAP包含4層：表示層、計算層、聚集層、存儲層。
● 表示層：指最終呈現(xiàn)在用戶顯示器上的以及與用戶之間的交互，有許多方法來展現(xiàn)多維數(shù)據(jù)，包括數(shù)據(jù)透視表、餅、柱、線狀圖。
● 計算層：分析、驗證、執(zhí)行MDX查詢。
● 聚集層：一個聚集指內(nèi)存中一組計算值(cell)，這些值通過維列來限制。計算層發(fā)送單元請求，如果請求不在緩存中，或者不能通過旋轉(zhuǎn)聚集導(dǎo)出的話，那么聚集層向存儲層發(fā)送請求。聚合層是一個數(shù)據(jù)緩沖層，從數(shù)據(jù)庫來的單元數(shù)據(jù)，聚合后提供給計算層。聚合層的主要作用是提高系統(tǒng)的性能。
● 存儲層：提供聚集單元數(shù)據(jù)和維表的成員。包括三種需要存儲的數(shù)據(jù)，分別是事實數(shù)據(jù)、聚集和維。
（經(jīng)網(wǎng)上資料整理后）
OLAP（在線分析處理）這個名詞是在1993年由E.F.Codd提出來的。OLAP專門用于支持復(fù)雜的分析操作，側(cè)重對決策人員和高層管理人員的決策支持，可以應(yīng)分析人員要求快速、靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種直觀易懂的形式將查詢結(jié)果提供決策人員。
1993年，E.F.Codd 將這類技術(shù)定義為OLAP。鑒于Codd 關(guān)系數(shù)據(jù)庫之父的影響。OLAP 的提出引起了很大反響，OLAP作為一類產(chǎn)品同OLTP明顯區(qū)別開來。
Codd提出OLAP的12條準(zhǔn)則來描述OLAP系統(tǒng)：
* 準(zhǔn)則1 OLAP模型必須提供多維概念視圖
* 準(zhǔn)則2 透明性準(zhǔn)則
* 準(zhǔn)則3 存取能力推測
* 準(zhǔn)則4 穩(wěn)定的報表能力
* 準(zhǔn)則5 客戶/服務(wù)器體系結(jié)構(gòu)
* 準(zhǔn)則6 維的等同性準(zhǔn)則
* 準(zhǔn)則7 動態(tài)的稀疏矩陣處理準(zhǔn)則
* 準(zhǔn)則8 多用戶支持能力準(zhǔn)則
* 準(zhǔn)則9 非受限的跨維操作
* 準(zhǔn)則10 直觀的數(shù)據(jù)操縱
* 準(zhǔn)則11 靈活的報表生成
* 準(zhǔn)則12 不受限的維與聚集層次
OLAP產(chǎn)品不少，本文將主要涉及Cognos（Powerplay）、Hyperion （Essbase）、微軟（Analysis Service）以及MicroStrategy幾大廠商的產(chǎn)品。
單純從成本角度考慮，微軟的產(chǎn)品算是最能節(jié)省成本的，Cognos和MicroStrategy則在同一水平線，都比微軟貴一些。而Hyperion （Essbase）產(chǎn)品比較獨立，也曾占有美國OLAP市場最大的份額，其產(chǎn)品價格又要更高一些。
從市場份額來看，就國外的市場報告分析，微軟、Cognos、Hyerion三家占據(jù)主流。在國內(nèi)，目前還沒有權(quán)威的市場報告，如果僅從所接觸到的項目來看的話，用Cognos的很多，買Essbase的也不少。這些年都是一些大企業(yè)建設(shè)BI項目，有足夠的預(yù)算，多選用Cognos、Essbase；而Microstrategy，進(jìn)入中國不算早，這幾年在政府、金融行業(yè)也頗有建樹。
若論開發(fā)應(yīng)用，微軟的產(chǎn)品向來以友好的用戶界面著稱，上手迅速。在OLAP產(chǎn)品上，微軟依然發(fā)揚了這一優(yōu)良傳統(tǒng)，并有進(jìn)一步標(biāo)準(zhǔn)化的趨勢，開發(fā)了OLE DB for OLAP以及MDX（Multi-Dimensional Express多維表達(dá)式）；參與XMLA（XML for Analysis）規(guī)范制定，也是想作為OLAP服務(wù)器和前端分析應(yīng)用的數(shù)據(jù)傳輸標(biāo)準(zhǔn)。
而Cognos以桌面OLAP開始，一直以輕便、快捷的操作聞名。所謂桌面OLAP，是可以用客戶端將cube下載到本地進(jìn)行訪問。雖然Poweplay早已演變成C/S結(jié)構(gòu)的OLAP服務(wù)器，但其輕便的特點還是延續(xù)下來，而且提供可以簡潔部署且具有交互性的PowerPlay Web Explorer界面。從互聯(lián)網(wǎng)上，我們可以很快搜索出許多基于PowerPlay Web的分析應(yīng)用。
Essbase作為老牌的OLAP服務(wù)器，是一個比較復(fù)雜的產(chǎn)品。所謂復(fù)雜，有兩層意思，一是提供了豐富的API，讓你可以充分定制開發(fā)；二是開發(fā)的難度較大，部署起來不容易。這也是國內(nèi)很多用戶難以將這個產(chǎn)品用好的一大原因。
比較Essbase和Powerplay，會發(fā)現(xiàn)截然相反的兩個特點：Essbase的復(fù)雜和Powerplay的簡潔。對于這兩者，單獨說哪一種更好都不夠客觀，因為當(dāng)你抱怨Essbase繁雜的接口時，也有人在抱怨Powerplay的定制功能怎么如此之少。這種情形其實跟這兩種產(chǎn)品的定位有關(guān)，Essbase比較專注于高性能的多維存儲服務(wù)，而Powerplay則更專注于快捷的多維訪問。換句話講，Essbase之于Powerplay正像專業(yè)相機(jī)之于傻瓜相機(jī)，在選哪一個更好的問題上，不同的人肯定有不一樣的答案。
當(dāng)然，如果你想在找復(fù)雜和簡潔之間找一個中間者，我想微軟的 Analysis Service就是這樣的產(chǎn)品。不過要注意的是，這個產(chǎn)品和SQL Server綁定得比較緊，這是微軟的一貫策略。
根據(jù)多維數(shù)據(jù)存儲的位置，OLAP一般分為MOLAP（Multi-Dimensional OLAP）和ROLAP（Relational OLAP）兩種，此外，還有混合的HOLAP（Hybrid OLAP）。rolap 中的r是relational的意思，使用關(guān)系數(shù)據(jù)庫RDBMS,所以性能的更多是靠RDBMS的性能和技巧，ROLAP支持更多的用戶和數(shù)據(jù)量，ROLAP將多維數(shù)據(jù)庫的多維結(jié)構(gòu)劃分為兩類表：一類是事實表,用來存儲數(shù)據(jù)和維關(guān)鍵字（外鍵）;另一類是維表,每個維至少使用一個表來存放維的層次，所謂的'"星型模式"就是指維表和事實表通過主關(guān)鍵字和外關(guān)鍵字聯(lián)系在一起。對于層次復(fù)雜的維,為避免冗余數(shù)據(jù)占用過大的存儲空間,可以使用多個表來描述, 這種星型模式的擴(kuò)展稱為“雪花模式”。
rolap和molap的比較：
rolap使用現(xiàn)有的RDBMS，相對容易建模和控制。相應(yīng)速度比MOLAP慢，數(shù)據(jù)裝載的速度快，儲存空間小，沒有文件大小的限制,數(shù)據(jù)庫可以做很多優(yōu)化.
molap性能好，反映速度快，但是建模的難度很大，而且無法支持維度的動態(tài)變化，文件大小有限制，沒有象關(guān)系型數(shù)據(jù)庫那樣有標(biāo)準(zhǔn)的訪問接口比如JDBC,ODBC之類的。
HOLAP 是混合OLAP。
DOLAP 是 Desktop的OLAP ， 應(yīng)用不是很廣，了解一下就夠了。
其中， Cognos的Powerplay、Hyperion 的Essbase和微軟的Analysis Service這些產(chǎn)品都是MOLAP產(chǎn)品。這類產(chǎn)品將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫（甚至是文本文件、Excel文件）中抽取出來，存儲在自己的數(shù)據(jù)庫中。這種數(shù)據(jù)庫跟平常我們所見的Oracle、DB2這類關(guān)系數(shù)據(jù)庫不同之處在于，它是專有格式的，且沒有標(biāo)準(zhǔn)的訪問接口。因此，這些產(chǎn)品如何實現(xiàn)多維存儲也都不盡相同，大致的原理是以編程語言中多維數(shù)組的方式存放數(shù)據(jù)。度量值存放在數(shù)組的單元格中，而數(shù)組每個維就對應(yīng)一個維度，其中，維元素就維的坐標(biāo)。
可以想象，多維數(shù)據(jù)庫的單元格跟維度、維元素的多少有莫大關(guān)系，而隨著維度增加，數(shù)據(jù)庫也迅速膨脹。因此，對于MLOAP產(chǎn)品，多維存儲的存儲空間、性能自然是比較關(guān)鍵的。Essbase在這方面提供很多優(yōu)化工作，但有時候也會顯得過于復(fù)雜。Powerplay也提供某些選項，諸如cube分區(qū)等，這是比較簡單的優(yōu)化方法。
OLAP產(chǎn)品的核心功能是提供多維存儲，另外就是能夠?qū)LAP訪問操作轉(zhuǎn)換為對數(shù)據(jù)的請求并返回，這些OLAP訪問操作大多是用戶通過前端發(fā)出的，因此要考慮OLAP產(chǎn)品能夠和哪些前端工具對接。
Cognos Powerplay是個相對封閉的產(chǎn)品，它有自己的客戶端和Web Explorer，你也甭想著用其他前端來訪問它。Hyperion和微軟都采用開放式接口，提供豐富的訪問API，第三方可以用這些API訪問其數(shù)據(jù)庫。上文曾提到微軟開發(fā)的MDX和參與的XMLA（XML for Analysis）規(guī)范，事實上，一些第三方的前端工具正是基于這樣的標(biāo)準(zhǔn)和OLAP產(chǎn)品對接，比如可以用BO WebI連接Essbase。更有甚者，微軟的服務(wù)器還提供用MDX來查詢多維數(shù)據(jù)，就像用SQL來訪問關(guān)系數(shù)據(jù)庫一樣。
誠然，這看起來的確比較酷，但有一點也要明確：目前雖然有XMLA、MDX這樣的標(biāo)準(zhǔn)，但還不是非常成熟，且并非唯一標(biāo)準(zhǔn)。所以即使有第三方前端工具訪問這些OLAP服務(wù)器，但只能說是多了一些選擇，真正在前端功能上，并不能保證比封閉結(jié)構(gòu)更豐富。
如果說OLAP產(chǎn)品市場幾乎都被MOLAP占領(lǐng)，那么，有一家公司肯定不同意，那就是MicroStrategy，它幾乎是目前唯一一家還占據(jù)一定市場份額的ROLAP產(chǎn)品。這是一件非常奇怪的事情，從第一個ROLAP產(chǎn)品Metaphor到Metacube、WhiteLight、MicroStrategy，這些獨立的ROLAP廠商似乎都是難以生存下去，只有MicroStrategy堅挺到現(xiàn)在。究竟是它的產(chǎn)品厲害，還是市場做得到位？目前還不得而知。
從原理上講，ROLAP將數(shù)據(jù)存放在關(guān)系數(shù)據(jù)庫中，當(dāng)然要求關(guān)系模型要非常嚴(yán)格，比如要遵循星型模式或雪花模式，才能定義出維度、度量、事實表、聚集表等元數(shù)據(jù)。但這樣就增加了部署的難度，并且如果聚集表構(gòu)建得不好，最后的訪問性能就難以保證。恐怕這也是ROLAP難以生存下去的原因吧。
目前，很多OLAP產(chǎn)品都會混合MOLAP和ROLAP，特別是那些本身就做關(guān)系數(shù)據(jù)庫的廠商，在現(xiàn)有數(shù)據(jù)庫上面增加一些ROLAP的特性并不困難。IBM在與Essbase終止OEM合同之后，推出一個名為CubeViews的產(chǎn)品，就可以說是一個ROLAP產(chǎn)品。
雖然國內(nèi)市場上已經(jīng)涌現(xiàn)出這么多產(chǎn)品，但實際上，OLAP并沒有被廣泛接受，即使在已經(jīng)建設(shè)BI系統(tǒng)好幾年的電信行業(yè)也是如此。
User from GDPLN asked me to add a feature of receiving syslog.SourceView1.0 possesses of that,
but it is just very simple. I improved syslog module those days by imitating EventLogAnalyzer.