一、數據平臺的軟硬件環境

二、組織機構和權限體系
組織機構:平臺中已集成一套組織機構,可以建立部門、人員。也可以與現有系統的組織機構集成,將組織機構導入到平臺中。
功能權限:通過配置功能點URL的方式實現各個用戶相應的BI訪問權限。用戶第一次訪問受保護的資源(某個功能點)時,會發出訪問請求,服務器接收到請求后會驗證用戶權限,如果沒有通過驗證則返回登錄頁面。
數據權限:很多系統的權限認證只是限制模塊的使用,使得合法用戶能夠行使自己的權利。平臺在滿足這種整體權限認證的同時,權限的控制力度可以達到同一張BI的內容在不同權限下展示的效果不一樣,這樣就免除了制作大量的BI來實現同樣效果,尤其是在企業內部業務繁雜,審批麻煩時,一張BI就可以解決所有問題。平臺通過對業務包的權限控制,從數據包層面控制了不同的用戶對于數據的權限,以達到數據的細粒度控制。
權限控制的層次:
- 不同用戶對于數據業務包的數據權限僅限于自己權限范圍內。
- 不同的用戶可以訪問權限范圍內的報表。
- 不同的用戶對于同一張報表,只能夠訪問權限范圍內的數據。
三、數據處理
數據源:支持Oracle,DB2,SQLServer,MySQL,SqlServer,Informix等數據源。支持ODBC數據源,支持JNDI數據源,支持共享應用服務器數據源。支持程序數據接口。支持文本數據源。支持內置數據集。
業務數據包:即Cube,是用于即時分析的數據基礎。數據業務包由數據管理員創建,其中包含著能夠提供給分析人員的所有業務數據表、數據集、接口數據、文本數據等。以文件的形式(后綴名為fcube)存放在服務器目錄中。

數據轉義
可以對數據業務包中的表名以及字段名進行轉義,成為能夠讓業務人員理解的數據,轉義的信息可以直接集成數據庫中的注釋,也可以直接手動編輯。
數據關聯
數據之間的關聯是用于給多個表之間建立表間關系,也可以直接繼承數據庫中定義的外鍵關系 。參與關聯關系的表必須有主鍵支撐。

四、數據轉化
數據轉化:提供各種樣式的表格和多種圖表服務,配合各種業務需求展現數據。包括列表、分組、交叉表格,圖表類型包括柱形圖、條形圖、餅圖、面積圖、組合圖、儀表盤和地圖。
新增列:通過自定義數據列來實現數據轉換和數據計算。包括根據現有的數據新增列,構建自循環列,根據公式構建自定義數據列。更方便地用于后面的分析。
根據現有的數據新增列:在現有的數據列的基礎上,通過自定義分組形成新的列。主要用于建立公用的自定義分組的方式,提供給所有的分析人員使用。
構建自循環列:可以根據一列(數據庫中只有一列組織ID)或者兩列(數據庫中有組織ID和父ID)數據分層,將組織機構的層級關系分層展示。主要用于組織樹展示。
新增公式列:公式引擎支持數據類型轉化,常用函數、數學和三角函數、文本函數、日期和時間函數、邏輯函數、數組函數、報表函數以及其他自定義函數
。
行列轉換:行列轉換主要用于將數據庫中某一列的字段值與其他指標字段結合成新的字段。
五、定時更新
全量更新:所有的數據業務包建立的時候,數據平臺會在后臺自動生成對應的cube。數據平臺的cube采用MOLAP的形式,所以在處理大數據量的問題上具有優良的支撐。cube中的數據可以設置定時全量更新。
增量更新:只能單獨對業務包中的表和數據集進行設置。并且只對新增數據有效。
六、數據分析
維度指標分析:可以靈活地從業務包中選擇任意指標、維度進行自主地拖拽分析。由于數據業務包中的數據已經關聯在了一起,這就決定了數據平臺即時分析的自由度。在分析某個指標的影響因素時,可以選擇任意的維度,去分析他們之間的關系。從而確定某個因素對指標的影響大小。

分析組件:組件支持各種樣式的表格,配合各種業務需求展現數據。包括列表、分組、交叉表格。組件支持多種圖表,圖表類型包括柱形圖、條形圖、餅圖、面積圖、組合圖、儀表盤和地圖。頁面上生成表格,轉換圖表、添加鉆取、過濾篩選、添加控件等一系列交互設置,操作簡單。通過拖拽指標和維度生成的表格,可以一鍵切換至圖表。
平臺支持多種圖表且類型可以隨意切換,支持的圖標類型有:柱形圖、柱形堆積圖、折線圖、堆積面積圖、組合圖、條形圖、堆積條形圖、餅圖、儀表盤、地圖。

匯總數據統計方式多樣:指標支持求和,平均,最大值、最小值等等一系列統計方式提供選擇。
支持多種計算指標的方式:指標可以來自于字段,同時也可以是通過公式計算得來。在計算同比、環比、排名的時候,只需配置一下界面,即可得到想要的結果。無需通過復雜的公式。
數據預警:支持數據預警功能,對于在某個數據區間的數據可以進行紅綠燈預警或者數據前景預警。
多維OLAP分析:平臺提供了各種常見的OLAP分析操作,可以進行任意多維度的分析,鉆取分析、排序、過濾等等分析功能。
任意多維度分析:平臺提供任意維度的數據分析,針對要分析的數據,可以任意添加需要分析的維度。圖表設置過程類似,需要注意的是絕大多數的圖表無需刻意添加分析。支持任意維度切換,可以對已有的表樣切換維度來進行自由分析。
多層鉆取:由于維度數據的關系在建立數據cube的時候已經建立好,則可以對維度直接通過分組以及層級設置進行多層鉆取。設置了數據關聯的數據之間,可以進行多層鉆取設置,通過多層鉆取查看數據的詳細值。
排序:基于查詢出來的結果的排序,根據維度自身進行排序,根據匯總指標的大小對維度進行排序展示,根據公式值進行排序。可以進行升序、降序和自定義排序。選擇了排序方式,數據會根據所選排序方式自動排序。排序為全局排序,分頁顯示后并不影響排序結果。
七、技術特性
數據平臺數據倉庫技術要點
- 動態生成的位圖索引技術處理字符串等類型. NIO內存映射文件技術,快速讀取處理數字類型.
- 支持離線使用的cube數據存儲,支持cube數據定時全量以及增量更新. 動態的內存數據立方體技術,并行計算的數據處理模式.
- 基于位圖索引的快速分組,過濾,鉆取,支持多線程運算,互不干擾. 的位圖索引壓縮技術. 避免重復計算的緩存機制.
數據平臺數據建模及數據應用流程
- 數據庫生成Cube文件,該cube文件會根據原始數據建立一定的數據模型。
- 訪問設計報表時,預先加載需要使用的字段的位圖索引到內存,增大命中率。
- 處理分組時,使用位圖索引,對數據進行處理,經過轉換生成需要的結果,再使用多線程分組,多線程與內存映射文件生成匯總結果。并將結果建立一定的數據立方體模型,在下次取數,和部分取數時避免重復計算。
數據平臺模塊
分析數據關聯
當最終用戶在分析數據時,很可能需要將數據建模時沒有建立關聯關系的數據關聯起來做為整體查看分析,而在處理此類問題時就往往需要技術人員的支持,需要額外的數據建模工作,平臺根據用戶的語義,提供關聯設置,并將數據關聯,只要明白語義即可得到所需數據。
指標影響因素分析
某個指標或者匯總數據往往會受到很多因素的影響,例如銷售額會受到產品質量,銷售地區,時間,銷售人員,代理商,銷售策略,同類競爭產品價格等等因素的影響,而當最終客戶進行分析時需要對全盤的影響因素都有了解。以往的BI工具是提前將這些分析維度加入最終展現層讓領導或者業務人員去選擇,這樣的問題有兩個不利因素:溝通成本高,需要讓技術人員清晰明了業務需求;修改影響因素復雜,添加刪除因素需要通知技術人員。平臺的因素分析直接面向最終分析人員,通過優化的算法提供所有影響因素,并且判斷重點因素。
八、優勢總結
數據平臺的數據處理,采用表間自動關聯以及手動建立關聯來實現數據之間的關系,使得數據根據業務關系有著完整的數據結構。理解業務的用戶,只需要根據業務選擇相應的數據,即可以進行分析數據。
數據庫生成cube文件,該cube文件會根據原始數據建立一定的數據模型。
訪問設計報表時,預先加載需要使用的字段的位圖索引到內存,增大命中率。
處理分組時,使用位圖索引,對數據進行處理,經過轉換生成需要的結果,再使用多線程分組,多線程與內存映射文件生成匯總結果。并將結果建立一定的數據立方體模型,在下次取數,和部分取數時避免重復計算。
分組速度快,各個分組,匯總之間互不干擾,利于多線程計算以及分布式部署優化。
支持部分計算,分組匯總不需要計算所有的值。列表速度不受限于數據量。
當最終用戶在分析數據時,很可能需要將數據建模時沒有建立關聯關系的數據關聯起來做為整體查看分析,而在處理此類問題時就往往需要技術人員的支持,需要額外的數據建模工作,平臺根據用戶的語義,提供關聯設置,并將數據關聯,只要明白語義即可得到所需數據。
非IT人員可以進行即時分析
傳統BI的繁雜之處主要體現在兩個方面:
第一:技術人員需要花費大量時間準備數據。用于分析的底層數據分布在不同的地方,如果要讓這些數據百分百地滿足業務需求,那么就需要對數據進行額外的處理,根據傳統BI提供的工具建立符合其工具的數據模型,而這個過程根據業務的復雜程度所需的時間在幾個月不等。
第二:業務人員基于數據偶得的一些分析需求實現過程復雜。傳統BI的模式都是預先了解領導和業務人員的所有業務需求,然后基于這些需求準備數據設計以報表形式展現數據的分析過程,當決策分析者在分析過程中有額外的想法時,基于傳統的設計模式,她們還需要和技術人員進行溝通,準備新的數據或者設計新的分析過程,然后才能得到自己想要的分析,這個過程還包括了讓技術人員理解自己的需求,所以綜上看來整個過程是相當復雜的。
平臺的Data Service模塊,具有的分析設計模式和指標影響因素智能分析模塊,能夠解決以上問題,讓技術人員準備數據時無需任何代碼和復雜的設置過程,讓非IT人員參與開發編程成為可能。