??xml version="1.0" encoding="utf-8" standalone="yes"?>亚洲精品自在线拍,国产成人毛片亚洲精品,亚洲乱人伦精品图片http://www.tkk7.com/gf7/category/10413.html<a target="_blank"><img src="http://union.keepc.com/templates/default/images/1/950X90.gif" alt="KC|络电话Q中国最优秀的网l电? width="950" height="90" border="0"></a>zh-cnWed, 15 Sep 2010 17:52:00 GMTWed, 15 Sep 2010 17:52:00 GMT60关于EAIQETL与EIIhttp://www.tkk7.com/gf7/archive/2010/09/14/331982.html?/dc:creator>?/author>Tue, 14 Sep 2010 08:02:00 GMThttp://www.tkk7.com/gf7/archive/2010/09/14/331982.htmlhttp://www.tkk7.com/gf7/comments/331982.htmlhttp://www.tkk7.com/gf7/archive/2010/09/14/331982.html#Feedback0http://www.tkk7.com/gf7/comments/commentRss/331982.htmlhttp://www.tkk7.com/gf7/services/trackbacks/331982.html一位朋友说他们正在做EAI的项目,对于EAIQ没有接触太深,以前目中有q一块,却没怎么参与。于是问了一句,"EAII竟是服务于什么目?Q提赯个名词,在我脑v中蹦出的关键词是诸如实时、ȝ、消息等Q然而,q些g只是它的技术特征?/div>

cM的名词包括EII和ETLQETL是BI目中必有的部分Q也是目前每个项目戏份最重的环节。ETL有一U定义,?抽取、{换和装蝲Qؓ了分析的目的Q将数据从多U数据源抽取Q经q{换、清z,装蝲到另一个数据库的过E,包括数据集市和数据仓库,或者是另一个操作型pȝ"Q我不知道这是谁的定义,恐怕也恐怕很难有权威的定义。在q个定义中,ETL是广义的Q它是数据流动的q程Q没有说它究竟是扚w的或是实时的。因此,按照q个定义QEAI也就像是ETL?

EAIQ全名ؓ企业应用集成Q这提升C个比较高的层面,相比之下Q?数据"昑־太微观,太底层了。不错,现实的情冉|企业的IT环境中,大量不同的系l同时ƈ存,~ZM规划。在q种情况下,提出应用集成也是形势所逹{比如联通的l营分析和客LpL留系l,~Z规划的时候,他们有功能重叠的地方,各自的厂商ؓ了自q利益Q不可能֏"应该"如何Q只是将自己的蛋p划分得大一些才好。因此,诸如"客户价值模?q样得东西就会抢来抢厅R可能这U交叉应用的存在Q才DZ对应用集成的愿望Q他们希望能够统一地看q些不同的应用,像一个完整的大系l在q行一栗?

但显Ӟ如果辑ֈq样的程度,理想的程度,q一U技术就能搞定。所以,EAI的定义显得比ETL定义更加"虚头八脑"Q而在实际目中看来,EAI的主要功能就是数据的集成Q在多个应用之间׃n数据Q联通里面一般管q叫?交互?。技术实CQ它更像是CDCQ变化数据捕PQETL?/p>

至于EIIQ名UC意思ؓ"企业信息集成"Q按照数据、信息到知识q个从低到高的层ơ,EII听v来又比ETL高一些。然而对它,更加没有深入了解。也不明白它Z么会y出q个名词Q是和ETL、EAIq列q是有取代他们的意思。从它的定义来看QEII是徏立了一个虚拟的数据库,用户向这个虚拟库提交查询Q而EII这U查询物理地分布到各个不同的数据源中Q然而返回数据,对于用户来说Q他没有意识到这Ҏ据是来自不同应用、不同数据库的?

喔,很酷Q不q难度不,因ؓq不是技术问题。假讄想的情况下,能够为数据源建立详尽的、一致的元数据,能够有一个引擎实现这U分布式查询Q当然可以EII。然而我们不是生zd理想国,Z同的数据源徏立一致的元数据几乎是不可能,q涉及到各个pȝ厂商的管理、系l设计以及维护能力,无法仅仅通过技术手D保证的。所以,EIIQ我只能暂且它看作是未来理惟?/p>

]]>
析实时ETL的架构选择 http://www.tkk7.com/gf7/archive/2010/09/14/331981.html?/dc:creator>?/author>Tue, 14 Sep 2010 08:00:00 GMThttp://www.tkk7.com/gf7/archive/2010/09/14/331981.htmlhttp://www.tkk7.com/gf7/comments/331981.htmlhttp://www.tkk7.com/gf7/archive/2010/09/14/331981.html#Feedback0http://www.tkk7.com/gf7/comments/commentRss/331981.htmlhttp://www.tkk7.com/gf7/services/trackbacks/331981.htmlETL通常都采用批处理的方式,一般来说是每天的夜间进行跑扏V?/span>

随着数据仓库技术的逐步成熟Q企业对数据仓库的时间gq有了更高的要求Q也出C目前常说的实?/span>ETLQ?/span>Real-Time ETLQ。实?/span>ETL是数据仓库领域里比较新的一部分内容?/span>

在构建实?/span>ETL架构的数据仓库时Q有几种技术可供选择?/span>

1Q微批处理(microbatch ETLQ?/span>MB-ETLQ?/span>

微批处理的方式和我们通常?/span>ETL处理方式很相|但是处理的时间间隔要短,例如间隔一个小时处理一ơ?/span>

2Q企业应用集成(Enterprise Application IntegrationQ?/span>EAIQ?/span>

EAI也称为功能整合,通常׃间g来完成数据的交互。而通常?/span>ETLUCؓ数据整合?/span>

对实时性要求非帔R的系l,可以考虑使用EAI作ؓETL的一个工P可以提供快捷的数据交互。不q在数据量大旉?/span>EAI工具效率比较差,而且实现h相对复杂?/span>

3Q?/span>CTFQ?/span>Capture, Transform and FlowQ?/span>

CTF是一cL较新的数据整合工兗它采用的是直接的数据库Ҏ据库的连接方式,可以提供U的数据?/span>CTF的缺Ҏ只能q行轻量U的数据整合。通常的处理方式是建立数据准备区,采用CTF工具在源数据库和数据准备区的数据库之间相q接。数据进入数据准备区后再l过其他处理后迁Ud数据仓库?/span>

4Q?/span>EIIQ?/span>Enterprise Information IntegrationQ?/span>

EII是另一cL较新的数据整合YӞ可以l企业提供实时报表?/span>EII的处理方式和CTF很相|但是它不数据迁Ud数据准备区或者数据仓库,而是在抽取{换后直接加蝲到报表中?/span>

在实际徏立实?/span>ETL架构的数据仓库时Q可以在MB-ETL, EAI, CTF, EII及通常?/span>ETL中作出选择或者进行组合?/span>



]]>
Sybase IQ for Data Warehouse 培训ȝ(一)http://www.tkk7.com/gf7/archive/2007/11/10/159592.html?/dc:creator>?/author>Sat, 10 Nov 2007 09:38:00 GMThttp://www.tkk7.com/gf7/archive/2007/11/10/159592.htmlhttp://www.tkk7.com/gf7/comments/159592.htmlhttp://www.tkk7.com/gf7/archive/2007/11/10/159592.html#Feedback2http://www.tkk7.com/gf7/comments/commentRss/159592.htmlhttp://www.tkk7.com/gf7/services/trackbacks/159592.html *?? xuwedo
培训主要内容QAdministering Sybase IQ for Data Warehouse (volume 1 &volume 2)
 
一?span style="font: 7pt 'Times New Roman'">        本次培训涉及C下内容:
1Q?span style="font: 7pt 'Times New Roman'">             Sybase IQ产品概述
2Q?span style="font: 7pt 'Times New Roman'">             架构和专业述?/span>
3Q?span style="font: 7pt 'Times New Roman'">             环境变量和安?/span>
4Q?span style="font: 7pt 'Times New Roman'">             怎样创徏数据?/span>
5Q?span style="font: 7pt 'Times New Roman'">             讄服务器和数据选项
6Q?span style="font: 7pt 'Times New Roman'">             Sybase IQ索引和数据类?/span>
7Q?span style="font: 7pt 'Times New Roman'">             创徏表和索引
8Q?span style="font: 7pt 'Times New Roman'">             Sybase IQ内存配置
9Q?span style="font: 7pt 'Times New Roman'">             从文件中加蝲数据
10Q?span style="font: 7pt 'Times New Roman'">        用INSERT语句加蝲数据
11Q?span style="font: 7pt 'Times New Roman'">        使用Sybase IQ
12Q?span style="font: 7pt 'Times New Roman'">        用户的管理和安全
13Q?span style="font: 7pt 'Times New Roman'">        事务理和锁
14Q?span style="font: 7pt 'Times New Roman'">        监控和问题解?/span>
15Q?span style="font: 7pt 'Times New Roman'">        理DBspace 和烦?/span>
16Q?span style="font: 7pt 'Times New Roman'">        备䆾和恢?/span>
17Q?span style="font: 7pt 'Times New Roman'">        Sybase IQ的多元架?/span>
18Q?span style="font: 7pt 'Times New Roman'">        创徏一个多元架构的数据?/span>
 
二?span style="font: 7pt 'Times New Roman'">        以下为各部分的详l叙qͼ
(一) Sybase IQ产品概述
1?span style="font: 7pt 'Times New Roman'">             Sybase IQ是一个强大的卛_查询服务器?/span>
2?span style="font: 7pt 'Times New Roman'">             用Sybase IQ来分d{支持系l(DSSQDecision Support SystemQREADERQ和在线事务处理pȝQOLTPQOnLine Transaction ProcessingQWRITERQ?/span>
3?span style="font: 7pt 'Times New Roman'">             Sybase IQ的特ҎQ?br /> Q?Q、垂直数据存储和压羃
Q?Q、优化了所有数据类型的存取Ҏ
Q?Q、基于位的存储技?br /> Q?Q、即席查询优化器
Q?Q、标准的对外接口
Q?QSybase Central 支持
4?span style="font: 7pt 'Times New Roman'">             Sybase IQ不适合做:
Q?Q、在U事务处理引?br />  用Adaptive Server Enterprise代替
Q?Q、需要实时更新的在线应用服务?br />  用Adaptive Server Enterprise或Adaptive Server Anywhere代替
5?span style="font: 7pt 'Times New Roman'">             Sybase数据库的基本原理Q?br /> Q?Q、列方式的存储,可以减少IO
    例如QSELECT COUNT(*) FORM customer WHERE gender =
m
Q?Q、基于位的烦引方?br />     分ؓ高基数数据(唯一值数量大?500个)和低基数数据Q唯一值数量小?500个)?/span>
(? 架构和专业述?/span>
1?span style="font: 7pt 'Times New Roman'">         Sybase IQq_支持的操作系l版本可以查看Sybase的官方网站,注意Q必L相关的操作系l补丁?/span>
2?span style="font: 7pt 'Times New Roman'">         Sybase IQ Server是在L上运行的一个进E?/span>
3?span style="font: 7pt 'Times New Roman'">         一个Sybase IQ Server只支持一个Sybase IQ数据库。可以在一个Sybase IQ Server上部|多个数据库Q但不推荐?/span>
4?span style="font: 7pt 'Times New Roman'">         Sybase IQ数据库包括:
l       三种DBSPACEEQ?/span>
Q?Q、Catalog Store(for metadata,扩展名ؓQ?db)
一个IQ 数据库只能有一个Catalog store DBspaceQ而且只能创徏在一个文件系l上Q不能创建在裸设备上?/span>
Catalog Store会随着元数据、表、视图、存储过E等对象的增加动态增ѝ?/span>
Catalog Store包含了管理一个IQ数据库的所有信息?/span>
Catalog Store的逻辑名ؓSYSTEM?/span>
一个数据库中所有表的信息都存储在Catalog Store的系l表中。例如系l表有:SYSIQCOLUMN、SYSIQFILE?SYSIQINDEX?SYSIQINFO?SYSIQTABLE{。可以用语句Q?br /> Select * from SYSIQINFO 语句来查看相关信息?/span>
Q?Q、IQ Store(for dataQ扩展名为:.iq)
IQ Store存储了压~的数据信息Q例如烦引信息、事务日志、管理分配空间的l构{?/span>
每一个数据库只有一个IQ Store。一个IQ Store通常情况下包括多个DBspace?/span>
IQ Store的DBspace可以建立在裸讑֤或文件系l上?/span>
IQ Store的逻辑名ؓQIQ_SYSTEM_MAIN
注意QIQ Store的文件系l的扩展名ؓ.iqQ裸讑֤没有扩展名?/span>
Q?Q、IQ temporary Store(for temporary data,扩展名ؓQ?iqtmp)
IQ temporary Store是数据库的工作区间。在装入数据时在其中q行排序数据Q以建立索引?/span>
一个数据库只有一个IQ temporary Store。一个IQ temporary Store可以包含多个物理文g?/span>
IQ temporary Store可以是文件系l或裸设备?/span>
IQ temporary Store的逻辑名ؓIQ_SYSTEM_TEMP
l       三种日志文gQ?/span>
Q?Q、IQ Message log
    IQ数据库的可读日志文gQ包括:插入和删除信息、错误信息、状态信息、查询计划等?/span>
    IQ Message Log只能在文件系l中Q扩展名?iqmsg?/span>
    一个数据库只能有一个IQ Message?/span>
Q?Q、Catalog Store Transaction Log
   Catalog Store Transaction Log是Catalog Store的事务日志?/span>
    用来作ؓ必需时的回滚和前滚?/span>
    文g的扩展名为:.log?/span>
    随时_此文件会来大?/span>
Q?Q、IQ server logs
    记录每次服务器启动时的信息。每启动一ơ就会生一个IQ server log?/span>
    通常?ASDIR/Logfiles目录下?/span>
    ASIQ_startup_nt.log文g中记录了服务器启动的参数?/span>
    Server_name.00n.srvlog中的n是服务器启动的次数?/span>
    其他信息发送到控制H口中?/span>
5?span style="font: 7pt 'Times New Roman'">         一个DBspace是一个数据库文g的逻辑名?/span>
6?span style="font: 7pt 'Times New Roman'">         DBspace可以是分配给Sybase IQ的一个文件系l或裸设备?/span>
7?span style="font: 7pt 'Times New Roman'">         一个Sybase IQ 数据库包括多个DBspace?/span>
8?span style="font: 7pt 'Times New Roman'">         IQ中的表是指定义在Catalog Store的逻辑表。IQ中有三种表:基本表、本C时表、全局临时表?/span>
9?span style="font: 7pt 'Times New Roman'">         IQ表的每一列最有一U烦引。每当创建新表时Q系l会自动创徏默认索引?/span>
10?span style="font: 7pt 'Times New Roman'">    IQ中一共有9U烦引?/span>
(? 环境变量和安?/span>
1.    对硬盘的I间要求Q?/span>
UNIXQ不于800M?/span>
WINDOWSQ不于375M?/span>
   IQ STORE U点ȝ盘空间的70%。IQ temporary Store大小UؓIQ Store?0%?/span>
l       对内存的要求Q?/span>
虚拟内存=物理内存+盘交换分区大小?/span>
推荐生环境最内存不于1G的物理内存?/span>
如果虚拟内存q小Q会D服务器失败?/span>
l       CPU要求Q?/span>
颗数多好Q速度快好?/span>
l       启动IQ ServerQ?/span>
使用命oQstart_asiq [config file] dbname [switchs]
例如Qstart_asiq @saiqdemo.cfg asiqdemo.db
l       停止IQ serverQ?/span>
Q?Q、用命令:
Dbstop c uid=DBA; pwd=SQL; eng=server_name; dbn=db_name
Q?Q、用存储过E:
Stop_asiq
l       当安装完Sybase IQ后会自动生成一个名?#8220;Utility的数据库Q此数据库没有数据,也没有数据文件与之关联(仅ؓ一个util_db.ini文gQ。它主要用于以下目的Q?br /> Q?Q、当没有实际的数据库Ӟ用于试q接?br /> Q?Q、用来创建和恢复数据库?br /> Q?Q、千万不能删除之?br /> Q?Q、此数据库的用户名ؓQDBAQ密码ؓQSQL?/span>
l       有七U方法可以连接到Sybase IQQ?br /> Q?Q、ODBC
Q?Q、JDBC
Q?Q、OLE_DB
Q?Q、Sybase Open Client
Q?Q、用DBISQL
Q?Q、用Sybase Central?br /> Q?Q、用DBISQLC


]]>
Sybase IQ for Data Warehouse 培训ȝ(?http://www.tkk7.com/gf7/archive/2007/11/10/159591.html?/dc:creator>?/author>Sat, 10 Nov 2007 09:37:00 GMThttp://www.tkk7.com/gf7/archive/2007/11/10/159591.htmlhttp://www.tkk7.com/gf7/comments/159591.htmlhttp://www.tkk7.com/gf7/archive/2007/11/10/159591.html#Feedback0http://www.tkk7.com/gf7/comments/commentRss/159591.htmlhttp://www.tkk7.com/gf7/services/trackbacks/159591.htmlSybase IQ for Data Warehouse 培训ȝ(?
*?? xuwedo

(一) 
怎样创徏数据?/span>
1、DBspace是分配到IQ数据库的驱动I间的逻辑?/span>
2、一个新IQ数据库最多可以有2047个DBspace?/span>
3、Sybase的各U类型DBspace的限Ӟ
Q?Q、Catalog Store最大ؓ1TB?br /> Q?Q、IQ Store 和IQ temp Store 在裸讑֤上没有大限Ӟ在文件系l中?TB?/span>
4、IQ Store 和IQ temp Store可以扩大或从数据库删除?/span>
5、创建数据库Q?br /> CREATE DATABASE full_path db_name[[TRANSACTION] {LOG ON [log_file_name][MIRROR mirror_file_name]}]
IQ PATH iq_file_anem
[IQ SIZE iq_file_size]
[IQ RESERVE sizeMb]
TEMPORARY PATH temp_file_name
[TEMPORARY SIZE temp_db_szie]
[TEMPORARY RESERVE sizeMB]
[MESSAGE PATH message_file_name]
例子1Q?/span>
CREATE DATABASE d:\\mydb\\mydb.db
IQ PATH d:\\iqmain\\mydb01.iq
IQ SIZE 200
TEMPORARY PATH e:\\iqtem\\mydb01.iqtmp
TEMPORARY SIZE 200
IP PAGE SIZE 65536
6、可以用Sybase Central创徏数据库(在图形环境下Q?/span>
7、可以用sp_iqstatus来查看当前数据库的详l信息?/span>
8、删除一个DBspace
Q?Q、一个IQ store如果存有数据的话Q则不能被删除。(可以使用Utility数据库将一个DBspace的数据移动到另一个DBspace中去Q再删除Q?/span>
Q?Q、一个IQ temporary Store仅在为空时才可以被删除?/span>
9、删除一个数据库的语法:
DROP DATABASE db_filename
例子QDROP DATABASE ‘d:\\mydb\\mydb.db
10、怎样才能看到所有的DBspace的物理文件名Q?br /> 用以下命令:Select * from sysqifile
(? 讄服务器和数据选项
1?span style="font: 7pt 'Times New Roman'">         数据库的启动参数均可以写?#8220;.cfg”文g中?/span>
2?span style="font: 7pt 'Times New Roman'">         启动服务器的语法Q?br /> start_asiq server-switchs database_file
其中Q?#8220;server-switchs”可以为:
-c Q缓存大,默认windows?2M,Unix?8M?/span>
-gp:Catalog store大?/span>
-gmQ服务器允许的连接数?/span>
-nQIQ server的名字。如果有两个“-n”选项Q则W一个是IQ server的名字,W二?#8220;-n”为IQ 数据库的名字?/span>
-gcQcheckpoint旉间隔。默认ؓ20Q推荐ؓ6000?/span>
-grQ最大的恢复旉。默认ؓ2?/span>
-tiQ客L时旉。默认ؓ4400分钟?/span>
-tlQ默认网l超时时间。默?20U?/span>
-iqmcQ主~存大小Q单位:M?/span>
-iqtcQ时缓存大,单位QM?/span>
注:ȝ存:临时~存=2Q?
在默认情况下QSybase IQ server使用2338端口?/span>
3?span style="font: 7pt 'Times New Roman'">         使用SET OPTION命o更变数据库的配置Q?br /> Q?Q、语法:
SET [TEMPORARY] OPTION  
[user_id. | PUBLIC.]option_name = [option_value]
其中?#8220;option_name”可以是:
Force_No_Scroll_Cursors=‘on’(默认?#8220;off”)止~存用户的查询结果?br /> Query_Temp_Space_Limit=0(默认?000M)Q设|时缓存的最大倹{?表示不限制?br /> Public.Query_Plan=‘off’(默认?#8220;on”)止用L查询计划打印到IQ Message File中,因ؓ查询计划可以会之大迅速增加?br /> 例子Q?br /> SET OPTION public.Force_NO_Scroll_Cursors=
no
4?span style="font: 7pt 'Times New Roman'">         查看数据库的所有被改动q的Q即非默认|选项Q用存储q程Qsp_iqcheckoptions?/span>
(? Sybase IQ索引和数据类?/span>
1、Sybase IQ?U烦引类型:
Q?Q、FPQFast ProjectionQ此索引为默认的索引形式Q在创徏表时pȝ自动讄此烦引?/span>
特点Q用于SELECT、LIKE ‘%sys%’、SUMQA+BQ、JOIN操作{语句?/span>
此类型烦引也是唯一可用于BIT数据cd的烦引?/span>
    FP索引可以优化索引Q将于255的唯一值的索引压羃?字节中,小?5537的唯一值烦引压~到2字节中?/span>
Q?Q、LF(Low Fast)Zq树的l构Q存储唯一值小?500个的索引Q是最快的索引cd。可以用作唯一索引?/span>
    特点Q用??Q?、IN、NOT IN查询参数?/span>
    MINQ)、MAXQ)、COUNTQ)、Group By、JOIN{?/span>
Q?Q、HNG(High Nongroup)Z位的优化索引Q适合于数字烦引。用于范围查扑֒求合计算?/span>
    特点QRangs、Between、MINQ)、MAXQ)、SUMQ)、AVGQ){?/span>
Q?Q、HG(High Group) Zq树的l构Q存储唯一值大?500个的索引Q是最快的索引cd。可以用作唯一索引?/span>
    特点Q同LF索引的特炏V?/span>
Q?Q、CMP(compare)仅用于比较一个表中的两个列的比较?/span>
    特点Q?lt;?=?>?<= ?gt;=
Q?Q、WD(Word)Q仅用于索引数据cd为WORD的列?br />     特点Q?#8216;CONTAINS’、LIKE操作Q但没有‘%’Q?/span>
例子Q?/span>
Select count(*) from Customer where address contains(‘Main’)
Q?Q、DATE(date)仅用于日期类型的列?/span>
Q?Q、DTTM(Datetime)仅用于日期时间类型的列?/span>
Q?Q、TIME(Time)仅用于时间类型的列?/span>
例子Q?br /> Select * from sales where DATAPART(YEAR,dales_dt) = 2007
Select * from sales where sales_dt>=‘2003-01-01 08Q?0Q?0’
(? 创徏表和索引
1、创Q?/span>
例子1Q?/span>
CREATE TABLE employee(
Emp_id int NOT NULL
,lname varchar(30) NULL
,fname varchar(30) NULL
,salary money NULL)
例子2Q?/span>
CREATE TABLE stores(
Store_id char(4) NOT NULL
,store_name varchar(20) NOT NULL
,store_address varchar(40) NOT NULL
,UNIQUE(store_id))
例子3Q?/span>
CREATE TABLE products(
Product_code char(5) NOT NULL
,product varchar(40) NOT NULL
,price money NULL
PRIMARY KEY (products_code))
例子4Q?/span>
CREATE TABLE sales(
Sales_code char(10) PRIMARY KEY
,sales_date DATE NOT NULL
,product_code char(5) NOT NULL
,FOREIGN KEY fk1(product_code) REFERENCES product (product_code))
例子5Q?/span>
SELECT * INTO co_residential_customer from customer where 1=2
2、用Sybase Central 可以在图形界面下创徏表?/span>
3、删除表QDROP TABLE tablename
4、删除表中的所有内容:TRUNCATE TABLE [owner.]table_name
5、创图,语法Q?/span>
CREATE VIEW [owner.]view_name[(column-name[,])]
AS select-without-order-by
[WITH CHECK OPTION]
例子1Q?/span>
CREATE VIEW sd_customer AS SELECT * FROM customer
WHERE sheng = SD
例子2Q?/span>
CREATE VIEW emp_dept
AS SELECT emp_home,emp_fname,dept_name
From Employee,Department
WHERE Employee.dept_id = Department.dept_id
5、用Sybase Central 可以在图形界面下创徏视图?/span>
6、创建烦引:
CREATE [UNIQUE] [index-type] INDEX
Index_name ON
[owner.]table_name (column_name[,])
[{IN | ON} DBSpace_name]
[NOTIFY integer]
[DELIMITED BY separators-string]
[LIMIT maxwordsize-integer]
例子1Q?/span>
CREATE HG INDEX
Cust_customer_id ON
Cutomer(customer_id)
例子2Q?/span>
CREATE CMP INDEX price_compare
ON orders(purchase_price,list_cost)
7、删除烦引:
DROP INDEX [[owner.]tablename.]index_name
例子Q?br /> DROP INDEX cust_customer_id
(? Sybase IQ内存配置
1?span style="font: 7pt 'Times New Roman'">         IQ从单一的一个内存池中分配内存?/span>
2?span style="font: 7pt 'Times New Roman'">         从操作系l层面来看,IQ Server的内存是由堆l成?/span>
3?span style="font: 7pt 'Times New Roman'">         BufferQ内存中的一块区域,它存储了写入数据库或从数据库中读取的未解压的数据?/span>
4?span style="font: 7pt 'Times New Roman'">         IQ Page SizeQIQ Server中每一个内存页的大?/span>
5?span style="font: 7pt 'Times New Roman'">         IQ Page Size/16=BLOCK SIZE
6?span style="font: 7pt 'Times New Roman'">         在启动服务器Ӟ可以用参?c来指定服务器~存的初始大。在所有^CQ这个值最大ؓ256M?/span>
7?span style="font: 7pt 'Times New Roman'">         IQ Buffer有两U类型:
Q?Q、主Buffer~存QIQ Store的Buffer。(占d的40%Q?br /> Q?Q、时BufferQIQ temporary Buffer。(占d的60%Q?/span>
8?span style="font: 7pt 'Times New Roman'">         在Sybase IQ server中一个活动的用户大约占用10M内存Q一个非zd用户大约?M内存?/span>


]]>
Sybase IQ for Data Warehouse 培训ȝ(?http://www.tkk7.com/gf7/archive/2007/11/10/159590.html?/dc:creator>?/author>Sat, 10 Nov 2007 09:36:00 GMThttp://www.tkk7.com/gf7/archive/2007/11/10/159590.htmlhttp://www.tkk7.com/gf7/comments/159590.htmlhttp://www.tkk7.com/gf7/archive/2007/11/10/159590.html#Feedback0http://www.tkk7.com/gf7/comments/commentRss/159590.htmlhttp://www.tkk7.com/gf7/services/trackbacks/159590.html?? xuwedo
(一) 
从文件中加蝲数据
1、有三种Ҏ向IQ table中加入数据:
Q?Q、用LOAD TABLE命oQ从命名道或文件中数据导入表中。(速度是最快的Q?/span>
Q?Q、用INSERT FROM SELECT 命oQ将其他表中的数据加入当前表中?/span>
Q?Q、用INSERT VALUES命oQ?#8220;手动”地向表中加入数据?/span>
2、关于数据加载和锁:
Q?Q、当一个用h在装载、插入或修改一个表中的数据Ӟ其他用户可以对该表进行查询操作。(原理是:版本控制Q?/span>
Q?Q、多个用户可以ƈ发地执行DML语句Q但必须针对不同的表?/span>
Q?Q、如果多个用戯图修改同一个表Q则W一个用戯得DML锁?/span>
3、从文g中装入数据的例子Q?/span>
LOAD TABLE customer(customer_id |
,cust_type |
,organization |
,contact_name |
,contact_phone |
,address |
,city |
,country \x0a)
FROM /work/data/cutomer1.dat
ESCAPES OFF
QUOTES OFF;
4、删除表中的数据有三U方法:
Q?Q、用DELETE 命oQ?br /> DELETE FROM customer
WHERE customer_id IN( SELECT cutomer_id FROM customer
                    WHERE postno = 250001)
Q?Q、用DROP TABLE命o
Q?Q、用TRUNCATE TABLE命o
5、删除后再增加数据有两种方式Q?/span>
Q?Q、插入到删除后留下的I隙中?/span>
Q?Q、追加到现有表的最后一行后面。(速度再快一些,但要更大的存储空_
由APPEND_LOAD=‘ON’来控制?/span>
6、UPDATE 命oQ?/span>
UPDATE employee
SET dept_id = 400
WHERE emp_id = 111
(? 用INSERT语句加蝲数据
?Q?/span>
INSERT INTO dept_head(name,dept)
NOTIFY 20
SELECT emp_fname ||‘ ’||emp_lname AS name
,dept_name
FROM employee JOIN department
ON emp_id = dept_head_id;
commit
?Q?/span>
INSERT INTO lineitem(shipdate,orderkey)
LOCATIONservername.dbname
PACKETSIZE 512
{SELECT l_shipdate,l_orderkey FROM lineitem};
commit
(? 使用Sybase IQ
因ؓ本章节均为图形化操作Q比较简单。略
(? 用户的管理和安全
1.    pȝ预置的两个组QSYS和PUBLICl?br /> 想知道系l中共有多少l,用以下命令:
SELECT * FROM Sys.sysgroups
2.    pȝ理员的用户名:DBAQ默认密码ؓQSQL
3.    向系l中加入用户有三U方法:
Q?Q?#8220;GRANT CONNECT”命oQ?br /> GRANT CONNECT TO userid [Q?/span>]
INDENTIFIED BY password [,
]
注:更改用户的密码也是上面的命o,q可能导致管理员无意识地改变现有用户的密码,而其目的是增加用戗此操作没有警告提示?br /> Q?Q、Sybase Central 向导Q图形化操作?br /> Q?Q、sp_iqaddlogin存储q程Q?/span>
4.    与系l中用户理有关的两个系l表Q?br /> IQ_User_Login_Info_Table和IQ_System_Login_Info_Table
如果x看该pȝ表中的内容,则可以用以下语句Q?br /> SELECT * FROM IQ_User_Login_Info_Table
5.    与管理用h关的几个存储q程Q?br /> sp_iqmodifyadmin
sp_iqaddlogin
sp_iqprocess_login
sp_iqdroplogin
sp_iqlistexpiredpasswords
sp_iqlistlockedusers
sp_iqlistpasswordexpirations
sp_iqlocklogin
sp_iqmodifylogin
sp_iqpassword
(? 事务理和锁
1、与事务有关的几个命令:
Q?Q、开始一个事务:
BEGIN TRANSACTION [transaction_name]
Q?Q、提交一个事务:
COMMIT [work]
Q?Q、回滚一个事务:
ROLLBACK [work]
Q?Q、在当前事务中徏立一个保存点Q?br /> SAVEPOINT [savepoint_name]
Q?Q、回滚到一个保存点Q?br /> ROLLBACK TO SAVEPOINT [savepoint_name]
Q?Q、将改变保存到磁盘上Q?br /> CHECKPOINT
Q?Q、执行完一条语句后Q自动提交:
WITH CHECKPOINT ON
(? 监控和问题解?/span>
1?span style="font: 7pt 'Times New Roman'">         可以在Sybase Central中监控用?/span>
2?span style="font: 7pt 'Times New Roman'">         存储q程Qsp_iqconnection可以昄用户q接的信息。包括connection_handleQUser_IDQ最后的h的时_最后IQ命o旉{?/span>
3?span style="font: 7pt 'Times New Roman'">         用drop connection connection_handle可以让服务器d断开与某用户q接?/span>
4?span style="font: 7pt 'Times New Roman'">         用sp_iqcontext来显C服务器上执行SQL语句的情况,包括哪个用户正在执行哪条SQL语句Q是否提交等信息?/span>
5?span style="font: 7pt 'Times New Roman'">         服务器执行SQL情况写入日志Q?br /> Ҏ1Q?br /> -zr SQL Q表明要攉SQL语句信息
-zo c:\\sqllog.txt ;重定向请求别信息到文g?br /> Ҏ2Q?/span>
call sa_server_option (‘request_level_logging’ , ‘SQL’);
call sa_server_option(
request_level_log_file ,sqllog.txt);
关闭SQL信息写入日志文g中:
call sa_server_option (‘request_level_logging’ , ‘’);
call sa_server_option(
request_level_log_file ,NONE);
6?span style="font: 7pt 'Times New Roman'">         用sp_iqtransaction查看pȝ中事务的相关信息?/span>
7?span style="font: 7pt 'Times New Roman'">         错误处理Q?/span>
Q?Q、UNIX 下有一脚本Qgetiqinfo.sh
Q?Q、Windows下ؓgetiqinfo.bat
来得到服务器的相关信息,然后生成的报告发送给Sybase卛_?/span>
(? 理DBspace 和烦?/span>
1?span style="font: 7pt 'Times New Roman'">         改变DBSPACE的模式或改变DBSPACE的大:
ALTER DBSPACE
2?span style="font: 7pt 'Times New Roman'">         卸蝲一个空的DBSPACEQ?/span>
DROP DBSPACE
3?span style="font: 7pt 'Times New Roman'">         报告DBSPACE的一般信息和模式Q?/span>
Sp_iqdbspace
4?span style="font: 7pt 'Times New Roman'">         报告DBSPACE中的OBJECTS和它们的大小信息?/span>
Sp_dbspaceinfo
5?span style="font: 7pt 'Times New Roman'">         一个DBSPACE中的OBJECTSUd到另一个DBSPACE中:
Sp_iqrelocate
6?span style="font: 7pt 'Times New Roman'">         Sp_iqrebuildindex存储q程重新建立某列的烦引?/span>
7?span style="font: 7pt 'Times New Roman'">         理DBspace 和烦引的操作均可以在Sybase Central中操作,比较单?/span>
(? 备䆾和恢?/span>
1、Sybase IQ server有三U备份类型:
Q?Q、完全备?/span>
Q?Q、增量备?/span>
Q?Q、完全备份的基础上增量备?/span>
注:增量备䆾和完全备份的基础上增量备份都会对Catalog Store q行完全备䆾?/span>
默认情况下ؓ完全备䆾?/span>
2、Sybase IQ server的顺序:
Q?Q、Catalog Store
Q?Q、Transaction log File
Q?Q、IQ Store
3、当IQ server正在备䆾Ӟ
Q?Q、默认情况下操作员必d现场Q挂持接备䆾介质?/span>
Q?Q、操作员可以不在场,但必L地估算出备份的数据量大,q且在安装备份设备时Q要?#8220;高”安装方可?/span>
4、备份命令:
BACKUP DATABASE [CRC ON|OFF]
[Attended ON|OFF]
[BLOCK FACTOR integer]
[{FULL|INCREMENTAL|INCREMENTAL SINCE FULL}]
TO archive_device [SIZE # of KB integer]
例子Q?/span>
BACKUP DATABASE TO ‘dev/rmt/0n
注:BACKUP不支持裸讑֤
5、系l别的备䆾Q?/span>
如果IQ serverq行时进行系l别的备䆾Q则会导致服务崩溃或丢失数据。所以,必须定IQ server是停止状态时Q方可进行系l别备份?/span>
6、备份的恢复Q?/span>
Q?Q、必连接到utility_db数据库后才可以进行恢复操作,q且在恢复数据时不能有用戯接到数据库?/span>
Q?Q、如果有完全恢复QCatalog Store 和Transaction LogQ即.db ?log文gQ必M目标文g夹下删除?/span>
Q?Q、如果ؓ增量恢复QCatalog Store 和Transaction LogQ即.db ?log文gQ必d在于目标文g夹中?/span>
7、恢复的命oQ?/span>
RESTORE DATABASE ‘c:\\newdir\\mydb.db
FROM c:\\asiq\\backup1’
FROM c:\\asiq\\backup2’
在进行恢复时Q必L意恢复的序和备份时的顺序完全一致?/span>
8、数据库备䆾后,配置文g和日志文件是没有被备份的Q所以如果恢复时要单独对q两U文件进行恢复。配|文件可以直接拷贝即可,但日志文件是不能用原来的.log文g的?br />    如果恢复到原来的目录中,则不用新?log文g。如果没有恢复到原目录,则必ȝdblog工具手动生成.log文g?/span>
9、dblog工具的命令语法:
Dblog [option] database_file
OptionQ?/span>
-t log-nameQ指定事务log文g名?/span>
-m mirror-nameQ设|事务日志镜象名?/span>
-rQ停止事务日志的镜象?/span>
-oQ输出日志信息到文g?/span>
-qQ安静模式,不打C息?/span>
例:dblog t demolog.log   asiqdemo
(? Sybase IQ的多元架?/span>
 
(? 创徏一个多元架构的数据?/span>
在Sybase Central中完成。略?/span>


]]>
理解SybaseIQ中的内存 http://www.tkk7.com/gf7/archive/2007/11/10/159588.html?/dc:creator>?/author>Sat, 10 Nov 2007 09:33:00 GMThttp://www.tkk7.com/gf7/archive/2007/11/10/159588.htmlhttp://www.tkk7.com/gf7/comments/159588.htmlhttp://www.tkk7.com/gf7/archive/2007/11/10/159588.html#Feedback0http://www.tkk7.com/gf7/comments/commentRss/159588.htmlhttp://www.tkk7.com/gf7/services/trackbacks/159588.html 

1.1.
内存使用对SybaseIQ而言Q内存越多越好,一般要求每个服务器的CPU配置内存2GBQ数据装载需要动态用额外的内存Q计用缓存cachesQ降低IO的方法是使用大buffer cachesQ用超出内存会D频繁swappingQIQ从操作系l申请内存,从操作系l别看SybaseIQ的内存ؓ堆内存,所有的内存分配自动q行。IQ使用内存q行以下zdQ?/font>

l
从磁盘读取数据ƈ执行查询Q?/font>

 

l
从系l^面文件加载时~冲盘数据Q?/font>

 

l
~冲元数据文?(Catalog)

 

l
理q接Q事务,~冲区和数据库对象?/font>

 


一个安装SybaseIQ的数据库服务器的典型内存分布如图所C:包括操作pȝ其他应用E序内存Q服务器内存Q额外内存,IQ存储~存Q时存储缓存?/font>














1.1.1.
服务器内?/font>SybaseIQ服务器进E用的内存Q不同的操作pȝq_其用量存在差异Q一般需?0MB?/font>
1.1.2.
额外内存元数据缓?/font>
由数据库启动选项 –c, -cl, ?–ch参数控制使用RAM数量Q专门用来作元数据库d~存Q当数据库对象较多时Q徏议调大此数据?/font>
U程内存
U程内存在数据库启动时分配给数据库服务器Q用于线E的堆栈I间QȝI间数值按照公?#8220;stack size * IQ U程数量”计算Q数据库启动参数–iqtss定数据库的stack size大小单位KB。启动参?iqmt指定IQ可以使用的线E数量,最值是2*num_conn+1Q缺省值是Q?/font>
60*numCPU+2*num_conn+1
zd用户内存
每个Sybase IQ 用户对应一个连接进E,此进E大概需?10MBI间Q活动用h指到数据库的一个连接或执行的查询命令,q接到数据库而不zd的用户需要更的内存?/font>
表版本内?/font>
表版本内存在SybaseIQq行时分配,通常q类内存非常?每个被跟t的表版?KB?KB)Q通常为KB到MBQ但是当pȝ中存在成千上万的表版本时Q占用空间会比较大?/font>
数据加蝲内存
SybaseIQ在进行数据加载时Q分配内存提供数据加载性能Q通过数据库选项LOAD_MEMORY_MB讑֮Q缺省情况ؓ0Q表C堆内存的分配不受限Ӟ如果数据加蝲旉要更多内存,可能D数据加蝲耗尽虚拟内存Q降低数据加载性能Q一般徏议设定此选项Q其配置值可Ҏ加蝲数据的表宽进行如下计:
Load_Memory_MB = <表宽字节?gt; * 10,000 * 45 / 1024 / 1024
以下语句数据加载内存设|成300MBQ?/font>
SET OPTION PUBLIC.LOAD_MEMORY_MB = 300

数据库备份内?/font>
数据库备份内存的大小与CPU个数、备份的IQ存储和本地存储的数据库空间个敎ͼBLOCK的交错因子,IQ的BLOCK大小有关pR可以通过如下公式_略估计Q?/font>

y = max( 2 * cpu个数, 8 * number_of_main_or_local_dbspaces)
z = (y * 20 ) * ( block factor * block_size )
Z表示的是备䆾旉要的内存的虚拟估计|假设如下情况Q?
dbspaces = 50
block factor = 100
number of cpus = 4
block_size = 8,192
采用上面的公式和法Q数据库备䆾旉要的内存L是:
'y' is max(8, 400) è y=400
'z' is ( 400 * 20 ) * ( 100 * 8,192 ) è 6.5GB
备䆾内存来自操作pȝQ属于堆内存Q当备䆾操作完成后,内存释放。当I间充Ӟ唯一可以控制备䆾内存使用的是块的交错因子Q在前面的例子中Q如果交错因子变?0Q?ȝ备䆾内存需求将降低?55MBQ?/font>
( 400 * 20 ) * ( 10 * 8,192 ) è 655MB
在磁盘I/O不是瓉的情况下Q在数据库备份时降低内存减慢备份数度。数据库备䆾性能与磁盘子pȝI/O的读写块性能一_为减I/O的额外开销Q备份程序一ơI/O中读入连l的块,相应地按?#8220;块交错因?#8221;写这些块数据?/font>
通过“块交错因?#8221;可以减少备䆾内存Q增加可用的内存Q以此计数据库备䆾旉要的d存量?/font>
1.1.3.
数据库缓?/font>数据库缓存是操作pȝ内存中分配用来保存从数据库中d或者准备写入数据库的数据。SybaseIQ数据库缓存包括主存储~存和时存储缓存。参数设|可以通过数据库选项或者数据库启动配置文g?/font>
d储缓?/font>
用于~存数据库服务器从IQ存储中读取的数据Q供 IQ 数据表空间的数据~存使用Q所有用户均可用。较大的~存可以降低盘的IO以提升性能Q主存储~存在数据库启动时初始化Q缺省配|是16MBQ对于大多数应用来说太小Q修Ҏ参数配置需要重新启动数据库。一般将IQ服务器可以用的内存?0Q分配给SybaseIQd储缓存?/font>
临时存储~存
SybaseIQ临时存储~存用于数据查询时的表关联,分组Q排序和哈系法。数据加载时Q也需要较多的临时存储~存Q例如HG索引的管理、FP索引加蝲时的1个字节和2个字节的字典表等。较大的临时存储~存可以减少内存调度?/font>
d储缓存在数据库启动时初始化,~省配置?2MBQ对于大多数应用来说太小Q修Ҏ参数配置需要重新启动数据库。一般将IQ服务器可以用的内存?0Q分配给SybaseIQ的时存储缓存?/font>


]]>
数巨报表 PK Microstrategy报表http://www.tkk7.com/gf7/archive/2007/10/19/154279.html?/dc:creator>?/author>Fri, 19 Oct 2007 09:21:00 GMThttp://www.tkk7.com/gf7/archive/2007/10/19/154279.htmlhttp://www.tkk7.com/gf7/comments/154279.htmlhttp://www.tkk7.com/gf7/archive/2007/10/19/154279.html#Feedback5http://www.tkk7.com/gf7/comments/commentRss/154279.htmlhttp://www.tkk7.com/gf7/services/trackbacks/154279.html数巨报表和其它国产报表一P有一定的客户和口碑Q基本上自主研发了两q以上,h基本在万元左叟뀂数巨报表和如意报表cMQ都是用于拖拽式Q有一定的技术代表性。数巨报表品主要定位于中低端市场,以易用性、满中国用户需求、hg为目标,逐渐建立中低端市场客h意度Q毕竟这部分客户q是担心目的风险性?/p>

Microstrategy是国外品牌,在全球BI软g市场占用很大的䆾额,通过BI软g产品向中国高端市军。他们往往能与最l用L接签单,能给pȝ集成商和软g开发商带来丰厚的利润。Microstrategy报表软g的确功能强大Q提供了很多二次开发接口,能给用户解决很多实际问题Q但是h格昂贵不是一般客户可以接受的?/p>

q是本h的一点认识,不正的地方希望得到大家的指出?/p>
 
本h不是MicroStrategy的代理或原厂Q仅代表个h观点?br />     q两个品在我看来,不在一个层ơ上Q应用的范围和覆盖面也不相同Q是国软g比拼国外软g?br />     1.h斚wQ正如楼上说数巨报表h在万元左叻I而MSTR一个普通配|均?0万以上,从目前局势,MSTR厂家q一直在涨hq程中?br />     2.服务斚wQ外商只要收到钱Q服务还是满周到的,包括升、技术支持,但千万不要指望他们帮你开发什么东西(除非付钱或厂家有其他战略企图Q;国软gQ由于开发时间短Q资金投入不I所以BUG会多一些,厂家靠自q工程师来l护有些目?br />     3.技术方面:虽然老外挣钱比较黑,但东西还是好东西Q特别是MSTRQ本w就定位于高端品,在国内银行、电信、石油等大型企业的TBU数据仓库中Q经常被采纳和用。相反对于应用可有可无的政府、街道,用用国软gq可以拼凑着玩玩Q因些地Ҏ工具无工具不会对生造成影响?br />

    技术比拼应该以下几个方面进?br />     一、׾~?br />     MicroStrategy的第三代ROLAP架构Q在定w上很Ҏ能达到TBU或一个数据库q_能存储的数据量,q是通过以下方式实现的:反复地在优化的基于server的^台、数据库和MicroStrategy’s Intelligence Server中执行分析。根据定义,假定BIq_能够像MicroStrategy 那样产生高度优化的基于^台的SQLQ数据库技术不断扩展ƈ且将是一个理想的场所来完成大定w数据处理。MicroStrategy中的 Intelligence Server能进行多l分析,比如能利用各U各LOLAP函数Q执行那些不能被数据库高效率处理的cube-like slice and dice fully offloading analysis?br />     MicroStrategy 中的Intelligence Server是一个基于组件的应用服务器,提供了高度׾~性环境所具备的必要控制和应用pȝ理Q如下所qͼ
• 在理惛_^C完成多维分析处理Q通过Intelligence Server或数据库中的200多个分析库)
• 真正׃n的多U别的缓存完全与Intelligence Server中的安全模式q行了集?br /> • 通过q接池、粒状数据和应用控制来智能地理所有的用户Ҏ据库的连?br /> • 通过排队{候和U程理Q对所有请求动态分配优先权
• pȝ用法和性能调整工具
• 集理和负载均?br /> • 通过动态资源分配进行自我调整的l构使组件满负荷工作
    MicroStrategy是第一个认可主动信息传递需要的BI厂商。以1998q的Broadcaster产品为开端,q有q期新近命名的Narrowcast ServerQMicroStrategy使得通过各种媒体如:email、传真、呼机、手机,d传递高度个性化的相关信息成为可能。该功能是out of the boxq且不需要Q何定制代码。用户定制他们想收到的信息、条Ӟ例如数据中的异常或者是Z事g的标准和讑֤cd?br />     l构被设计成从MicroStrategy Intelligence Server和外部信息源中接受个性化的内宏V从多种来源中获得的信息可能会出现在MicroStrategy Narrowcast Server的输出结果当中。数据源的例子包括从ERPpȝ中获得的XML内容、从内容供给者和入口处获得的ICE内容Q或者其它的非关pd的内容如Q^面文件、图片等{。基于XML的结构确保了完善的内Ҏ制和对Q何当前或来存在的设备的适应性。Out of the boxQMicroStrategy Narrowcast Server使你能够以HTML、普通文本、或Excel的Ş式给M一个SMTP|关传送商业智能报告?br />     二、安全?br />     MicroStrategy满以下需求:MicroStrategy 9安全模式包含必要的广度和深度Q通过internet允许BI应用pȝ对员工、合作伙伴、供应商和顾客进行安全部|ӀMicroStrategy产品是通过以下方式实现其安全性的Q应用功能别的Ҏ的用、报表对象别上的访问控制列表、安全过滤器、连接映和在数据别上Ҏ据库视图的支持。另外,用户U别的安全是通过MicroStrategy与NT、WIN2003、LDAP的集成实现的Q传输别的安全是通过128位的SSL传输?28位数据加密或在web服务器上无数据库q接的双防火墙配|来实现的?br /> MicroStrategy Z配置文档的安全性能保了^台和传输体系中的每一部分都是安全的,都被严格理。另外,MicroStrategy对工业标准的安全度的实现确保了MicroStrategy的安全模型能与当前存在的M安全方式q行集成?br />     三、部|能力(包括l护能力Q?br />     MicroStrategy提供了desktop方式和web方式的集成的全功能性的BIQ完整的BI功能包括静态报表制作,报表分发Q查询和报表制作QOLAP分析Q集分析q且从一个集成的接口利用数据挖掘?br />     允许用户从一个单独的接口Q通过MicroStrategy Architect, MicroStrategy Agent ?MicroStrategy 服务器管理之间紧密的集成来进行设计、创建、维护、运行和监视分析?br />     四、分析能?br />     ׃MicroStrategyh能够以优化的方式存取TBU数据的能力Q用h权在他们的安全角色确定的适当的控制范围内使用整个数据仓库。虽然许多查询工兯够检索少量的sliceU别的数据,仅有MicroStrategy能够对可用的信息q行_深度和宽度的优化存取?br />     五、易?br />     MicroStrategy Web中的UHTML解决ҎQ得能通过M览器、在M操作pȝ上、穿qQ何防火墙被迅速存取。MicroStrategy Web提供了像完全互动地钻取引对{递增的获取、导航、{出到Excel、ad hoc报表创徏、排?分等U、表格和囑Ş方式、Q意旋转、报表提C等功能?br />     MicroStrategy Web中的Page-By提供了一个类似slice and dice 功能的cube。另外,MicroStrategy的互动处理是完全透明的?br />     六、性能
    MicroStrategy 以cube响应旉的方式提供了hROLAPl构的数据׾~性。这是MicroStrategy 通过动态地在所有别上优化性能、阻止瓶颈在BI环境中发生来实现的,如下所qͼ
    数据库处?br />     MicroStrategy利用数据库^台内在的优化Q通过高度优化的、能对生的SQLcd和优化提供粒状控制的数据库版本明的VLDB驱动E序Q进行大数据量处理和q一步提高整个数据库处理的效率?br />     MicroStrategy自动的aggregate table generation and advanced aggregate awareness意味着M要添加进数据库的聚合表被MicroStrategy SQL引擎自动地动态利用。其它的数据库构造自动地利用包括本地数据库函敎ͼ性能调节法和对像,MicroStrategy中的VLDB驱动E序包含大约60?br />     应用处理?br />     虽然MicroStrategy 中的Intelligence Server提供了大量的performance tuning aspectsQ然而它的主要目的是作ؓ经中枢Ҏ有处理资源进行有效的协调-保lg被正利用,在优化的q_q行的处理包括:
• 在内存中有多U缓存,自动提示
• 依靠hcd和可用资源,在数据库或应用服务器上反复处?br /> • 通过动态给蝲lg分配资源的自我调整的l构
• 聚类和动态的负蝲均衡
• 异步的处理能力保证能够在同一旉处理多个web客户端请?br />     数据传输
    MicroStrategy的ROLAP方式保证了在|络上只传输l果集。MicroStrategy把XML作ؓ信息传递的机制保证了只向web览器发送高效结果集。递增的Fetch保了请求结果行的数量在被需要的时候,从MicroStrategy Intelligence Server发送到web览器?br />     展示/本地desktop
    大多报表格式和数据操U在瘦客L完成。类gcube的数据操U如Page By{和其它的数据操U如数据排序是在本地完成的?br />     The MicroStrategy Narrowcast Server subscription portal也在关系l构中缓存HTML内容Q这主要是ؓ了允许narrowcast server subscription portal用户通过portal来浏览个性化的静态服务?br />
Max@X Analyser 5是新一代的报表与数据分析技术品。针对复杂应用环境下的数据Web报表展现与联机数据分析(OLAPQ而设计,重点在部|与集成、复杂表h持、特D需求适应、数据填报、OLAP 快速实施及可用性、服务器性能{方面进行了创造性的优化?br /> Max@X Analyser由四部分l成QWeb报表QReportsQ、联机数据分析(OLAPQ、服务器引擎QServer EngineQ、决{门PAnalyser PortalQ?nbsp;
可满Q何复杂样式需求的WEB报表设计模型QReportsQ?br /> 报表是数据分析的最基础形式Q也是应用最为广泛的数据表现形式。Max@X Analyser包含了一套功能强大且单易用的专业Web报表工具。除了解决传l工具已l涵盖的B/S架构报表制作、预览、打印及导出文g{方面外QMax@X Analyser更进一步,在复杂报表的设计处理、特D样式的扩展适应、v量数据的快速响应等斚wQ提供了更ؓ优越的性能表现?br /> 可直q多数据库的联机数据分析模型QOLAPQ?/font>
联机分析处理OLAP是Max@X Analyser的重要核心之一Q支持动态分析操作,侧重决策支持Qƈ提供直观易懂的查询结果。Max@X Analyser无需数据仓库Q也无需MW三方OLAP Server支持Q用户仅仅需要懂得数据库理知识Q就可以快速徏立OLAPpȝQ设计ƈ部vOLAP分析模型。Max@X Analyser联机分析功能不仅能进行数据汇?聚集Q徏立多l度的分析、查询和报表Q同时还提供切片、切块、下钅R上卷和旋{{数据分析功能,从而用户从更快、更易用的交互方式中获得收益?br /> 可集成、可独立部v的服务器引擎QServer EngineQ?/font>
服务器引擎是Max@X Analyser专门提供l集成用L服务器核心。服务器引擎的表现Ş式在Java下是一pdJAR文gQ在VS.NET下是一个Weblg。无论是JAVAq是VS.NET版本Q服务器引擎均可作ؓ应用E序的一个组成部分与应用E序q行集成Qƈ接受应用E序的授权等控制Q与应用E序׃n数据库连接池?br /> 100%免代码的快速部|发布应用门h务器QAnalyser Portal ServerQ?/font>
如果说我们可以把企业看做一枉机的话,那么决策门户服务器(Analyser Portal ServerQ就是这枉机的仪表及控制^台。Analyser Portal Server无需M代码Q根据hZ互的部v配置Q自动创建应用页面及控制q_Q包含了信息发布、信息共享、快速决{、Q务定制以及授权控制等功能前端应用Q与所有Max@X Analyser产品lg紧密兌。同Ӟ它是一个基于Web的应用^台。通过q个q_Q终端用户可以方便地完成数据分析、信息发布以及信息协同等d?br />  

我感觉大家对于两U品的讨论已经很充分了Q也详细的讨Z两种产品的功能和优缺炏V?/font>

的确Q两U品的定位不同Q针对的客户也不一P也没有必要非要评ZC孰劣Q应该说是各有千U?/font>

在技术方面:

MSTR作ؓBI软g的领导厂商之一Q通过一lY件品满BI领域的五大应用,分别是:

企业U报表——报表生成器用来生成很好的格式化的静态报表,q些报表q泛的向多数人发布?/font>

 立方体分析——基于立方体的BI工具向业务经理们提供单的切片和钻取分析能力?/font>

 L查询和分析——关pdOLAP(ROLAP)工具供超U用户对数据库进行Q意的讉KQ对整个数据库进行切片、钻取,从而分析到最l粒度的交易信息?/font>

 l计分析和数据挖掘——通过l计分析和数据挖掘工P可以使用各类模型q行预测或者寻找两个变量之间的因果相关性?/font>

 报表分发和预警——基于报表分发机Ӟ可以Ҏ订阅、调度或者数据库中的触发事g向大量的用户发送整个报表或者告警信息?/font>

从Y件׾~性来Ԍ它支持TBU的数据和百万的用P

在商务智能^台方面:它支持快速的集成Q丰富的业务分析手段和主动分发;

在适应互联|方面:它以UWeb界面、快速部|与单维护、全面的安全、高可靠和高性能著称?/font>

同样Q数巨作为后起之UQ以其优惠的hQ支持复杂报表的能力而获得用L青睐Q正如maxatx仁兄所介绍的一P作ؓ国软gQ它非常注重国h的特D需求,比如国内常见的异常负责的报表表头Q国外通常是很见的,而且国内企业在BI斚w的应用往往是刚刚v步,对于分析的需求多数还停留在报表方面,在这U情况下选择数巨是就成ؓ了一个性h比很高的选择?/font>

在h格方面,Ҏ需求的不同采购的模块不同h格差异较大,但从满基本的报表功能方面来比较QMSTR的h格通常在几十万q个量Q而数巨通常在几万到十几万这个区_如果单从h斚w来说Q数巨当然是占有较大优势了?/font>

在服务方面,作ؓ国外软gQ通常认ؓ其服务难以跟上,但MSTR已经q入国内市场多年Q拥有一支完备的代理商和技术服务队伍,因此从服务方面来讲还是有保障的,不过其服务hg不菲。而数巨作为国产YӞ当然发挥其本土优势,服务斚w应该是没的说的?/font>

MQ两UY件对应的是不同的客户,对于电信、银行等大数据量Q大讉K量,有复杂分析需求且资金充裕的行业,可以选择MSTR来满_Ҏ应用。而对于广大中企业,q没有太多的数据量和讉K量,分析需求又相对单以报表ZQ且对h格比较敏感的话,那么数巨成Z最好的选择?/font>

软g评分Q?/font>

MSTRQ技术:65Qh|5Q服务:20Qd90分?/font>

数巨Q技术:55Qh|10Q服?5Qd90分?/font>



]]>
[转]Reporting Services与相关品的比较http://www.tkk7.com/gf7/archive/2007/10/19/154275.html?/dc:creator>?/author>Fri, 19 Oct 2007 09:03:00 GMThttp://www.tkk7.com/gf7/archive/2007/10/19/154275.htmlhttp://www.tkk7.com/gf7/comments/154275.htmlhttp://www.tkk7.com/gf7/archive/2007/10/19/154275.html#Feedback0http://www.tkk7.com/gf7/comments/commentRss/154275.htmlhttp://www.tkk7.com/gf7/services/trackbacks/154275.html

Microsoft SQL Server 2000报表服务是服务器端的完整q_Q它对传l纸面报表以及可交互的基于Web的报表都可以q行建立、管理和发布。它是微软已有的商业与数据仓库解x案品——Microsoft Office、Microsoft Business Solutions与Microsoft SQL Server的有益补充?br />
Microsoft Office Web ComponentQOWCQ包含在Microsoft Office 2000以后的品中。在使用Microsoft Internet Explorer览包含Office Weblg的Web|Q您可以直接在Internet Explorer中处理显C的数据Q如Ҏ据进行排序和{选,输入新的数|展开和折叠明l数据,q行行列旋{以查看源数据的不同汇M息等。由于Office Weblg是完全可~程的,可以在很多设计环境中使用q些lg来徏立复杂的、交互的和基于Web的解x案。这些设计环境包括Microsoft FrontPage、Microsoft Access数据讉K以及Microsoft Visual Basic。您也可以用最的设计讄直接在Microsoft Excel中发布这些Office Weblg?br />
W者根据所参与的项目及以前的应用经验,对Microsoft SQL Server Reporting Services、OWC和Microsoft SQL Serverl成的微软企业报表解决Ҏ与相关品的解决Ҏ作了一个简单比较?

与Cognos公司产品的比?/strong>
Cognos的品简?br /> Cognos公司的品Cognos Suite是由一pd的功能模块组合而成的套Ӟ包括ImpromptU、Powerplay和Scenario{模块?br /> Impromptu提供查询、报表功能,针对关系型数据。可以将Powerplay的数据Ş成报表,q是Cognos公司的集成。Impromptu Web ReportsQWRQ在Web上ؓ大量报表用户提供易于打印的管理报表。用户可以订阅已发布报表Q对其进行定制来满特定的需要?br /> Powerplay提供OLAP分析功能Q针对多l数据PowerCubeQCognos定义的多l数据结构)。在Powerplay中可以钻取到Impromptu中。这是Cognos公司的集成?br /> TransformerImpromptu及其他数据源中的数据形成PowerCubeQ以备Powerplay使用。Scenari是数据挖掘工兗?Thought是采用神l网l技术的建模与预模块?/p>

Cognos报表解决Ҏ与Reporting Services的不同点Cognos的解x案不是集成的产品Q将查询、报表作一个工P分析作一个工PCognos的理由是先分析再做表Q;没有cM于Designer的专门设计模块,在Impromptu模块中完成数据库的连接与catalog的定义,因此Impromptu的用要求用户具备数据库专业知识Q没有对报表的集中管理、分发和调配的功能。目前引q中国的只有Impromptu、Powerplay?/p>

Reporting Services的特?/strong>
1QReporting Services是集查询、报表和分析于一体的产品Q只需学习一个工L使用、在一个界面上操作Q易用性强。符合查询、分析、再查询、再分析循环往复的决策思维方式Q?Impromptu和Powerplay所使用的数据层不同Q不能共用,Powerplay使用的多l数据由其它模块生成Q是静态的多维立方体,l的改变需切换到其它模块?br /> 2QReporting Services的几大模块在SQL Server数据库引擎的理下Ş成一个统一完整的系l,hl一的用户与资源理Q安全性高?br /> 3Q文档共享方面,Reporting Services提供输出多种格式或Email{多U方式?br /> 4QReporting Services?2位结构,Impromptu?6位结构。数据量大时Q用Impromptu不稳定,会出现死机等?/p>

与SAS的比?/strong>
SAS?br /> SAS以统计分析Y件包起家Q在l计分析斚w具备很强实力。发展到现在QSAS成ؓ一个包含许多模块与功能的庞大的软g包,有两U用方式:一是直接用一些应用模块对存于SAS自己数据库中的数据进行多U多Ll计分析Q这些应用模块包括统计分析STAT、胦务分析ETS、运{学OR{等。利用这些模块要求用户具备较高的数学其是统计分析专业知识,同时要具备较高的计算机操作能力。而且如果数据存在其它数据源中Q需要利用SASq行预先转换Q这需要用户具备数据库专业知识。二是用户单位的计算Zh员利用SAS的若q模块编E,为最l用h供特定的应用pȝ。这样做的优Ҏ可以为最l用h供所要求的简便界面,但对技术h员的要求很高Q培训时间也很长Q而且灉|性差Q一旦用户需求有改变Q需要重新编E。SASҎ据的处理能力很强Q但需要用户长旉的培训才能应用v来?/p>

SAS与微软的企业U报表解x案的比较
SAS与微软的企业U报表解x案不是同cM品?br /> 1Q易用性相差很大,从而面向的用户对象不同
SAS功能很多Q提供算法很多,因此易用性差Q要求用户具备很扎实的数学基、统计分析基和计机基础?br /> 2Q若利用SAS开发一套系l,优势是脓切需求,但对应用需求的提出、开发、实施和相关厂商的技术支持要求很高,q且开发系l的开放性、稳定性、可UL性、灵zL上比商业Y件要差,其国内现阶D늚开发手D늛Ҏ较落后?br /> 与Pilot产品的比?br /> Pilot公司的品包含服务器端和客户端,其服务器端的产品是多l数据库。客L产品功能与Microsoft SQL Server Reporting Services怼Q有如下不同之处Q?br /> lQMicrosoft SQL Server Reporting Services不但支持关系型数据,而且支持来自W三方的多维数据。而Pilot的客L产品只支持自己格式的多维数据。因此关pd数据用户必须先将数据导入Pilot的多l数据库中。用户工作量很大Q相当于重新建立多维数据库,q样不如选择其它产品构徏数据仓库Q以Reporting Services做前端展现?br /> 2QPilot的多l数据的l的改动很难Q不灉|?br /> 3QPilot客户端品的易用性差Q需要编E,工作量大Q后期维护难?/p>

与Oracle公司产品的比?/strong>
Oracle公司的Discoverer与Reporting Services功能q似Q但两者也有一些区别?br /> Reporting Services支持的数据源更ؓq泛Q可以是数据仓库Q也可以是大型关pL据库?Sybase、Oracle、Informix、SQL Server、DB2Q单机数据库如Access、Foxpro、dBase{,多维数据库如Essbase、ExpressQ常用应用Y件如SAP RQ?、Peoplesoft或Oracle的一些常用应用Y件包Q数据文件如Excel、TXT文g{,只要有相应的驱动卛_?br /> Discoverer 3是针对关pL据库的,不适用于数据仓库和多维数据库,即对Oracle自己的多l数据库Express也不支持?br /> Reporting Services对Oracle、SQL Server数据库有内部直接q接Q其他较为流行的大型数据库Sybase、Informix、DB2可以通过OLEDBq接。Discoverer 3只能通过ODBC与数据库q接Q因此查询数据的速度相对较慢?br /> Discoverer 3不能在一个文件中同时用表和统计图表示数据?br /> Discoverer 3不能在统计图上对数据q行d?br /> Discoverer 3的安全控制弱Q不能定义用户及用户l的不同描述文gQ既不能对哪些用户用哪些模块进行控Ӟ也不能对一些敏感数据进行进一步的控制。而Reporting Services可以Ҏ个报表运行系l进行管理,Ҏ限及某些数据q行控制?br /> Reporting Servicesq可以对报表集中分发、管理。例如用户可以规定刷新和发送报表的旉Q如每小时、每天、每周、每月等h发送一ơ,或在现定旉只发送一ơ。通过一些简单的属性设|,q可以发送报表到Web面上,q定时刷新。Discoverer 3没有Ҏ表文件的集中批处理?br /> Discoverer3可以文件{为HTML格式Q但不支持定时刷新?/p>

与Seagate公司产品的比?/strong>
公司?br /> 希捷公司由Alan Shugart创徏?979q_最初主要生产数据存储设备,在随后的发展q程中,逐渐q件设备厂商扩展ؓ“数据技术公?#8221;?994?997q间Q相l收购了Crystal ServiceQCrystal ReportQCrystal Info产品的创建公司)、Holistic SystemsQHolos OLAP Server产品的创建公司){公司来扩展其Y件品系列?/p>

解决Ҏ
产品U:
Seagate Info——包括查询、报表和多维分析Q以及安全管理,其中包含Seagate Analysis模块Q支持多U关pd数据、多l数据库Q?br /> Seagate Analysis——提供查询、报表和多维分析Q?br /> Seagate Crystal Reports——报表制作工P提供查询、报表功能和API接口Q可以在开发工具中集成Q?br /> Seagate Holos——OLAP Server?/p>

相关比较
Seagate Info没有语义层技术,无论是用Seagate Infoq是Crystal ReportsQ都需要让用户自己从数据库选择表,构造SQL语句Q因此用户必M解数据库技术?br /> Crystal Reports主要是ؓ专业计算Zh员提供的报表制作工具Q有较强的二ơ开发能力,因此它作为报表工L件曾被集成到多种开发工具和应用E序中,如Microsoft Visual Studio.NET。但考虑到相关的使用许可QCrystal Reports是一个相Ҏ늚选择?/p>

与MicroStrategy公司产品的比?/strong>
MicroStrategy公司由Michael JQSavior创徏?989q_最初主要是作ؓ一家决{支持领域的咨询公司Q在随后的发展过E中Q于1993q推ZW一个品包QMicroStrategy AgentQ以后相l推Zpd产品QMicroStrategy Web、MicroStrategy Broadcaster、MicroStrategy Telecaster{,现新产品包称为MicroStrategy7Q致力于提供面向个性化的电子商务智能解x案?/p>

MicroStrategy解决Ҏ的品线包括Q?/strong>
MicroStrategy Intelligence Server——整个品中的核心品,多层体系l构下的中间应用服务器,为各U前端应用提供中间应用层能力?br /> MicroStrategy Web——Web体系下的应用服务器,提供ZWeb体系下的查询、电表格和多维分析能力?br /> MicroStrategy Agent——数据挖掘、应用开发工P提供API接口?br /> MicroStrategy InfoCenter——企业报表、门户工兗?br /> MicroStrategy Architect——商业对象抽象层设计工具?br /> MicroStrategy Desktop——MicroStrategy Agent、MicroStrategy Architect和MicroStrategy Administration Utility的集成化应用环境

MicroStrategy有较q语义层技术,UCZ业商业体p,但能力比较弱Q无法支持复杂的语义表达?br /> 前端工具MicroStrategy Desktop的易用性较差,Businessobjects是唯一在决{支持工具中获得Microsoft office兼容认证的品,易用性同OfficecMQ同时支持Microsoft VBA二次开发技术?br /> 前端工具MicroStrategy Desktop对灵zL询支持较弱?br /> MicroStrategy不具备企业特征Q对企业U报表制作、企业信息共享与分发、企业l护与管理支持较弱,理复杂?br /> MicroStrategy整个产品学习和用较为困难,需要更多的技术支持?br /> Reporting Services有支持XML的designer和应用模板(WizardQ,使得用户只需按照自己的需求稍做调_可以达到应用效果,MicroStrategy没有提供cM能力?br /> MicroStrategy采用了N-tier体系l构Q在构架的灵zL上与微软的企业U报表解x案相?/p>



]]>
商业q_研究 (? ETL 选型http://www.tkk7.com/gf7/archive/2007/08/30/141356.html?/dc:creator>?/author>Thu, 30 Aug 2007 05:52:00 GMThttp://www.tkk7.com/gf7/archive/2007/08/30/141356.htmlhttp://www.tkk7.com/gf7/comments/141356.htmlhttp://www.tkk7.com/gf7/archive/2007/08/30/141356.html#Feedback0http://www.tkk7.com/gf7/comments/commentRss/141356.htmlhttp://www.tkk7.com/gf7/services/trackbacks/141356.html商业q_研究 (? ETL 选型
ETL (Extract-Transform-Load的羃写,x据抽取、{换、装载的q程)作ؓBI/DWQBusiness IntelligenceQ的核心和灵,能够按照l一的规则集成ƈ提高数据的h|是负责完成数据从数据源向目标数据仓库转化的过E,是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图Q数据是砖瓦的话Q那么ETL是大厦的过E。在整个目中最N分是用户需求分析和模型设计Q而ETL规则设计和实施则是工作量最大的Q约占整个项目的60%?0%Q这是国内外从众多实践中得到的普遍共识?br>
ETL工具从厂商来分ؓ两种,一U是数据库厂商自带的ETL工具,Oracle warehouse builder 是q种,另外一U是W三方工h供商.开源世界也有一大票的ETL工具,功能各异,强弱不一,你可以从一下地址扑ֈ开源ETL工具的列?http://www.manageability.org/blog/stuff/open-source-etl/view  , 提醒一?选用工具的时候要慎重,真的,千万要慎?不管你是选用商业的ETL工具(一般比较贵),q是开源的工具,都要在你充分了解产品的特性才去选择,千万不要听某某h说什么这个工具好,pC那个工具,一定要自己了解产品.

开源的ETL工具的列?(排名是ؕ排的)
kettle  http://kettle.pentaho.org/  ,pentaho官方的ETL工具,是一个metadata-driven 的ETL工具,不需要自己写code .
talend  http://www.talend.com/    talend是talend自己公司的?宣传的是全功能的Data Integration 解决Ҏ,Zeclipse q_,包括很多的模块来实现商业程建模,数据程建模,最后输出的是perl ?Java code
jasperETL  http://www.jaspersoft.com/   JasperETL是基于talend的^?不太清楚有什么区?jaspersoft开发的ETL产品.
Octopus   http://www.enhydra.org/tech/octopus/index.html    octopuc是enhydra 的一个ETL工具,enhydra是一个品跨度非常大的开源站?它有个开源的Workflow ,Shark ,pentaho是使用的这个Workflow ,q个l织从workflow 到application server , 从ETL工具到application framework ,q有一些其他的中间?octopus非常的原?支持M的JDBC数据?用XML语言来定义的.也支持JDBC-DOBC ,和excel ?access ,csv-files, XML files ,用Ant ?JUnit 来创和测?
CloverETL http://cloveretl.berlios.de/   CloverETL是提供给你一lAPI,用XML来定义ETLq程,同样支持JDBC数据? CloverETL是开源的,但是它是没有囑Ş界面?它提供一个有囑Ş界面的CloverGUI 来进行ETL的图形化开发过E?但是不是开源的,需要购买商业许可证.
KETL   http://www.ketl.org/    听说是几个前IBM员工做出来的ETL产品,
另外q有很多.不一一写介l了,只列个表?
Joost        http://joost.sourceforge.net/    最q有个web2.0 |站也叫Joost,名字相同而已.
Xineo        http://software.xineo.net/xil.jspx
BabelDoc        http://sourceforge.net/projects/babeldoc
CB2XML        http://sourceforge.net/projects/cb2xml
mec-eagle        http://sourceforge.net/projects/mec-eagle/
Transmorpher        http://transmorpher.inrialpes.fr/
XPipe        http://xpipe.sourceforge.net/Articles/Miscellaneous/fog0000000018.html
DataSift        http://www.datasift.org/
Xephyrus Flume        http://www.xephyrus.com/flume/flume-intro.Prlx
Smallx        https://smallx.dev.java.net/
Nux        http://dsd.lbl.gov/nux/index.html
Netflux        http://www.netflux.org/
OpenDigger       https://opendigger.dev.java.net/
ServingXML        http://servingxml.sourceforge.net/
Scriptella        http://scriptella.javaforge.com/
ETL Integrator        http://www.glassfishwiki.org/jbiwiki/Wiki.jsp?page=ETLSE
Jitterbit        http://www.jitterbit.com/
Apatar        http://www.apatar.com/
Spring Batch       http://static.springframework.org/spring-batch/

大多数站炚w是在sf.net上的.其中最后一个是Spring?大名鼎鼎的Spring 也往ETL插一?实在?.........
Ҏtalend官方介绍的数?ETL工具的市Z额在2006好像是有160多亿元.׃BI目的成?ETL的这一市场份额q会扩大,q也不难理解,Z么这么多的公叔R在做ETL工具?开源世界也免不了想要分一杯羹.再次废话一?开源的东西你可以免费得到和使用,但是当你惛_用到企业U开发的时?省钱可不是唯一应该考虑的因?q是那句?慎重呀慎重.

下一介lBI的基本概?


]]>
开源BIpȝq?/title><link>http://www.tkk7.com/gf7/archive/2007/08/28/140613.html</link><dc:creator>?/dc:creator><author>?/author><pubDate>Tue, 28 Aug 2007 10:09:00 GMT</pubDate><guid>http://www.tkk7.com/gf7/archive/2007/08/28/140613.html</guid><wfw:comment>http://www.tkk7.com/gf7/comments/140613.html</wfw:comment><comments>http://www.tkk7.com/gf7/archive/2007/08/28/140613.html#Feedback</comments><slash:comments>0</slash:comments><wfw:commentRss>http://www.tkk7.com/gf7/comments/commentRss/140613.html</wfw:commentRss><trackback:ping>http://www.tkk7.com/gf7/services/trackbacks/140613.html</trackback:ping><description><![CDATA[<p class=MsoNormal align=center><a name=_Toc146945204><strong><span><font color=#000000>开?/font></span></strong></a><span><strong><span lang=EN-US>BI</span></strong></span><span><strong><span>pȝq?/span></strong></span><span></span><strong><span lang=EN-US><o:p></o:p></span></strong></p> <p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p> <h1><span lang=EN-US><span>1.<span Times New Roman?; font-size-adjust: none; font-stretch: normal?>   </span></span></span><span>概述</span></h1> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">开源的</span><span lang=EN-US>BI</span><span>目在在</span><span lang=EN-US>2005</span><span>q之前ƈ没有太大的发展,C</span><span lang=EN-US>2005</span><span>q才开始呈现繁荣之势,q在</span><span lang=EN-US>2006</span><span>q蓬勃发展。这些众多的</span><span lang=EN-US>BI</span><span>目从规模和?/span><span lang=EN-US>BI</span><span>pȝ支撑的完善程度上来说Q大体可以分?/span><span lang=EN-US>Framework</span><span>?/span><span lang=EN-US>Stand-alone Tools</span><span>?/span><span lang=EN-US>BI Suit</span><span>三种cd?/span></p> <p class=MsoNormal><span lang=EN-US style="FONT-FAMILY: wingdings"><span>l<span Times New Roman?; font-size-adjust: none; font-stretch: normal?>         </span></span></span><span lang=EN-US>Framework</span></p> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">开源框Ӟq是在商?/span><span lang=EN-US>BI</span><span>pȝ中所没有的。我们可以用它们来构徏自己?/span><span lang=EN-US>BI</span><span>工具Q或者增强和扩展我们?/span><span lang=EN-US>BI</span><span>解决Ҏ?/span></p> <p class=MsoNormal><span lang=EN-US style="FONT-FAMILY: wingdings"><span>l<span Times New Roman?; font-size-adjust: none; font-stretch: normal?>         </span></span></span><span lang=EN-US>Stand-alone Tools</span></p> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">独立?/span><span lang=EN-US>BI</span><span>工具Q这是开源项目中数量最多的一cR很多工具只侧重</span><span lang=EN-US>BI</span><span>pȝ中的某个环节和方面,?/span><span lang=EN-US>ETL</span><span>?/span><span lang=EN-US>Report</span><span>?/span><span lang=EN-US>OLAP</span><span>?/span><span lang=EN-US>Database</span><span>{等?/span></p> <p class=MsoNormal><span lang=EN-US style="FONT-FAMILY: wingdings"><span>l<span Times New Roman?; font-size-adjust: none; font-stretch: normal?>         </span></span></span><span lang=EN-US>BI Suit</span></p> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">在统一的架构下提供了多U?/span><span lang=EN-US>BI</span><span>pȝ的特性的工具集合。就目前的情늜Q不是商业软gq是开源YӞq没有Q何一个套件提供了完整的端到端?/span><span lang=EN-US>BI</span><span>解决Ҏ。这些开源的</span><span lang=EN-US>BI Suit</span><span>是通过q接多个其他的组件和工具的方式Ş成套件的Q由?/span><span lang=EN-US>BI</span><span>pȝ涉及到的工具是非常多的,所以整合一套完整的</span><span lang=EN-US>BI</span><span>解决Ҏ是很困难的?/span></p> <p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p> <h1><a name=_Toc146945205><font color=#000000><span lang=EN-US><span>2.<span Times New Roman?; font-size-adjust: none; font-stretch: normal?>   </span></span></span><span lang=EN-US>BI</span></font></a><span><span>解决Ҏ中的工具</span></span></h1> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">一个完整的</span><span lang=EN-US>BI</span><span>解决Ҏ中有多种工具来完?/span><span lang=EN-US>BI</span><span>pȝ中各个阶D늚工作?/span></p> <h2><a name=_Toc146945206><font color=#000000><span lang=EN-US><span><font face=Arial>2.1.</font><span Times New Roman?; font-size-adjust: none; font-stretch: normal?> </span></span></span><span lang=EN-US><font face=Arial>ETL</font></span></font></a><span><span>工具</span></span></h2> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">数据抽取、{换和加蝲工具。优U?/span><span lang=EN-US>ETL</span><span>工具应该h以下Ҏ:</span></p> <p class=MsoNormal><span lang=EN-US><span>1?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>Workflow Management, Job Execution and Scheduling Manager</span><span>。能方便地定义流Eƈ自动化执?/span><span lang=EN-US>ETL</span><span>d?/span></p> <p class=MsoNormal><span lang=EN-US><span>2?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>Centralized Metadata Repository and Management</span><span>。集中存储和理W合业界标准的元数据?/span></p> <p class=MsoNormal><span lang=EN-US><span>3?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>Data Profile and Validation</span><span>。可以检验数据的质量?/span></p> <p class=MsoNormal><span lang=EN-US><span>4?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>High Performance</span><span>。在大负Ld执行中仍然有良好的性能?/span></p> <p class=MsoNormal><span lang=EN-US><span>5?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>Scalable, Platform Independent</span><span>。具有良好的Ҏ,支持多种操作pȝ和数据库pȝQ能操作多种异构的数据源?/span></p> <p class=MsoNormal><span lang=EN-US><span>6?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>Open Architecture and API</span><span>。具有开攄架构和易于用的二次开发接口?/span></p> <p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">目前较ؓ知名的开?/span><span lang=EN-US>ETL</span><span>工具有:</span></p> <p class=MsoNormal><span lang=EN-US><span>1?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US><a ><font color=#0066aa><u>KETL</u></font></a></span><span>Q由h</span><span lang=EN-US>IBM</span><span>?/span><span lang=EN-US>KPMG</span><span>背景?/span><span lang=EN-US>Kinetic Networks</span><span>公司开发,现在已经有三q多的品应用历Ԍ成功应用于一些品中Q在点击(</span><span lang=EN-US>ClickStream</span><span>Q分析应用中表现?/span><span lang=EN-US>KETL</span><span>采用</span><span lang=EN-US>Plug-in</span><span>的架构,使用</span><span lang=EN-US>Java</span><span>开发?/span></p> <p class=MsoNormal><span lang=EN-US><span>2?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US><a ><font color=#0066aa><u>KETTLE</u></font></a></span><span>Qؓ一个元数据驱动?/span><span lang=EN-US>ETL</span><span>工具。已l加?/span><span lang=EN-US>Pentaho</span><span>?/span></p> <p class=MsoNormal><span lang=EN-US><span>3?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US><a ><font color=#0066aa><u>Clover ETL</u></font></a></span><span>Qؓ一个基?/span><span lang=EN-US>Java</span><span>?/span><span lang=EN-US>ETL Framework</span><span>Q可以用来开发自q</span><span lang=EN-US>ETL</span><span>应用?/span></p> <p class=MsoNormal><span lang=EN-US><span>4?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US><a ><font color=#0066aa><u>Enhydra Octopus</u></font></a></span><span>Qؓ一个基?/span><span lang=EN-US>Java</span><span>?/span><span lang=EN-US>ETL</span><span>工具Q?/span><span lang=EN-US>JDBC</span><span>来连接各U数据源Q易于用和部v。曾有h应用于电信网l资源分析系l中?/span></p> <h2><a name=_Toc146945207><font color=#000000><span lang=EN-US><span><font face=Arial>2.2.</font><span Times New Roman?; font-size-adjust: none; font-stretch: normal?> </span></span></span><span>报表工具</span></font></a></h2> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">优秀的报表工具通常h以下Ҏ:</span></p> <p class=MsoNormal><span lang=EN-US><span>1?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>支持多种数据源?/span></p> <p class=MsoNormal><span lang=EN-US><span>2?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>直观的可视化设计器,单易用的报表定制功能?/span></p> <p class=MsoNormal><span lang=EN-US><span>3?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>方便的数据访问和格式化,丰富的数据呈现方式?/span></p> <p class=MsoNormal><span lang=EN-US><span>4?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>W合数据呈现的通用标准Q能和应用程序很好地q行l合?/span></p> <p class=MsoNormal><span lang=EN-US><span>5?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>易于扩展和部|Ӏ?/span></p> <p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">目前较ؓ知名的开源报表工hQ?/span></p> <p class=MsoNormal><span lang=EN-US><span>1?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US><a target=_new><font color=#0066aa><u>JasperReports</u></font></a></span><span>Q一个优U?/span><span lang=EN-US>Java</span><span>报表工具Q始?/span><span lang=EN-US>2001</span><span>Q现?/span><span lang=EN-US>JasperSoft</span><span>公司持箋开发和支持该工兗该工具cM于商业Y?/span><span lang=EN-US>Crystal Report</span><span>Q支?/span><span lang=EN-US>PDF</span><span>?/span><span lang=EN-US>HTML</span><span>?/span><span lang=EN-US>XLS</span><span>?/span><span lang=EN-US>CSV</span><span>?/span><span lang=EN-US>XML</span><span>文g输出格式Q现在是</span><span lang=EN-US>Java</span><span>开发者最常用的报表工兗?/span></p> <p class=MsoNormal><span lang=EN-US><span>2?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US><a target=_new><font color=#0066aa><u>OpenReports</u></font></a></span><span>Q提供基?/span><span lang=EN-US>web</span><span>的灵zL表解x案,通过览器自动生成动?/span><span lang=EN-US>PDF,XLS,HTMLCSV </span><span>?/span><span lang=EN-US>Chart</span><span>报表Q它是用</span><span lang=EN-US>Java</span><span>开发的Q?/span><span lang=EN-US>JasperReports </span><span>作ؓ报表引擎Q利用到的开源技术有</span><span lang=EN-US>Hibernate,Veloctiy,Webwork</span><span>?/span></p> <p class=MsoNormal><span lang=EN-US><span>3?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US><a target=_new><font color=#0066aa><u>JFreeReport</u></font></a></span><span>Q现在是</span><span lang=EN-US>Pentaho</span><span>的一部分Q它是一个优U的用来生成报表的</span><span lang=EN-US>Java</span><span>cd。它?/span><span lang=EN-US>Java</span><span>应用E序提供一个灵zȝ打印</span> <span>功能q支持输出到打印机和</span><span lang=EN-US>PDF, Excel, HTML</span><span>?/span><span lang=EN-US>XHTML, PlainText, XML</span><span>?/span><span lang=EN-US>CSV</span><span>文g中?/span></p> <p class=MsoNormal><span lang=EN-US><span>4?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US><a target=_new><font color=#0066aa><u>Eclipse BIRT</u></font></a></span><span>Q是</span><span lang=EN-US>Eclipse</span><span>下面的一个企业智能和报表</span> <span>工具Q能?/span><span lang=EN-US>J2EE</span><span>?/span><span lang=EN-US>WEB</span><span>应用E序创徏漂亮醒目?/span><span lang=EN-US>PDF</span><span>或?/span><span lang=EN-US>HTML</span><span>格式的报表,它提供了核心的报表功能?/span></p> <h2><a name=_Toc146945208><font color=#000000><span lang=EN-US><span><font face=Arial>2.3.</font><span Times New Roman?; font-size-adjust: none; font-stretch: normal?> </span></span></span><span lang=EN-US><font face=Arial>OLAP</font></span></font></a><span><span>工具</span></span></h2> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">联机分析处理工具。目前开源的</span><span lang=EN-US>OLAP</span><span>工具也分?/span><span lang=EN-US>MOLAP</span><span>?/span><span lang=EN-US>ROLAP</span><span>?/span><span lang=EN-US>HOLAP</span><span>Q优U?/span><span lang=EN-US>OLAP</span><span>工具通常有以下特性:</span></p> <p class=MsoNormal><span lang=EN-US><span>1?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>良好的执行性能Q能快速地q行分析处理工作?/span></p> <p class=MsoNormal><span lang=EN-US><span>2?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>良好的适用性和可׾~性?/span></p> <p class=MsoNormal><span lang=EN-US><span>3?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>开攑ּ接口和丰富的</span><span lang=EN-US>API</span><span>?/span></p> <p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">目前较ؓ知名的开?/span><span lang=EN-US>OLAP</span><span>工具有:</span></p> <p class=MsoNormal><span id="ndl9fld" class=style7><span lang=EN-US><span>1?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span></span><span lang=EN-US><a target=_new><font color=#0066aa><u>Mondrian</u></font></a></span><span>Q是</span><span lang=EN-US>Pentaho</span><span>的一部分Qؓ一个用</span><span lang=EN-US>Java</span><span>开发的</span><span lang=EN-US>OLAP</span><span>服务器,<span id="rb9z9th" class=style7>实现?/span></span><span id="tfp5nxx" class=style7><span lang=EN-US>MDX</span></span><span id="jd99bhb" class=style7><span>语言?/span><span lang=EN-US>XML</span></span><span id="lndphz3" class=style7><span>解析?/span><span lang=EN-US>JOLAP</span></span><span id="79jphx9" class=style7><span>规范Q可以不?/span><span lang=EN-US>SQL</span></span><span id="rbhjrpt" class=style7><span>p分析存储?/span><span lang=EN-US>SQL </span></span><span id="rfn9vxx" class=style7><span>数据库的庞大数据集,可以装</span><span lang=EN-US>JDBC</span></span><span id="7d39rhz" class=style7><span>数据源ƈ把数据以多维的方式展现出来?/span><span lang=EN-US><o:p></o:p></span></span></p> <p class=MsoNormal><span lang=EN-US><span>2?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US><a target=_new><font color=#0066aa><u>JPivot</u></font></a></span><span>Q?span class=style7>是一?/span></span><span id="vphhpfh" class=style7><span lang=EN-US>JSP </span></span><span id="zjjjb9p" class=style7><span>自定制的标签库,可以l制一?/span><span lang=EN-US>OLAP</span></span><span id="pzjrbdb" class=style7><span>表格和图表。用户可以执?/span> </span><span id="hjjtbrj" class=style7><span>典型?/span><span lang=EN-US>OLAP</span></span><span id="zldffvh" class=style7><span>DQ如下钻Q切片和方块。它使用</span><span lang=EN-US>Mondrian </span></span><span id="5dfpfxd" class=style7><span>作ؓ?/span><span lang=EN-US>OLAP</span></span><span id="nhpx79p" class=style7><span>服务器。它使用</span><span lang=EN-US>WCF (Web Component Framework) </span></span><span id="zvvlfhp" class=style7><span>Q基?/span><span lang=EN-US>XML/XSLT</span></span><span id="v9pfpxn" class=style7><span>来渲?/span><span lang=EN-US>Web UI</span></span><span id="jxfffnd" class=style7><span>lg?/span><span lang=EN-US>JPivot</span></span><span id="7nnfxfn" class=style7><span>在元数据~存斚w的过于简化的整体性初始化装蝲的做法将限制它只能处理很的立方体(</span><span lang=EN-US>Cube</span></span><span id="7tbbr9h" class=style7><span>Q?/span></span></p> <h2><a name=_Toc146945209><font color=#000000><span lang=EN-US><span><font face=Arial>2.4.</font><span Times New Roman?; font-size-adjust: none; font-stretch: normal?> </span></span></span><span>数据?/span></font></a></h2> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">开源的数据库也有很多,大多Cؓ关系型数据库Q少Cؓ应用于数据仓库环境做了专门的优化工作?/span><span lang=EN-US>Bizgres</span><span>?/span><span lang=EN-US>PostgreSQL</span><span>为基q行了数据仓库环境下的优化,提高了分析查询性能?/span></p> <h1><a name=_Toc146945210><font color=#000000><span lang=EN-US><span>3.<span Times New Roman?; font-size-adjust: none; font-stretch: normal?>   </span></span></span><span>开?/span><span lang=EN-US>BI</span></font></a><span><span>套g</span></span></h1> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">下面列出相对成熟和完_q且有借鉴意义的开?/span><span lang=EN-US>BI</span><span>套g?/span></p> <h2><a name=_Toc146945211><font color=#000000><span lang=EN-US><span><font face=Arial>3.1.</font><span Times New Roman?; font-size-adjust: none; font-stretch: normal?> </span></span></span><span lang=EN-US><font face=Arial>Bizgres</font></span></font></a></h2> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">?/span><span lang=EN-US>GreenPlum</span><span>公司d的开源项目,?/span><span lang=EN-US>Sun</span><span>公司达成合作关系?/span><span lang=EN-US>Bizgres</span><span>?/span><span lang=EN-US>BI</span><span>应用而对</span><span lang=EN-US>PostgreSQL</span><span>做了优化Q提高了大负Lq行计算能力Q在</span><span lang=EN-US>BI</span><span>环境中,相对于普通的关系型数据库h卓越的数据处理性能?/span><span lang=EN-US>Bizgres</span><span>的数据库q_可以?/span><span lang=EN-US>KETL</span><span>?/span><span lang=EN-US>JasperReports</span><span>q行整合Q从而Ş成一?/span><span lang=EN-US>BI</span><span>套gQ?/span></p> <p class=MsoNormal><span lang=EN-US><span>1?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>数据库:</span><span lang=EN-US>BI</span><span>专业数据?/span><span lang=EN-US>Bizgres</span><span>Q或者大型应用中的高性能服务?/span><span lang=EN-US>Bizgres MPP</span><span>Q能比普通关pL据库?/span><span lang=EN-US>20</span><span>?/span></p> <p class=MsoNormal><span lang=EN-US><span>2?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>ETL</span><span>工具Q?/span><span lang=EN-US>KETL</span></p> <p class=MsoNormal><span lang=EN-US><span>3?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>报表工具Q?/span><span lang=EN-US>JasperReports</span></p> <h2><a name=_Toc146945212><font color=#000000><span lang=EN-US><span><font face=Arial>3.2.</font><span Times New Roman?; font-size-adjust: none; font-stretch: normal?> </span></span></span><span lang=EN-US><font face=Arial>Openi</font></span></font></a></h2> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">是一?/span><span lang=EN-US>Java</span><span>开发的</span><span lang=EN-US>Web</span><span>应用Q能?/span><span lang=EN-US>OLAP</span><span>服务器、关pL据库和数据挖掘服务器q行分析和报表展C,非常易于使用和部|Ԍ界面观友好Q后l还支持数据挖掘和</span><span lang=EN-US>ETL</span><span>{?/span><span lang=EN-US>Open<em>i</em></span><span>主要包括Q?/span></p> <p class=MsoNormal><span lang=EN-US><span>1?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>OLAP</span><span>展示Q?/span><span lang=EN-US>JPivot</span></p> <p class=MsoNormal><span lang=EN-US><span>2?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>报表工具Q?/span><span lang=EN-US>JFreeChart</span></p> <p class=MsoNormal><span lang=EN-US><span>3?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>分析数据源连接器</span></p> <h2><a name=_Toc146945213><font color=#000000><span lang=EN-US><span><font face=Arial>3.3.</font><span Times New Roman?; font-size-adjust: none; font-stretch: normal?> </span></span></span><span lang=EN-US><font face=Arial>Pentaho</font></span></font></a></h2> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">是一个以工作ؓ核心的、强调面向解x案而非工具lg?/span><span lang=EN-US>BI</span><span>套gQ整合了多个开源项目,目标是和商业</span><span lang=EN-US>BI</span><span>相抗衡。它包括Q?/span></p> <p class=MsoNormal><span lang=EN-US><span>1?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>工作引擎:</span><span lang=EN-US>Shark and JaWE</span></p> <p class=MsoNormal><span lang=EN-US><span>2?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>数据库:</span><span lang=EN-US>Firebird RDBMS</span></p> <p class=MsoNormal><span lang=EN-US><span>3?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>集成理和开发环境:</span><span lang=EN-US>Eclipse</span></p> <p class=MsoNormal><span lang=EN-US><span>4?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>报表工具Q?/span><span lang=EN-US>Eclipse BIRT</span></p> <p class=MsoNormal><span lang=EN-US><span>5?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>ETL</span><span>工具Q?/span><span lang=EN-US>Enhydra/Kettle</span></p> <p class=MsoNormal><span lang=EN-US><span>6?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>OLAP Server</span><span>Q?/span><span lang=EN-US>Mondrian</span></p> <p class=MsoNormal><span lang=EN-US><span>7?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>OLAP</span><span>展示Q?/span><span lang=EN-US>JPivot</span></p> <p class=MsoNormal><span lang=EN-US><span>8?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>数据挖掘lgQ?/span><span lang=EN-US>Weka</span></p> <p class=MsoNormal><span lang=EN-US><span>9?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>应用服务器和</span><span lang=EN-US>Portal</span><span>服务器:</span><span lang=EN-US>JBoss</span></p> <p class=MsoNormal><span lang=EN-US><span>10?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>              </span></span></span><span>单点登陆服务?/span><span lang=EN-US>LDap</span><span>认证Q?/span><span lang=EN-US>JOSSO</span></p> <p class=MsoNormal><span lang=EN-US><span>11?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>              </span></span></span><span>自定义脚本支持:</span><span lang=EN-US>Mozilla Rhino Javascript</span><span>脚本处理?/span></p> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">׃可见</span><span lang=EN-US>Pentaho</span><span>是一个很完善?/span><span lang=EN-US>BI</span><span>解决Ҏ?/span><span lang=EN-US>Pentaho</span><span>偏向于与业务程相结合的</span><span lang=EN-US>BI</span><span>解决ҎQ侧重于大中型企业应用?/span></p> <h2><a name=_Toc146945214><font color=#000000><span lang=EN-US><span><font face=Arial>3.4.</font><span Times New Roman?; font-size-adjust: none; font-stretch: normal?> </span></span></span><span lang=EN-US><font face=Arial>SpagoBI</font></span></font></a></h2> <p class=MsoNormal><span lang=EN-US>SpagoBI </span><span>集成?/span><span lang=EN-US>Mondrain</span><span>?/span><span lang=EN-US>JProvit</span><span>Q能够通过</span><span lang=EN-US>OpenLaszlo</span><span>产生实时报表?/span><span lang=EN-US>SpagoBI</span><span>使用</span><span lang=EN-US>java</span><span>开发,不依赖于具体的操作系l,有很强的扩展能力。它主要包括Q?/span></p> <p class=MsoNormal><span lang=EN-US><span>1?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>报表工具Q?/span><span lang=EN-US>JasperReports /Eclipse BIRT/ iReport</span></p> <p class=MsoNormal><span lang=EN-US><span>2?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>OLAP Server</span><span>Q?/span><span lang=EN-US>Mondrian</span></p> <p class=MsoNormal><span lang=EN-US><span>3?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>OLAP</span><span>展示Q?/span><span lang=EN-US>JPivot</span></p> <p class=MsoNormal><span lang=EN-US><span>4?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>数据挖掘lgQ?/span><span lang=EN-US>Weka</span></p> <p class=MsoNormal><span lang=EN-US><span>5?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>Map</span><span>引擎Q?/span><span lang=EN-US>Geo</span></p> <p class=MsoNormal><span lang=EN-US><span>6?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>ETL</span><span>Q?/span><span lang=EN-US>BIE</span></p> <p class=MsoNormal><span lang=EN-US><span>7?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span>搜烦引擎Q?/span><span lang=EN-US>Lucene</span></p> <p class=MsoNormal><span lang=EN-US><span>8?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>Dashboard</span><span>Q?/span><span lang=EN-US>OpenLaszlo</span></p> <p class=MsoNormal><span lang=EN-US><span>9?span Times New Roman?; font-size-adjust: none; font-stretch: normal?>  </span></span></span><span lang=EN-US>Portal Server</span><span>Q?/span><span lang=EN-US>JBoss/ Tomcat/ JOnAS</span></p> <p class=MsoNormal><span style="FONT-FAMILY: 宋体">Ҏ?/span><span lang=EN-US>Roadmap</span><span>可以看出Q?/span><span lang=EN-US>SpagoBI</span><span>融入更多的</span><span lang=EN-US>BI</span><span>功能Q甚?/span><span lang=EN-US>BI</span><span>之外的功能?/span></p> <img src ="http://www.tkk7.com/gf7/aggbug/140613.html" width = "1" height = "1" /><br><br><div align=right><a style="text-decoration:none;" href="http://www.tkk7.com/gf7/" target="_blank">?/a> 2007-08-28 18:09 <a href="http://www.tkk7.com/gf7/archive/2007/08/28/140613.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div>]]></description></item><item><title>ORACLE中的物化视图http://www.tkk7.com/gf7/archive/2006/07/09/57321.html?/dc:creator>?/author>Sun, 09 Jul 2006 02:56:00 GMThttp://www.tkk7.com/gf7/archive/2006/07/09/57321.htmlhttp://www.tkk7.com/gf7/comments/57321.htmlhttp://www.tkk7.com/gf7/archive/2006/07/09/57321.html#Feedback0http://www.tkk7.com/gf7/comments/commentRss/57321.htmlhttp://www.tkk7.com/gf7/services/trackbacks/57321.html       物化视图是包括一个查询结果的数据库对像,它是q程数据的的本地副本Q或者用来生成基于数据表求和的汇总表。物化视囑֭储基于远E表的数据,也可以称为快照?/span>

       物化视图可以查询表,视图和其它的物化视图?/span>

       通常情况下,物化视图被称Z表(在复制期_或明l表Q在数据仓库中)?/span>

       对于复制Q物化视囑օ怽在本地维护远E数据的副本 , q些副本是只ȝ。如果你想修Ҏ地副本,必须用高U复制的功能。当你想从一个表或视图中抽取数据Ӟ你可以用从物化视图中抽取?/span>

       对于数据仓库Q创建的物化视图通常情况下是聚合视图Q单一表聚合视囑֒q接视图?/span>

本文我们会看到怎样创徏物化视图q且讨论它的h选项?/span>

       在复制环境下Q创建的物化视图通常情况下主键, rowid, 和子查询视图?/span>

1. 主键物化视图Q?/span>

              下面的语法在q程数据库表 emp 上创Z键物化视?/span>

				
						
								
										SQL> CREATE MATERIALIZED VIEW mv_emp_pk
								
						
				
				
						
								
										REFRESH FAST START WITH SYSDATE 
								
						
				
				
						
								
										
												    NEXT  SYSDATE + 1/48
								
						
				
				
						
								
										WITH PRIMARY KEY 
								
						
				
				
						
								
										
												    AS SELECT * FROM emp@remote_db;
								
						
				
				
						
								
										Materialized view created.
										
   
注意Q当?/span> FAST 选项创徏物化视图Q必d建基于主表的视图日志 , 如下 :
      SQL> CREATE MATERIALIZED VIEW LOG ON emp;Materialized view log created.

2. Rowid 物化视图

              下面的语法在q程数据库表 emp 上创?/span> Rowid 物化视图

				
						
								
										SQL> CREATE MATERIALIZED VIEW mv_emp_rowid 
								
						
				
				
						
								
										REFRESH WITH ROWID 
								
						
				
				
						
								
										
												     AS SELECT * FROM emp@remote_db; 
								
						
				
				
						
								
										Materialized view log created.
								
						
				
		

3. 子查询物化视?/span>

              下面的语法在q程数据库表 emp 上创建基?/span> emp ?/span> dept 表的子查询物化视?/span>

				
						
								
										
												
												SQL> CREATE MATERIALIZED VIEW  mv_empdept
								
						
				
				
						
								
										AS SELECT * FROM emp@remote_db e
								
						
				
				
						
								
										
												     WHERE EXISTS
								
						
				
				
						
								
										
												   (SELECT * FROM dept@remote_db d
								
						
				
				
						
								        WHERE e.dept_no = d.dept_no)
				
				
						
								
										Materialized view log created.
										
										
								
						
				
				
						
								
										       
								
						
				
				
						REFRESH 
				
				
						子句
				
				
						
								
								
						
				
		
				
						
								
										[refresh [fast|complete|force]
								
						
				
				
						
								
										
												         [on demand | commit]
								
						
				
				
						
								
										
												         [start with date] [next date]
								
						
				
				
						
								
										
												         [with {primary key|rowid}]]
								
						
				
		

       Refresh 选项说明 :

a.       oracle 用刷新方法在物化视图中刷新数?/span> .

b.       是基于主键还是基?/span> rowid 的物化视?/span>

c.        物化视图的刷新时间和间隔h旉

 

Refresh Ҏ -FAST 子句

       增量h用物化视图日志(参照上面所qͼ来发送主表已l修改的数据行到物化视图?/span> . 如果指定 REFRESH FAST 子句Q那么应该对主表创徏物化视图日志

				
						
								
										SQL> CREATE MATERIALIZED VIEW LOG ON emp;
								
						
				
				
						Materialized view log created.
				
		

       对于增量h选项Q如果在子查询中存在分析函数Q则物化视图不v作用?/span>

 

Refresh Ҏ -COMPLETE 子句

       完全h重新生成整个视图Q如果请求完全刷斎ͼ oracle 会完?/span>        完全h即增量h可用?/span>

 

Refresh Method ?FORCE 子句

       当指?/span> FORCE 子句Q如果增量刷新可?/span> Oracle 完成增量刷斎ͼ否则完成完全刷?/span> , 如果不指定刷新方?/span> (FAST, COMPLETE, or FORCE),Force 选项是默认选项

 

主键?/span> ROWD 子句

       WITH PRIMARY KEY 选项生成主键物化视图 , 也就是说物化视图是基于主表的主键Q而不?/span> ROWID( 对应?/span> ROWID 子句 ). PRIMARY KEY 是默认选项 , Z生成 PRIMARY KEY 子句Q应该在主表上定义主键,否则应该用基?/span> ROWID 的物化视?/span> .

       主键物化视图允许识别物化视图主表而不影响物化视图增量h的可用性?/span>

       Rowid 物化视图只有一个单一的主表,不能包括下面M一?/span> :

n          Distinct 或者聚合函?/span> .

n          Group by Q子查询Q连接和 SET 操作

 

h旉       

       START WITH 子句通知数据库完成从主表到本地表W一ơ复制的旉 , 应该及时估计下一ơ运行的旉?/span> , NEXT 子句说明了刷新的间隔旉 .

				
						
								
										SQL> CREATE MATERIALIZED VIEW mv_emp_pk
								
						
				
				
						
								
										
												            REFRESH FAST 
								
						
				
				
						
								
										
												            START WITH SYSDATE 
								
						
				
				
						
								
										
												            NEXT  SYSDATE + 2
								
						
				
				
						
								
										
												            WITH PRIMARY KEY 
								
						
				
				
						
								
										
												              AS SELECT * FROM emp@remote_db;
                 Materialized view created.

在上面的例子中,物化视图数据的第一个副本在创徏时生成,以后每两天刷C?/span> .

 

ȝ

物化视图提供了可伸羃的基于主键或 ROWID 的视?/span> , 指定了刷新方法和自动h的时间?/span>

查询本数据库用户模式下有多少物化视图
select * from user_mviews

查询增量复制是否成功
select* from user_jobsQ查看其中的failure?br />
物化视图立即h
exec dbms_snapshot.refresh('"CUSTCARE"."MV_Name"','C')Q?br />
使用复制q需要注意:
     相应主表的log大小Q如log占有的空间太大,会媄响性能


]]>
վ֩ģ壺 պƷƵѹۿ| ëƬѹۿƵ| Ʒһ| 18վ| Ӱѿ| ޹Ʒyw| þ޾ƷĻ| þþ뾫Ʒպý| ˾Ʒձ| պþëƬ| þþƷƵۿ| Ů18ëƬˮѹۿ| þþþ޾Ʒþþþþþ | ŷձƷ| ޹Ʒlv| wwwƵ߹ۿ| 99þ99ȾƷѹۿ| ȫƵѹۿ| ۺϾƷվ| ľþþƷ1| ޾ƷƷƷ| һëƬëƬһëƬ| 뿴avվ| ޺ݺۺϾþþþ| ɫͼ| þùƷһ| ߹ۿѵһ| 91Ʒһ鶹| ޹AV| պһѲ| þþþþþƷͼƬ | LƷþ| ޹ۺ| igaoƵ| ɫһ| ޾Ʒ߹ۿ̬ͼ| ۺɫƵ| Ƶվ| ˳ɫ77777߹ۿ| ޾Ʒ˳߲| 99þó˹Ʒ|