要測(cè)試sql loader 以及快速產(chǎn)生大量測(cè)試數(shù)據(jù)

生成大量測(cè)試數(shù)據(jù)思路。

  一，用plsql developer 生成csv 文件

  二，用>>輸出重定向，追加到一個(gè)cvs 文件里。

  三，再用sql loader 快速載入。

在plsql developer 執(zhí)行

Sql代碼

1. SELECT object_id,object_name FROM dba_objects;  

SELECT object_id,object_name FROM dba_objects;

右鍵plsql developer 導(dǎo)出csv 格式 1.csv。在linux 上執(zhí)行下面的腳本

C代碼

1. #!/bin/bash   
2.   
3. for((i=1;i<200;i=i+1))   
4. do  
5.         cat 1.csv >> 2.csv;   
6.         echo $i;   
7. done  

#!/bin/bash
for((i=1;i<200;i=i+1))
do
cat 1.csv >> 2.csv;
echo $i;
done

 這樣 50000  *  200 差不到就有一千萬(wàn)的數(shù)據(jù)了。我測(cè)試的  11047500  392M

 可以用:

Linux代碼

1. wc -l 2.csv  

wc -l 2.csv

查看csv 里有多少條數(shù)據(jù)?，F(xiàn)在測(cè)試數(shù)據(jù)有了。我們來(lái)試一下sql loader 的載入效果吧。

創(chuàng)建sqlloader 控制文件如下,保存為1.ctl

Sqlldr ctl代碼

1. load data   
2. infile '2.csv'  
3. into table my_objects   
4. fields terminated by ','optionally enclosed by '"'  
5. (object_id,   
6. object_name   
7. );  

load data
infile '2.csv'
into table my_objects
fields terminated by ','optionally enclosed by '"'
(object_id,
object_name
);

控制文件簡(jiǎn)要說(shuō)明：

-- INFILE 'n.csv'   導(dǎo)入多個(gè)文件 
-- INFILE *  要導(dǎo)入的內(nèi)容就在control文件里 下面的BEGINDATA后面就是導(dǎo)入的內(nèi)容

--BADFILE '1.bad'   指定壞文件地址 

--apend into table my_objects 追加
-- INSERT  裝載空表 如果原先的表有數(shù)據(jù) sqlloader會(huì)停止 默認(rèn)值 
-- REPLACE   原先的表有數(shù)據(jù) 原先的數(shù)據(jù)會(huì)全部刪除 
-- TRUNCATE  指定的內(nèi)容和replace的相同 會(huì)用truncate語(yǔ)句刪除現(xiàn)存數(shù)據(jù) 

--可以指定位置加載
--(object_id position(1:3) char,object_name position(5:7) char)
--分別指定分隔符
--(object_id char terminated by ",", object_name char terminated by ",")
--執(zhí)行sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true
--30秒可以載入200萬(wàn)的測(cè)試數(shù)據(jù) 79MB

--sqlldr userid＝/ control＝result1.ctl direct＝true parallel＝true
--sqlldr userid＝/ control＝result2.ctl direct＝true parallel＝true
--sqlldr userid＝/ control＝result2.ctl direct＝true parallel＝true
--當(dāng)加載大量數(shù)據(jù)時(shí)（大約超過(guò)10GB），最好抑制日志的產(chǎn)生：
--SQLALTER TABLE RESULTXT nologging;
--這樣不產(chǎn)生REDO　LOG，可以提高效率。然后在CONTROL文件中l(wèi)oad data上面加一行：unrecoverable
--此選項(xiàng)必須要與DIRECT共同應(yīng)用。
--在并發(fā)操作時(shí)，ORACLE聲稱可以達(dá)到每小時(shí)處理100GB數(shù)據(jù)的能力！其實(shí)，估計(jì)能到1－10G就算不錯(cuò)了，開(kāi)始可用結(jié)構(gòu)
--相同的文件，但只有少量數(shù)據(jù)，成功后開(kāi)始加載大量數(shù)據(jù)，這樣可以避免時(shí)間的浪費(fèi)

下面就是執(zhí)行了

Shell代碼

1. sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true  

sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true

 結(jié)果：30秒可以載入200萬(wàn)的測(cè)試數(shù)據(jù) 79MB
          226秒載入1100萬(wàn)的測(cè)試數(shù)據(jù) 392Mb

我的環(huán)境是在虛擬機(jī)，測(cè)得的結(jié)果

MemTotal:       949948 kB

model name      : Intel(R) Pentium(R) D CPU 2.80GHz
stepping        : 8
cpu MHz         : 2799.560
cache size      : 1024 KB

還是挺快的：）