2.應盡量避免在 where 子句中對字段進行 null 值判斷,否則將導致引擎放棄使用索引而進行全表掃描,如:
select id from t where num is null
最好不要給數據庫留NULL,盡可能的使用 NOT NULL填充數據庫.
備注、描述、評論之類的可以設置為 NULL,其他的,最好不要使用NULL。
不要以為 NULL 不需要空間,比如:char(100) 型,在字段建立時,空間就固定了, 不管是否插入值(NULL也包含在內),都是占用 100個字符的空間的,如果是varchar這樣的變長字段, null 不占用空間。
可以在num上設置默認值0,確保表中num列沒有null值,然后這樣查詢:
select id from t where num = 0
3.應盡量避免在 where 子句中使用 != 或 <> 操作符,否則將引擎放棄使用索引而進行全表掃描。
4.應盡量避免在 where 子句中使用 or 來連接條件,如果一個字段有索引,一個字段沒有索引,將導致引擎放棄使用索引而進行全表掃描,如:
select id from t where num=10 or Name = 'admin'
可以這樣查詢:
select id from t where num = 10 union all select id from t where Name = 'admin'
5.in 和 not in 也要慎用,否則會導致全表掃描,如:
select id from t where num in(1,2,3)
對于連續的數值,能用 between 就不要用 in 了:
select id from t where num between 1 and 3
很多時候用 exists 代替 in 是一個好的選擇:
select num from a where num in(select num from b)
用下面的語句替換:
select num from a where exists(select 1 from b where num=a.num)
6.下面的查詢也將導致全表掃描:
select id from t where name like ‘%abc%’
若要提高效率,可以考慮全文檢索。
7.如果在 where 子句中使用參數,也會導致全表掃描。因為SQL只有在運行時才會解析局部變量,但優化程序不能將訪問計劃的選擇推遲到運行時;它必須在編譯時進行選擇。然 而,如果在編譯時建立訪問計劃,變量的值還是未知的,因而無法作為索引選擇的輸入項。如下面語句將進行全表掃描:
select id from t where num = @num
可以改為強制查詢使用索引:
select id from t with(index(索引名)) where num = @num
應盡量避免在 where 子句中對字段進行表達式操作,這將導致引擎放棄使用索引而進行全表掃描。如:
select id from t where num/2 = 100
應改為:
select id from t where num = 100*2
9.應盡量避免在where子句中對字段進行函數操作,這將導致引擎放棄使用索引而進行全表掃描。如:
select id from t where substring(name,1,3) = ’abc’ -–name以abc開頭的id select id from t where datediff(day,createdate,’2005-11-30′) = 0 -–‘2005-11-30’ --生成的id
應改為:
select id from t where name like 'abc%' select id from t where createdate >= '2005-11-30' and createdate < '2005-12-1'
10.不要在 where 子句中的“=”左邊進行函數、算術運算或其他表達式運算,否則系統將可能無法正確使用索引。
11.在使用索引字段作為條件時,如果該索引是復合索引,那么必須使用到該索引中的第一個字段作為條件時才能保證系統使用該索引,否則該索引將不會被使用,并且應盡可能的讓字段順序與索引順序相一致。
12.不要寫一些沒有意義的查詢,如需要生成一個空表結構:
select col1,col2 into #t from t where 1=0
這類代碼不會返回任何結果集,但是會消耗系統資源的,應改成這樣:
create table #t(…)
13.Update 語句,如果只更改1、2個字段,不要Update全部字段,否則頻繁調用會引起明顯的性能消耗,同時帶來大量日志。
14.對于多張大數據量(這里幾百條就算大了)的表JOIN,要先分頁再JOIN,否則邏輯讀會很高,性能很差。
15.select count(*) from table;這樣不帶任何條件的count會引起全表掃描,并且沒有任何業務意義,是一定要杜絕的。
16.索引并不是越多越好,索引固然可以提高相應的 select 的效率,但同時也降低了 insert 及 update 的效率,因為 insert 或 update 時有可能會重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個表的索引數最好不要超過6個,若太多則應考慮一些不常使用到的列上建的索引是否有 必要。
17.應盡可能的避免更新 clustered 索引數據列,因為 clustered 索引數據列的順序就是表記錄的物理存儲順序,一旦該列值改變將導致整個表記錄的順序的調整,會耗費相當大的資源。若應用系統需要頻繁更新 clustered 索引數據列,那么需要考慮是否應將該索引建為 clustered 索引。
18.盡量使用數字型字段,若只含數值信息的字段盡量不要設計為字符型,這會降低查詢和連接的性能,并會增加存儲開銷。這是因為引擎在處理查詢和連 接時會逐個比較字符串中每一個字符,而對于數字型而言只需要比較一次就夠了。
19.盡可能的使用 varchar/nvarchar 代替 char/nchar ,因為首先變長字段存儲空間小,可以節省存儲空間,其次對于查詢來說,在一個相對較小的字段內搜索效率顯然要高些。
20.任何地方都不要使用 select * from t ,用具體的字段列表代替“*”,不要返回用不到的任何字段。
21.盡量使用表變量來代替臨時表。如果表變量包含大量數據,請注意索引非常有限(只有主鍵索引)。
22. 避免頻繁創建和刪除臨時表,以減少系統表資源的消耗。臨時表并不是不可使用,適當地使用它們可以使某些例程更有效,例如,當需要重復引用大型表或常用表中的某個數據集時。但是,對于一次性事件, 最好使用導出表。
23.在新建臨時表時,如果一次性插入數據量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果數據量不大,為了緩和系統表的資源,應先create table,然后insert。
24.如果使用到了臨時表,在存儲過程的最后務必將所有的臨時表顯式刪除,先 truncate table ,然后 drop table ,這樣可以避免系統表的較長時間鎖定。
25.盡量避免使用游標,因為游標的效率較差,如果游標操作的數據超過1萬行,那么就應該考慮改寫。
26.使用基于游標的方法或臨時表方法之前,應先尋找基于集的解決方案來解決問題,基于集的方法通常更有效。
27.與臨時表一樣,游標并不是不可使用。對小型數據集使用 FAST_FORWARD 游標通常要優于其他逐行處理方法,尤其是在必須引用幾個表才能獲得所需的數據時。在結果集中包括“合計”的例程通常要比使用游標執行的速度快。如果開發時 間允許,基于游標的方法和基于集的方法都可以嘗試一下,看哪一種方法的效果更好。
28.在所有的存儲過程和觸發器的開始處設置 SET NOCOUNT ON ,在結束時設置 SET NOCOUNT OFF 。無需在執行存儲過程和觸發器的每個語句后向客戶端發送 DONE_IN_PROC 消息。
29.盡量避免大事務操作,提高系統并發能力。
30.盡量避免向客戶端返回大數據量,若數據量過大,應該考慮相應需求是否合理。
實際案例分析:拆分大的 DELETE 或INSERT 語句,批量提交SQL語句
如果你需要在一個在線的網站上去執行一個大的 DELETE 或 INSERT 查詢,你需要非常小心,要避免你的操作讓你的整個網站停止相應。因為這兩個操作是會鎖表的,表一鎖住了,別的操作都進不來了。
Apache 會有很多的子進程或線程。所以,其工作起來相當有效率,而我們的服務器也不希望有太多的子進程,線程和數據庫鏈接,這是極大的占服務器資源的事情,尤其是內存。
如果你把你的表鎖上一段時間,比如30秒鐘,那么對于一個有很高訪問量的站點來說,這30秒所積累的訪問進程/線程,數據庫鏈接,打開的文件數,可能不僅僅會讓你的WEB服務崩潰,還可能會讓你的整臺服務器馬上掛了。
所以,如果你有一個大的處理,你一定把其拆分,使用 LIMIT oracle(rownum),sqlserver(top)條件是一個好的方法。下面是一個mysql示例:
while(1){ //每次只做1000條 mysql_query(“delete from logs where log_date <= ’2012-11-01’ limit 1000”); if(mysql_affected_rows() == 0){
//刪除完成,退出! break; } //每次暫停一段時間,釋放表讓其他進程/線程訪問。 usleep(50000) }
--help
查看幫助或者直接通過google搜索學習。find / -name filename.txt
根據名稱查找/目錄下的filename.txt文件。
find . -name "*.xml"
遞歸查找所有的xml文件
find . -name "*.xml" |xargs grep "hello world"
遞歸查找所有文件內容中包含hello world的xml文件
grep -H 'spring' *.xml
查找所以有的包含spring的xml文件
find ./ -size 0 | xargs rm -f &
刪除文件大小為零的文件
ls -l | grep '.jar'
查找當前目錄中的所有jar文件
grep 'test' d*
顯示所有以d開頭的文件中包含test的行。
grep 'test' aa bb cc
顯示在aa,bb,cc文件中匹配test的行。
grep '[a-z]\{5\}' aa
顯示所有包含每個字符串至少有5個連續小寫字符的字符串的行。
ps –ef|grep tomcat
查看所有有關tomcat的進程
kill -9 19979
終止線程號位19979的進程
ls -al
pwd
cp source dest
復制文件
cp -r sourceFolder targetFolder
遞歸復制整個文件夾
scp sourecFile romoteUserName@remoteIp:remoteAddr
遠程拷貝
mkdir newfolder
rmdir deleteEmptyFolder
刪除空目錄 rm -rf deleteFile
遞歸刪除目錄中所有內容
mv /temp/movefile /targetFolder
mv oldNameFile newNameFile
su -username
chmod 777 file.java
//file.java的權限-rwxrwxrwx,r表示讀、w表示寫、x表示可執行
tar -czf test.tar.gz /test1 /test2
tar -tzf test.tar.gz
tar -xvzf test.tar.gz
head -n 10 example.txt
tail -n 10 example.txt
tail -f exmaple.log
//這個命令會自動顯示新增內容,屏幕只顯示10行內容的(可設置)。
sudo rm a.txt
使用管理員身份刪除文件
netstat -tln | grep 8080
查看端口8080的使用情況
lsof -i :8080
ps aux|grep java
查看java進程
ps aux
查看所有進程
tree a
ps:Mac下使用tree命令
wget http://file.tgz
mac下安裝wget命令
curl http://file.tgz
ping www.just-ping.com
ssh userName@ip
echo $JAVA_HOME
打印java home環境變量的值
java javac jps ,jstat ,jmap, jstack
svn git maven
使用者請直接看第一步,第二步和egit使用說明,
需要自己創建倉庫的可以看三四步
然后按步驟創建一個教程代碼庫
可以選擇下載SourceTree 和git SourceTree是一個客戶端,圖形界面,挺方便的
主界面有個教程,挺詳細的,可以看看
點右上角的小人圖標,然后點擊“Manage account”
在Account settings 里最下面有個選項,Language,改成Chinese
創建完可以用SourceTree復制代碼進去,點擊用SourceTree克隆
會彈出這個窗口,可以更改目標路徑(必須是空文件夾,不存在的最好)
里面現在是空的,點擊在文件管理器中打開
把代碼復制到這個文件夾
然后查看SourceTree,里面就有未保存的文件(如果沒有,點擊下日志/歷史)點擊“未暫存的文件”
就會變成“已暫存的文件”
然后點擊工具欄的”提交”
輸入需要說明的文字,點擊提交
這時候你可以看到分支那里有了東西,不過這個時候還只是在你的本地
點擊推送,就會放到服務器上
點擊顯示完整輸出,可以看進度,如果變綠,出現執行成功,就行了,文件多會稍微慢點
然后去網站,刷新一下頁面,就會出來信息
源碼部分可以下載和查看源碼
提交部分可以查看提交記錄
點擊提交下面的藍字,可以查看這個版本修部分,每個變化文件都會顯示出來,紅色表示刪除代碼,綠表示添加代碼,十分方便查看這個版本更新了什么,
旁邊的通知圖標可以留言評論
代碼更新的一般步驟:克隆代碼——修改——提交——推送
Eclipse可以用egit方便完成,Qt有git工具,Vs有git插件,其他情況可以用sourceTree完成
具體的,可以查詢其他資料,因為我目前是用java,我會再寫一個egit的使用方法
ApplicationContext ac = new ClassPathXmlApplicationContext("applicationContext.xml");
RegisterDAO registerDAO = (RegisterDAO)ac.getBean("RegisterDAO");
如果是兩個以上:
ApplicationContext ac = new ClassPathXmlApplicationContext(new String[]{"applicationContext.xml","dao.xml"});
或者用通配符:
ApplicationContext ac = new ClassPathXmlApplicationContext("classpath:/*.xml");
二、ClassPathXmlApplicationContext[只能讀放在web-info/classes目錄下的配置文件]和FileSystemXmlApplicationContext的區別
classpath:前綴是不需要的,默認就是指項目的classpath路徑下面;
如果要使用絕對路徑,需要加上file:前綴表示這是絕對路徑;
對于FileSystemXmlApplicationContext:
默認表示的是兩種:
1.沒有盤符的是項目工作路徑,即項目的根目錄;
2.有盤符表示的是文件絕對路徑.
如果要使用classpath路徑,需要前綴classpath:
public class HelloClient {
protected static final Log log = LogFactory.getLog(HelloClient.class);
public static void main(String[] args) {
// Resource resource = new ClassPathResource("appcontext.xml");
// BeanFactory factory = new XmlBeanFactory(resource);
// 用classpath路徑
// ApplicationContext factory = new ClassPathXmlApplicationContext("classpath:appcontext.xml");
// ApplicationContext factory = new ClassPathXmlApplicationContext("appcontext.xml");
// ClassPathXmlApplicationContext使用了file前綴是可以使用絕對路徑的
// ApplicationContext factory = new ClassPathXmlApplicationContext("file:F:/workspace/example/src/appcontext.xml");
// 用文件系統的路徑,默認指項目的根路徑
// ApplicationContext factory = new FileSystemXmlApplicationContext("src/appcontext.xml");
// ApplicationContext factory = new FileSystemXmlApplicationContext("webRoot/WEB-INF/appcontext.xml");
// 使用了classpath:前綴,這樣,FileSystemXmlApplicationContext也能夠讀取classpath下的相對路徑
// ApplicationContext factory = new FileSystemXmlApplicationContext("classpath:appcontext.xml");
// ApplicationContext factory = new FileSystemXmlApplicationContext("file:F:/workspace/example/src/appcontext.xml");
// 不加file前綴
ApplicationContext factory = new FileSystemXmlApplicationContext("F:/workspace/example/src/appcontext.xml");
IHelloWorld hw = (IHelloWorld)factory.getBean("helloworldbean");
log.info(hw.getContent("luoshifei"));
}
}
通過web方式提交索引和刪除索引
Solr 刪除全部索引:http://localhost:8080/solr/update/?stream.body=
wget http://www.atomicorp.com/installers/atomic #下載atomic yum源 sh ./atomic #安裝 yum check-update #更新yum軟件包
2、安裝nginx:
yum install nginx #安裝nginx,根據提示,輸入Y安裝即可成功安裝
#修改配置文件,這里省略,主要是將目錄指定到 /home/ngmsw-files
service nginx start #啟動
chkconfig nginx on #設為開機啟動
現在需要添加一個可以具有原創訪問的mysql賬號(需要進入mysql命令行下):
GRANT ALL PRIVILEGES ON *.* TO remote@"%" IDENTIFIED BY '遠程登錄的明文密碼' WITH GRANT OPTION;
執行如下語句生效:
flush privileges;
創建安裝目錄,在/usr/java下建立安裝路徑,并將文件考到該路徑下:
# mkdir /usr/java
1、jdk-6u11-linux-i586.bin 這個是自解壓的文件,在linux上安裝如下:
# chmod 755 jdk-6u11-linux-i586.bin
# ./jdk-6u11-linux-i586.bin (注意,這個步驟一定要在jdk-6u11-linux-i586.bin所在目錄下)
在按提示輸入yes后,jdk被解壓。
出現一行字:Do you aggree to the above license terms? [yes or no]
安裝程序在問您是否愿意遵守剛才看過的許可協議。當然要同意了,輸入"y" 或 "yes" 回車。
2、若是用jdk-6u11-linux-i586-rpm.bin 這個也是一個自解壓文件,不過解壓后的文件是jdk-6u11-linux-i586-rpm 包,執行rpm命令裝到linux上就可以了。安裝如下:
#chmod 755 ./jdk-6u11-linux-i586-rpm
# ./jdk-6u11-linux-i586-rpm .bin
# rpm -ivh jdk-6u11-linux-i586-rpm
出現一行字:Do you aggree to the above license terms? [yes or no]
安裝程序在問您是否愿意遵守剛才看過的許可協議。當然要同意了,輸入"y" 或 "yes" 回車。
安裝軟件會將JDK自動安裝到 /usr/java/目錄下。
二、配置
#vi /etc/profile
在里面添加如下內容
export JAVA_HOME=/usr/java/jdk1.6.0_27
export JAVA_BIN=/usr/java/jdk1.6.0_27/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
讓/etc/profile文件修改后立即生效 ,可以使用如下命令:
# . /etc/profile
注意: . 和 /etc/profile 有空格.
重啟測試
java -version
屏幕輸出:
java version "jdk1.6.0_02"
Java(TM) 2 Runtime Environment, Standard Edition (build jdk1.6.0_02)
Java HotSpot(TM) Client VM (build jdk1.6.0_02, mixed mode)
delete from dianping_deal_business
where deal_id in (select deal_id from temp_dp_id_ent_info)
and id not in (select id from temp_dp_id_ent_info);
drop table temp_dp_id_ent_info;
drop table temp_dp_deal_id_ent_info;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
public class TestReadAndWrite {
public static void main(String[] args) throws IOException {
String path = "D:/dianping/gather/";
String fileName = "result";
String fileType = "xlsx";
writer(path, fileName, fileType);
read(path, fileName, fileType);
}
private static void writer(String path, String fileName, String fileType)
throws IOException {
InputStream stream = new FileInputStream(path + fileName + "."
+ fileType);
// 創建工作文檔對象
Workbook wb = null;
if (fileType.equals("xls")) {
wb = new HSSFWorkbook(stream);
} else if (fileType.equals("xlsx")) {
wb = new XSSFWorkbook(stream);
} else {
System.out.println("您的文檔格式不正確!");
}
// 創建sheet對象
Sheet sheet1 = (Sheet) wb.getSheetAt(0);
// 循環寫入行數據
int num = sheet1.getLastRowNum() + 1;
for (int i = 0; i < 5; i++) {
Row row = (Row) sheet1.createRow(num+i);
// 循環寫入列數據
for (int j = 0; j < 8; j++) {
Cell cell = row.createCell(j);
cell.setCellValue("測試" + j);
}
}
File file = new File(path + fileName + "." + fileType);
FileOutputStream fileOut = new FileOutputStream(file);
wb.write(fileOut);
fileOut.close();
stream.close();
}
public static void read(String path, String fileName, String fileType)
throws IOException {
InputStream stream = new FileInputStream(path + fileName + "."
+ fileType);
Workbook wb = null;
if (fileType.equals("xls")) {
wb = new HSSFWorkbook(stream);
} else if (fileType.equals("xlsx")) {
wb = new XSSFWorkbook(stream);
} else {
System.out.println("您輸入的excel格式不正確");
}
Sheet sheet1 = wb.getSheetAt(0);
for (Row row : sheet1) {
for (Cell cell : row) {
System.out.print(cell.getStringCellValue() + " ");
}
System.out.println();
}
}
}
concat(str "any" [, str "any" [, ...]]) Concatenate all but first arguments with separators. The first parameter is used as a separator. NULL arguments are ignored.b.實際例子:
postgres=# create table t_kenyon(id int,name varchar(10),remark text); CREATE TABLE postgres=# insert into t_kenyon values(1,'test','kenyon'),(2,'just','china'),(3,'iam','lovingU'); INSERT 0 3 postgres=# insert into t_kenyon values(4,'test',null); INSERT 0 1 postgres=# insert into t_kenyon values(5,null,'adele'); INSERT 0 1 postgres=# select * from t_kenyon; id | name | remark ----+------+--------- 1 | test | kenyon 2 | just | china 3 | iam | lovingU 4 | test | 5 | | adele (5 rows) postgres=# select concat(id,name,remark) from t_kenyon; concat ------------- 1testkenyon 2justchina 3iamlovingU 4test 5adele (5 rows)c.說明 concat函數純粹是一個拼接函數,可以忽略null值拼接,拼接的值沒有分隔符,如果需要分割符,則需要用下面的函數concat_ws。
concat_ws(sep text, str "any" [, str "any" [,...] ]) Concatenate all but first arguments with separators. The first parameter is used as a separator. NULL arguments are ignored.b.實際應用
postgres=# select concat_ws(',',id,name,remark) from t_kenyon; concat_ws --------------- 1,test,kenyon 2,just,china 3,iam,lovingU 4,test 5,adele (5 rows) postgres=# select concat_ws('_',id,name,remark) from t_kenyon; concat_ws --------------- 1_test_kenyon 2_just_china 3_iam_lovingU 4_test 5_adele (5 rows) postgres=# select concat_ws('',id,name,remark) from t_kenyon; concat_ws ------------- 1testkenyon 2justchina 3iamlovingU 4test 5adele (5 rows) postgres=# select concat_ws('^_*',id,name,remark) from t_kenyon; concat_ws ------------------- 1^_*test^_*kenyon 2^_*just^_*china 3^_*iam^_*lovingU 4^_*test 5^_*adele (5 rows)c.說明 concat_ws函數比concat函數多了分隔符的功能,其實就是concat的升級版,假如分隔符為'',則取出來的結果和concat是一樣的。其功能與mysql中的group_concat函數比較類似,但也有不同,pg中concat_ws分隔符還支持多個字符作為分隔符的,日常用得更多的可能是||。
split_part(string text, delimiter text, field int) Split string on delimiter and return the given field (counting from one)b.實際例子
postgres=# select split_part('abc~@~def~@~ghi','~@~', 2); split_part ------------ def (1 row) postgres=# select split_part('now|year|month','|',3); split_part ------------ month (1 row)c.說明 該函數對按分隔符去取某個特定位置上的值非常有效果
regexp_split_to_table(string text, pattern text [, flags text]) Split string using a POSIX regular expression as the delimiter.b.使用例子
postgres=# SELECT regexp_split_to_table('kenyon,love,,china,!',','); regexp_split_to_table ----------------------- kenyon love china ! (5 rows) --按分割符切割 postgres=# SELECT regexp_split_to_table('kenyon,china,loves',','); regexp_split_to_table ----------------------- kenyon china loves (3 rows) --按字母切割 postgres=# SELECT regexp_split_to_table('kenyon,,china',E'\\s*'); regexp_split_to_table ----------------------- k e n y o n , , c h i n a (13 rows)3.regexp_split_to_array
regexp_split_to_array(string text, pattern text [, flags text ]) Split string using a POSIX regular expression as the delimiter.b.實際例子
postgres=# SELECT regexp_split_to_array('kenyon,love,,china,!',','); regexp_split_to_array -------------------------- {kenyon,love,"",china,!} (1 row) postgres=# SELECT regexp_split_to_array('kenyon,love,,china!','s*'); regexp_split_to_array ----------------------------------------------- {k,e,n,y,o,n,",",l,o,v,e,",",",",c,h,i,n,a,!} (1 row)c.說明
mvn install:install-file -Dfile=d:/Downloads/apache-activemq-5.5.0/lib/activemq-core-5.5.0.jar -DgroupId=org.apache.activemq -DartifactId=activemq-core -Dversion=5.5.0 -Dpackaging=jar
解析:
mvn install:install-file -Dfile=外部包的路徑 /
-DgroupId=外部包的groupId /
-DartifactId=外部包的artifactId /
-Dversion=外部包的版本號 /
-Dpackaging=jar