隨筆檔案(496)

> 引言
  在Jorm中，主鍵的生成策略主要有AUTO、UUID、GUID、FOREIGN、SEQUENCE、INCREMENT、IDENTITY、ASSIGNED，下面分別來講述這幾種策略的應(yīng)用場(chǎng)景

> GenerationType.AUTO
  Jorm的默認(rèn)主鍵策略，自動(dòng)增長(zhǎng)型，自增步長(zhǎng)為1，適用數(shù)據(jù)類型int,long,如：
  private int id // 默認(rèn)策略就是AUTO，故可以不寫主鍵策略
  或
  @Id(GenerationType.AUTO) // 默認(rèn)策略可以省去不寫的哦~
  private int id

> GenerationType.INCREMENT
  顧名思義，增長(zhǎng)型，適用數(shù)據(jù)類型int,long。自增步長(zhǎng)為1
  1> 使用默認(rèn)自增步長(zhǎng)1，如：
     @Id(GenerationType.INCREMENT)
     @Column("item_id")
     private long id;
  2> 使用自定義步長(zhǎng)，如：
     @Id(value = GenerationType.INCREMENT, incrementBy=3) // 這里自增步長(zhǎng)為3，注意寫法
     private int id;

> GenerationType.IDENTITY
  對(duì)于那些實(shí)現(xiàn)了自動(dòng)增長(zhǎng)的數(shù)據(jù)庫，可以使用IDENTITY，如MySQL,SQL Server,PostreSQL,前提是
  MySQL數(shù)據(jù)庫中建表語句定義了主鍵為：id(你的主鍵列名) int NOT NULL AUTO_INCREMENT 或
                                                                       id(你的主鍵列名) bigint NOT NULL AUTO_INCREMENT
  SQL Server數(shù)據(jù)庫中建表語句定義了主鍵為：id int identity(xx, xx) 如此類似
  PostreSQL數(shù)據(jù)庫中建表語句定義了主鍵為：id bigserial  或  id serial
  使用例子
  @Id(GenerationType.IDENTITY)
  @Column("id")
  private long sid;

> GenerationType.UUID
  與數(shù)據(jù)庫無關(guān)的策略，適用數(shù)據(jù)類型：字符串類型，適用所有數(shù)據(jù)庫，長(zhǎng)度須大于或等于32
  @Id(GenerationType.UUID)
  private String id;

> GenerationType.GUID
  與UUID有點(diǎn)類似，不過這個(gè)id值是又?jǐn)?shù)據(jù)庫來生成的，適用于數(shù)據(jù)庫MySQL、PostgreSQL、SQL Server、Oracle等
  @Id(GenerationType.GUID)
  private String id;

> GenerationType.FOREIGN
  適用于一對(duì)一關(guān)系中引用了另一個(gè)對(duì)象的主鍵作為自己的主鍵的情形，如：
  @Id(GenerationType.FOREIGN)
  @Column("identity_number")
  private String identity;

> GenerationType.SEQUENCE
  這個(gè)不用多說，應(yīng)用于Oracle、H2、PostgreSQL等有sequence序列功能的數(shù)據(jù)庫

> GenerationType.ASSIGNED
  用戶自定義生成，需要由程序員手工給主鍵主動(dòng)賦值

 

直接上代碼吧：

> Demo one
public void batch_op_one() {

    session = Jorm.getSession();
    JdbcBatcher batcher = session.createBatcher();
    batcher.addBatch("delete from t_id_auto");
    batcher.addBatch("delete from t_incre");
    batcher.addBatch("delete from t_user");
    batcher.execute();
   
    session.beginTransaction();
    long start;
    try {
        start = System.currentTimeMillis();
        String sql = "INSERT INTO t_user(sex,age,career,name,id) VALUES(?,?,?,?,?)";
        for (int i = 0; i < 100000; i++) {
            batcher.addBatch(sql, new Object[] {"男", Numbers.random(98), Strings.random(10), Strings.fixed(6), (i+1) });}
            String sqlx = "INSERT INTO t_id_auto(name, id) VALUES(?, ?)";
            for (int i = 0; i < 100000; i++) {
                batcher.addBatch(sqlx, new Object[] {Strings.fixed(6), (i+1)});
                if(i > 200) {
                    //Integer.parseInt("kkk");
                }
            }
            batcher.execute();   
            System.out.println(System.currentTimeMillis() - start);
    } catch (Exception e) {
        session.rollback();
    } finally {
        session.endTransaction();
        session.close();
    }
}

> Demo two
public void batch_op_two() {

    session = Jorm.getSession();
    session.beginTransaction();
    session.clean(User.class);
    JdbcBatcher batcher = session.createBatcher();
    batcher.setBatchSize(500);// 指定每批處理的記錄數(shù)
   
    User u;
    int times = 20 * 100;
    long start = System.currentTimeMillis();
    for(int i = 0; i < times; i++) {
     String sex = (i % 2 == 0 ? "男" : "女");
     u = new User(Strings.fixed(6), sex, Numbers.random(100), Strings.random(16));
     batcher.save(u);
    }
    batcher.execute();
    session.endTransaction();
    long cost = (System.currentTimeMillis() - start);
    System.out.println("Total：" + cost);
    System.out.println("Each：" + (float) cost / times);
    session.close();
}

項(xiàng)目地址：http://javaclub.sourceforge.net/jorm.html
下載地址: http://sourceforge.net/projects/javaclub/files/jorm/

??????在一般情況下，在新增領(lǐng)域?qū)ο蠛螅夹枰@取對(duì)應(yīng)的主鍵值。使用應(yīng)用層來維護(hù)主鍵，在一定程度上有利于程序性能的優(yōu)化和應(yīng)用移植性的提高。在采用數(shù)據(jù)庫自增主鍵的方案里，如果JDBC驅(qū)動(dòng)不能綁定新增記錄對(duì)應(yīng)的主鍵，就需要手工執(zhí)行查詢語句以獲取對(duì)應(yīng)的主鍵值，對(duì)于高并發(fā)的系統(tǒng)，這很容易返回錯(cuò)誤的主鍵。通過帶緩存的DataFieldMaxValueIncrementer，可以一次獲取批量的主鍵值，供多次插入領(lǐng)域?qū)ο髸r(shí)使用，它的執(zhí)行性能是很高的。

??????我們經(jīng)常使用數(shù)據(jù)的自增字段作為表主鍵，也即主鍵值不在應(yīng)用層產(chǎn)生，而是在新增記錄時(shí)，由數(shù)據(jù)庫產(chǎn)生。這樣，應(yīng)用層在保存對(duì)象前并不知道對(duì)象主鍵值，而必須在保存數(shù)據(jù)后才能從數(shù)據(jù)庫中返回主鍵值。在很多情況下，我們需要獲取新對(duì)象持久化后的主鍵值。在Hibernate等ORM框架，新對(duì)象持久化后，Hibernate會(huì)自動(dòng)將主鍵值綁定到對(duì)象上，給程序的開發(fā)帶來了很多方便。?

??????在JDBC 3.0規(guī)范中，當(dāng)新增記錄時(shí)，允許將數(shù)據(jù)庫自動(dòng)產(chǎn)生的主鍵值綁定到Statement或PreparedStatement中。

??????使用Statement時(shí)，可以通過以下方法綁定主鍵值：?int executeUpdate(String sql, int autoGeneratedKeys)?

??????也可以通過Connection創(chuàng)建綁定自增值的PreparedStatement：?PreparedStatement prepareStatement(String sql, int autoGeneratedKeys)?

??????當(dāng)autoGeneratedKeys參數(shù)設(shè)置為Statement.RETURN_GENERATED_KEYS值時(shí)即可綁定數(shù)據(jù)庫產(chǎn)生的主鍵值，設(shè)置為Statement.NO_GENERATED_KEYS時(shí)，不綁定主鍵值。下面的代碼演示了Statement綁定并獲取數(shù)據(jù)庫產(chǎn)生的主鍵值的過程：

??????這樣，在調(diào)用addForum(Forum forum)新增forum領(lǐng)域?qū)ο蠛螅琭orum將擁有對(duì)應(yīng)的主鍵值，方便后繼的使用。在JDBC 3.0之前的版本中，PreparedStatement不能綁定主鍵，如果采用表自增鍵（如MySQL的auto increment或SQLServer的identity）將給獲取正確的主鍵值帶來挑戰(zhàn)——因?yàn)槟惚仨氃诓迦霐?shù)據(jù)后，馬上執(zhí)行另一條獲取新增主鍵的查詢語句。下面給出了不同數(shù)據(jù)庫獲取最新自增主鍵值的查詢語句：?

1) Assigned
主鍵由外部程序負(fù)責(zé)生成，無需Hibernate參與。

2) hilo
通過hi/lo 算法實(shí)現(xiàn)的主鍵生成機(jī)制，需要額外的數(shù)據(jù)庫表保存主鍵生成歷史狀態(tài)。

3) seqhilo
與hilo 類似，通過hi/lo 算法實(shí)現(xiàn)的主鍵生成機(jī)制，只是主鍵歷史狀態(tài)保存在Sequence中，適用于支持Sequence的數(shù)據(jù)庫，如Oracle。

4) increment
主鍵按數(shù)值順序遞增。此方式的實(shí)現(xiàn)機(jī)制為在當(dāng)前應(yīng)用實(shí)例中維持一個(gè)變量，以保存著當(dāng)前的最大值，之后每次需要生成主鍵的時(shí)候?qū)⒋酥导?作為主鍵。 這種方式可能產(chǎn)生的問題是：如果當(dāng)前有多個(gè)實(shí)例訪問同一個(gè)數(shù)據(jù)庫，那么由于各個(gè)實(shí)例各自維護(hù)主鍵狀態(tài)，不同實(shí)例可能生成同樣的主鍵，從而造成主鍵重復(fù)異常。因此，如果同一數(shù)據(jù)庫有多個(gè)實(shí)例訪問，此方式必須避免使用。

5) identity
采用數(shù)據(jù)庫提供的主鍵生成機(jī)制。如DB2、SQL Server、MySQL中的主鍵生成機(jī)制。

6) sequence
采用數(shù)據(jù)庫提供的sequence 機(jī)制生成主鍵。如Oralce 中的Sequence。

7) native
由Hibernate根據(jù)底層數(shù)據(jù)庫自行判斷采用identity、hilo、sequence其中一種作為主鍵生成方式。

8) uuid.hex
由Hibernate基于128 位唯一值產(chǎn)生算法生成16 進(jìn)制數(shù)值（編碼后以長(zhǎng)度32 的字符串表示）作為主鍵。

9) uuid.string
與uuid.hex 類似，只是生成的主鍵未進(jìn)行編碼（長(zhǎng)度16）。在某些數(shù)據(jù)庫中可能出現(xiàn)問題（如PostgreSQL）。

10) foreign
使用外部表的字段作為主鍵。一般而言，利用uuid.hex方式生成主鍵將提供最好的性能和數(shù)據(jù)庫平臺(tái)適應(yīng)性。
另外由于常用的數(shù)據(jù)庫，如Oracle、DB2、SQLServer、MySql 等，都提供了易用的主鍵生成機(jī)制（Auto-Increase 字段或者Sequence）。我們可以在數(shù)據(jù)庫提供的主鍵生成機(jī)制上，采用generator-class=native的主鍵生成方式。不過值得注意的是，一些數(shù)據(jù)庫提供的主鍵生成機(jī)制在效率上未必最佳，

大量并發(fā)insert數(shù)據(jù)時(shí)可能會(huì)引起表之間的互鎖。數(shù)據(jù)庫提供的主鍵生成機(jī)制，往往是通過在一個(gè)內(nèi)部表中保存當(dāng)前主鍵狀態(tài)（如對(duì)于自增型主鍵而言，此內(nèi)部表中就維護(hù)著當(dāng)前的最大值和遞增量）， 之后每次插入數(shù)據(jù)會(huì)讀取這個(gè)最大值，然后加上遞增量作為新記錄的主鍵，之后再把這個(gè)新的最大值更新回內(nèi)部表中，這樣，一次Insert操作可能導(dǎo)致數(shù)據(jù)庫內(nèi)部多次表讀寫操作，同時(shí)伴隨的還有數(shù)據(jù)的加鎖解鎖操作，這對(duì)性能產(chǎn)生了較大影響。 因此，對(duì)于并發(fā)Insert要求較高的系統(tǒng)，推薦采用uuid.hex 作為主鍵生成機(jī)制。

如果需要采用定制的主鍵生成算法，則在此處配置主鍵生成器，主鍵生成器須實(shí)現(xiàn)org.hibernate.id.IdentifierGenerator 接口

?

關(guān)鍵詞： Hibernate? 主鍵?? 主鍵生成方式? IdentifierGenerator

?

     摘要:   閱讀全文

> 原理

其實(shí)斷點(diǎn)續(xù)傳的原理很簡(jiǎn)單，就是在 Http 的請(qǐng)求上和一般的下載有所不同而已。
打個(gè)比方，瀏覽器請(qǐng)求服務(wù)器上的一個(gè)文時(shí)，所發(fā)出的請(qǐng)求如下：
假設(shè)服務(wù)器域名為 wwww.sjtu.edu.cn，文件名為 down.zip。
GET /down.zip HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-
excel, application/msword, application/vnd.ms-powerpoint, */*
Accept-Language: zh-cn
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)
Connection: Keep-Alive

服務(wù)器收到請(qǐng)求后，按要求尋找請(qǐng)求的文件，提取文件的信息，然后返回給瀏覽器，返回信息如下：

200
Content-Length=106786028
Accept-Ranges=bytes
Date=Mon, 30 Apr 2001 12:56:11 GMT
ETag=W/"02ca57e173c11:95b"
Content-Type=application/octet-stream
Server=Microsoft-IIS/5.0
Last-Modified=Mon, 30 Apr 2001 12:56:11 GMT

所謂斷點(diǎn)續(xù)傳，也就是要從文件已經(jīng)下載的地方開始繼續(xù)下載。所以在客戶端瀏覽器傳給 Web 服務(wù)器的時(shí)候要多加一條信息 -- 從哪里開始。
下面是用自己編的一個(gè)"瀏覽器"來傳遞請(qǐng)求信息給 Web 服務(wù)器，要求從 2000070 字節(jié)開始。
GET /down.zip HTTP/1.0
User-Agent: NetFox
RANGE: bytes=2000070-
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2

仔細(xì)看一下就會(huì)發(fā)現(xiàn)多了一行 RANGE: bytes=2000070-
這一行的意思就是告訴服務(wù)器 down.zip 這個(gè)文件從 2000070 字節(jié)開始傳，前面的字節(jié)不用傳了。
服務(wù)器收到這個(gè)請(qǐng)求以后，返回的信息如下：
206
Content-Length=106786028
Content-Range=bytes 2000070-106786027/106786028
Date=Mon, 30 Apr 2001 12:55:20 GMT
ETag=W/"02ca57e173c11:95b"
Content-Type=application/octet-stream
Server=Microsoft-IIS/5.0
Last-Modified=Mon, 30 Apr 2001 12:55:20 GMT

和前面服務(wù)器返回的信息比較一下，就會(huì)發(fā)現(xiàn)增加了一行：
Content-Range=bytes 2000070-106786027/106786028

返回的代碼也改為 206 了，而不再是 200 了。

> 關(guān)鍵點(diǎn)

(1) 用什么方法實(shí)現(xiàn)提交 RANGE: bytes=2000070-。
當(dāng)然用最原始的 Socket 是肯定能完成的，不過那樣太費(fèi)事了，其實(shí) Java 的 net 包中提供了這種功能。代碼如下：

URL url = new URL("http://www.sjtu.edu.cn/down.zip");
HttpURLConnection httpConnection = (HttpURLConnection)url.openConnection();

// 設(shè)置 User-Agent
httpConnection.setRequestProperty("User-Agent","NetFox");
// 設(shè)置斷點(diǎn)續(xù)傳的開始位置
httpConnection.setRequestProperty("RANGE","bytes=2000070");
// 獲得輸入流
InputStream input = httpConnection.getInputStream();

從輸入流中取出的字節(jié)流就是 down.zip 文件從 2000070 開始的字節(jié)流。大家看，其實(shí)斷點(diǎn)續(xù)傳用 Java 實(shí)現(xiàn)起來還是很簡(jiǎn)單的吧。接下來要做的事就是怎么保存獲得的流到文件中去了。

(2)保存文件采用的方法。
我采用的是 IO 包中的 RandAccessFile 類。
操作相當(dāng)簡(jiǎn)單，假設(shè)從 2000070 處開始保存文件，代碼如下：
RandomAccess oSavedFile = new RandomAccessFile("down.zip","rw");
long nPos = 2000070;
// 定位文件指針到 nPos 位置
oSavedFile.seek(nPos);
byte[] b = new byte[1024];
int nRead;
// 從輸入流中讀入字節(jié)流，然后寫到文件中
while((nRead=input.read(b,0,1024)) > 0) {
???? oSavedFile.write(b,0,nRead);

}

?

> 問題：給40億個(gè)不重復(fù)的unsigned int的整數(shù)，沒排過序的，然后再給幾個(gè)數(shù)，如何快速判斷這幾個(gè)數(shù)是否在那40億個(gè)數(shù)當(dāng)中?

> 解決：unsigned int 的取值范圍是0到2^32-1。我們可以申請(qǐng)連續(xù)的2^32/8=512M的內(nèi)存，用每一個(gè)bit對(duì)應(yīng)一個(gè)unsigned int數(shù)字。首先將512M內(nèi)存都初始化為0，然后每處理一個(gè)數(shù)字就將其對(duì)應(yīng)的bit設(shè)置為1。當(dāng)需要查詢時(shí)，直接找到對(duì)應(yīng)bit，看其值是0還是1即可。

lazy的屬性有false、true、extra

false和true用得比較多，extra屬性是不大容易重視的,其實(shí)它和true差不多

extra有個(gè)小的智能的地方是,即調(diào)用集合的size/contains等方法的時(shí)候，hibernate并不會(huì)去加載整個(gè)集合的數(shù)據(jù)，而是發(fā)出一條聰明的SQL語句，以便獲得需要的值，只有在真正需要用到這些集合元素對(duì)象數(shù)據(jù)的時(shí)候，才去發(fā)出查詢語句加載所有對(duì)象的數(shù)據(jù)

本文將介紹在Linux(Red Hat 9)環(huán)境下搭建Hadoop集群，此Hadoop集群主要由三臺(tái)機(jī)器組成，主機(jī)名分別為：
linux????? 192.168.35.101
linux02? 192.168.35.102
linux03? 192.168.35.103

從map reduce計(jì)算的角度講，linux作為master節(jié)點(diǎn)，linux02和linux03作為slave節(jié)點(diǎn)。
從hdfs數(shù)據(jù)存儲(chǔ)角度講，linux作為namenode節(jié)點(diǎn)，linux02和linux03作為datanode節(jié)點(diǎn)。

一臺(tái)namenode機(jī)，主機(jī)名為linux，hosts文件內(nèi)容如下：
127.0.0.1?? ??? linux????????? localhost.localdomain????????? localhost
192.168.35.101???? linux????????? linux.localdomain????????????? linux
192.168.35.102???? linux02
192.168.35.103???? linux03

兩臺(tái)datanode機(jī)，主機(jī)名為linux02和linux03
>linux02的hosts文件
127.0.0.1 ??? ??? linux02?????? localhost.localdomain?????? localhost
192.168.35.102???? linux02?????? linux02.localdomain???????? linux02
192.168.35.101???? linux
192.168.35.103???? linux03
>inux03的hosts文件
127.0.0.1?? ????? ??? ?linux03????????? localhost.localdomain????????? localhost
192.168.35.103????????? linux03??????????? linux03.localdomain??????????? linux03
192.168.35.101? ??? ?linux
192.168.35.102? ??? ?linux02

1.安裝JDK
> 從java.cun.com下載jdk-6u7-linux-i586.bin

> ftp上傳jdk到linux的root目錄下

> 進(jìn)入root目錄，先后執(zhí)行命令
chmod 755 jdk-6u18-linux-i586-rpm.bin
./jdk-6u18-linux-i586-rpm.bin

一路按提示下去就會(huì)安裝成功

> 配置環(huán)境變量
cd進(jìn)入/etc目錄，vi編輯profile文件，將下面的內(nèi)容追加到文件末尾
export JAVA_HOME=/usr/java/jdk1.6.0_18
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

注意：三臺(tái)機(jī)器都要安裝JDK~

2.設(shè)置Master/Slave機(jī)器之間可以通過SSH無密鑰互相訪問
最好三臺(tái)機(jī)器的使用相同的賬戶名，我是直接使用的root賬戶

操作namenode機(jī)linux:
以用戶root登錄linux，在/root目錄下執(zhí)行下述命令：
ssh-keygen -t rsa
一路回車下去即可在目錄/root/.ssh/下建立兩個(gè)文件id_rsa.pub和id_rsa。

接下來，需要進(jìn)入/root/.ssh目錄，執(zhí)行如下命令：
cd .ssh

再把is_rsa.pub文件復(fù)制到linux02和linux03機(jī)器上去。
scp -r id_rsa.pub root@192.168.35.102:/root/.ssh/authorized_keys_01
scp -r id_rsa.pub root@192.168.35.103:/root/.ssh/authorized_keys_01

操作datanode機(jī)linux02:
以用戶root登錄linux02，在目錄下執(zhí)行命令：
ssh-keygen -t rsa
一路回車下去即可在目錄/root/.ssh/下建立兩個(gè)文件 id_rsa.pub和id_rsa。

接下來，需要進(jìn)入/root/.ssh目錄，執(zhí)行如下命令：
cd .ssh

再把is_rsa.pub文件復(fù)制到namenode機(jī)linux上去。
scp -r id_rsa.pub root@192.168.35.101:/root/.ssh/authorized_keys_02

操作datanode機(jī)linux03:
以用戶root登錄linux03，在目錄下執(zhí)行命令：
ssh-keygen -t rsa
一路回車下去即可在目錄/root/.ssh/下建立兩個(gè)文件 id_rsa.pub和id_rsa。

接下來，需要進(jìn)入/root/.ssh目錄，執(zhí)行如下命令：
cd .ssh

再把is_rsa.pub文件復(fù)制到namenode機(jī)linux上去。
scp -r id_rsa.pub root@192.168.35.101:/root/.ssh/authorized_keys_03

*******************************************************************************

上述方式分別為linux\linux02\linux03機(jī)器生成了rsa密鑰，并且把linux的id_rsa.pub復(fù)制到linux02\linux03上去了，而把linux02和linux03上的id_rsa.pub復(fù)制到linux上去了。

接下來還要完成如下步驟：

linux機(jī):
以root用戶登錄linux，并且進(jìn)入目錄/root/.ssh下，執(zhí)行如下命令：
cat id_rsa.pub >> authorized_keys
cat authorized_keys_02 >> authorized_keys
cat authorized_keys_03 >> authorized_keys
chmod 644 authorized_keys

linux02機(jī):
以root用戶登錄linux02，并且進(jìn)入目錄/root/.ssh下，執(zhí)行如下命令：
cat id_rsa.pub >> authorized_keys
cat authorized_keys_01 >> authorized_keys
chmod 644 authorized_keys

linux03機(jī):
以root用戶登錄linux03，并且進(jìn)入目錄/root/.ssh下，執(zhí)行如下命令：
cat id_rsa.pub >> authorized_keys
cat authorized_keys_01 >> authorized_keys
chmod 644 authorized_keys

通過上述配置，現(xiàn)在以用戶root登錄linux機(jī)，既可以無密鑰認(rèn)證方式訪問linux02和linux03了，同樣也可以在linux02和linux03上以ssh linux方式連接到linux上進(jìn)行訪問了。

3.安裝和配置Hadoop
> 在namenode機(jī)器即linux機(jī)上安裝hadoop
我下載的是hadoop-0.20.2.tar.gz，ftp上傳到linux機(jī)的/root目錄上，解壓到安裝目錄/usr/hadoop，最終hadoop的根目錄是/usr/hadoop/hadoop-0.20.2/

編輯/etc/profile文件，在文件尾部追加如下內(nèi)容：
export HADOOP_HOME=/usr/hadoop/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH

> 配置Hadoop
core-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
?? ?<property>
??????????????? <name>fs.default.name</name>
??????????????? <value>hdfs://192.168.35.101:9000</value>
??????? </property>
??????? <property>
??????????????? <name>hadoop.tmp.dir</name>
??????????????? <value>/tmp/hadoop/hadoop-${user.name}</value>
??????? </property>
</configuration>

hdfs-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
??????? <property>
??????????????? <name>dfs.name.dir</name>
??????????????? <value>/home/hadoop/name</value>
??????? </property>
??????? <property>
??????????????? <name>dfs.data.dir</name>
??????????????? <value>/home/hadoop/data</value>
??????? </property>
??????? <property>
??????????????? <name>dfs.replication</name>
??????????????? <value>2</value>
??????? </property>
</configuration>

mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
??????? <property>
??????????????? <name>mapred.job.tracker</name>
??????????????? <value>192.168.35.101:9001</value>
??????? </property>
</configuration>

masters
192.168.35.101

slaves
192.168.35.102
192.168.35.103

至此，hadoop的簡(jiǎn)單配置已經(jīng)完成

> 將在namenode機(jī)器上配置好的hadoop部署到datanode機(jī)器上
這里使用scp命令進(jìn)行遠(yuǎn)程傳輸，先后執(zhí)行命令
scp -r /usr/hadoop/hadoop-0.20.2 root@192.168.35.102:/usr/hadoop/
scp -r /usr/hadoop/hadoop-0.20.2 root@192.168.35.103:/usr/hadoop/

4.測(cè)試
以root用戶登入namenode機(jī)linux，進(jìn)入目錄/usr/hadoop/hadoop-0.20.2/
cd /usr/hadoop/hadoop-0.20.2

> 執(zhí)行格式化
[root@linux hadoop-0.20.2]# bin/hadoop namenode -format
11/07/26 21:16:03 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:?? host = linux/127.0.0.1
STARTUP_MSG:?? args = [-format]
STARTUP_MSG:?? version = 0.20.2
STARTUP_MSG:?? build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
Re-format filesystem in /home/hadoop/name ? (Y or N) Y
11/07/26 21:16:07 INFO namenode.FSNamesystem: fsOwner=root,root,bin,daemon,sys,adm,disk,wheel
11/07/26 21:16:07 INFO namenode.FSNamesystem: supergroup=supergroup
11/07/26 21:16:07 INFO namenode.FSNamesystem: isPermissionEnabled=true
11/07/26 21:16:07 INFO common.Storage: Image file of size 94 saved in 0 seconds.
11/07/26 21:16:07 INFO common.Storage: Storage directory /home/hadoop/name has been successfully formatted.
11/07/26 21:16:07 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at linux/127.0.0.1
************************************************************/

> 啟動(dòng)hadoop
[root@linux hadoop-0.20.2]# bin/start-all.sh
starting namenode, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-namenode-linux.out
192.168.35.102: starting datanode, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-datanode-linux02.out
192.168.35.103: starting datanode, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-datanode-linux03.out
192.168.35.101: starting secondarynamenode, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-secondarynamenode-linux.out
starting jobtracker, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-jobtracker-linux.out
192.168.35.103: starting tasktracker, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-tasktracker-linux03.out
192.168.35.102: starting tasktracker, logging to /usr/hadoop/hadoop-0.20.2/bin/../logs/hadoop-root-tasktracker-linux02.out
[root@linux hadoop-0.20.2]#

> 用jps命令查看進(jìn)程
[root@linux hadoop-0.20.2]# jps
7118 SecondaryNameNode
7343 Jps
6955 NameNode
7204 JobTracker
[root@linux hadoop-0.20.2]#

引言

前提和設(shè)計(jì)目標(biāo)

Namenode 和 Datanode

文件系統(tǒng)的名字空間 (namespace)

數(shù)據(jù)復(fù)制

文件系統(tǒng)元數(shù)據(jù)的持久化

通訊協(xié)議

健壯性

數(shù)據(jù)組織

可訪問性

存儲(chǔ)空間回收

參考資料

function is_email($email) {
?? ??? ?$exp = "^[a-z'0-9]+([._-][a-z'0-9]+)*@([a-z0-9]+([._-][a-z0-9]+))+$";
?? ??? ?if(eregi($exp,$email)) {
?? ??? ??? ?return true;
?? ??? ?}
?? ??? ?return false;
?}

function remove_quote(&$str) {
?? ??? ?if (preg_match("/^\"/",$str)){
?? ??? ??? ?$str = substr($str, 1, strlen($str) - 1);
?? ??? ?}
?? ??? ?//判斷字符串是否以'"'結(jié)束
?? ??? ?if (preg_match("/\"$/",$str)){
?? ??? ??? ?$str = substr($str, 0, strlen($str) - 1);;
?? ??? ?}
?? ??? ?return $str;
? }

function is_chinese($s){
??????? $allen = preg_match("/^[^\x80-\xff]+$/", $s);?? //判斷是否是英文
??????? $allcn = preg_match("/^[".chr(0xa1)."-".chr(0xff)."]+$/",$s);? //判斷是否是中文
??????? if($allen){ ?
????????????? return 'allen'; ?
??????? }else{ ?
????????????? if($allcn){ ?
?????????????????? return 'allcn'; ?
????????????? }else{ ?
?????????????????? return 'encn'; ?
????????????? } ?
??????? }?
?? }

DML（data manipulation language）：
?????? 它們是SELECT、UPDATE、INSERT、DELETE，就象它的名字一樣，這4條命令是用來對(duì)數(shù)據(jù)庫里的數(shù)據(jù)進(jìn)行操作的語言
DDL（data definition language）：
?????? DDL比DML要多，主要的命令有CREATE、ALTER、DROP等，DDL主要是用在定義或改變表（TABLE）的結(jié)構(gòu)，數(shù)據(jù)類型，表之間的鏈接和約束等初始化工作上，他們大多在建立表時(shí)使用
DCL（Data Control Language）：
?????? 是數(shù)據(jù)庫控制功能。是用來設(shè)置或更改數(shù)據(jù)庫用戶或角色權(quán)限的語句，包括（grant,deny,revoke等）語句。在默認(rèn)狀態(tài)下，只有sysadmin,dbcreator,db_owner或db_securityadmin等人員才有權(quán)力執(zhí)行DCL

詳細(xì)解釋：
一、DDL is Data Definition Language statements. Some examples:數(shù)據(jù)定義語言，用于定義和管理 SQL 數(shù)據(jù)庫中的所有對(duì)象的語言
????? 1.CREATE - to create objects in the database?? 創(chuàng)建
????? 2.ALTER - alters the structure of the database?? 修改
????? 3.DROP - delete objects from the database?? 刪除
????? 4.TRUNCATE - remove all records from a table, including all spaces allocated for the records are removed
????? TRUNCATE TABLE [Table Name]。
　　下面是對(duì)Truncate語句在MSSQLServer2000中用法和原理的說明：
　　Truncate table 表名 速度快,而且效率高,因?yàn)?
　　TRUNCATE TABLE 在功能上與不帶 WHERE 子句的 DELETE 語句相同：二者均刪除表中的全部行。但 TRUNCATE TABLE 比 DELETE 速度快，且使用的系統(tǒng)和事務(wù)日志資源少。
　　DELETE 語句每次刪除一行，并在事務(wù)日志中為所刪除的每行記錄一項(xiàng)。TRUNCATE TABLE 通過釋放存儲(chǔ)表數(shù)據(jù)所用的數(shù)據(jù)頁來刪除數(shù)據(jù)，并且只在事務(wù)日志中記錄頁的釋放。
　　TRUNCATE TABLE 刪除表中的所有行，但表結(jié)構(gòu)及其列、約束、索引等保持不變。新行標(biāo)識(shí)所用的計(jì)數(shù)值重置為該列的種子。如果想保留標(biāo)識(shí)計(jì)數(shù)值，請(qǐng)改用 DELETE。如果要?jiǎng)h除表定義及其數(shù)據(jù)，請(qǐng)使用 DROP TABLE 語句。
　　對(duì)于由 FOREIGN KEY 約束引用的表，不能使用 TRUNCATE TABLE，而應(yīng)使用不帶 WHERE 子句的 DELETE 語句。由于 TRUNCATE TABLE 不記錄在日志中，所以它不能激活觸發(fā)器。
　　TRUNCATE TABLE 不能用于參與了索引視圖的表。
?????? 5.COMMENT - add comments to the data dictionary 注釋
?????? 6.GRANT - gives user's access privileges to database 授權(quán)
?????? 7.REVOKE - withdraw access privileges given with the GRANT command?? 收回已經(jīng)授予的權(quán)限

二、DML is Data Manipulation Language statements. Some examples:數(shù)據(jù)操作語言，SQL中處理數(shù)據(jù)等操作統(tǒng)稱為數(shù)據(jù)操縱語言
?????? 1.SELECT - retrieve data from the a database?????????? 查詢
?????? 2.INSERT - insert data into a table??????????????????? 添加
?????? 3.UPDATE - updates existing data within a table??? 更新
?????? 4.DELETE - deletes all records from a table, the space for the records remain?? 刪除
?????? 5.CALL - call a PL/SQL or Java subprogram
?????? 6.EXPLAIN PLAN - explain access path to data
?????? Oracle RDBMS執(zhí)行每一條SQL語句，都必須經(jīng)過Oracle優(yōu)化器的評(píng)估。所以，了解優(yōu)化器是如何選擇(搜索)路徑以及索引是如何被使用的，對(duì)優(yōu)化SQL語句有很大的幫助。Explain可以用來迅速方便地查出對(duì)于給定SQL語句中的查詢數(shù)據(jù)是如何得到的即搜索路徑(我們通常稱為Access Path)。從而使我們選擇最優(yōu)的查詢方式達(dá)到最大的優(yōu)化效果。
?????? 7.LOCK TABLE - control concurrency 鎖，用于控制并發(fā)

三、DCL is Data Control Language statements. Some examples:數(shù)據(jù)控制語言，用來授予或回收訪問數(shù)據(jù)庫的某種特權(quán)，并控制數(shù)據(jù)庫操縱事務(wù)發(fā)生的時(shí)間及效果，對(duì)數(shù)據(jù)庫實(shí)行監(jiān)視等
?????? 1.COMMIT - save work done 提交
?????? 2.SAVEPOINT - identify a point in a transaction to which you can later roll back 保存點(diǎn)
?????? 3.ROLLBACK - restore database to original since the last COMMIT?? 回滾
?????? 4.SET TRANSACTION - Change transaction options like what rollback segment to use?? 設(shè)置當(dāng)前事務(wù)的特性，它對(duì)后面的事務(wù)沒有影響．

今天啟動(dòng)Eclipse時(shí)，彈出錯(cuò)誤提示：

解決辦法：將Eclipse下的eclipse.ini文件做如下改動(dòng)

=>

?

1.對(duì)查詢進(jìn)行優(yōu)化，應(yīng)盡量避免全表掃描，首先應(yīng)考慮在 where 及 order by 涉及的列上建立索引。

2.應(yīng)盡量避免在 where 子句中對(duì)字段進(jìn)行 null 值判斷，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描，如：

　　select id from t where num is null

　　可以在num上設(shè)置默認(rèn)值0，確保表中num列沒有null值，然后這樣查詢：

　　select id from t where num=0

3.應(yīng)盡量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進(jìn)行全表掃描。

4.應(yīng)盡量避免在 where 子句中使用 or 來連接條件，否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描，如：

　　select id from t where num=10 or num=20

　　可以這樣查詢：

　　select id from t where num=10

　　union all

　　select id from t where num=20

5.in 和 not in 也要慎用，否則會(huì)導(dǎo)致全表掃描，如：

　　select id from t where num in(1,2,3)

　　對(duì)于連續(xù)的數(shù)值，能用 between 就不要用 in 了：

　　select id from t where num between 1 and 3

6.下面的查詢也將導(dǎo)致全表掃描：

　　select id from t where name like '%abc%'

　　若要提高效率，可以考慮全文檢索。

7.如果在 where 子句中使用參數(shù)，也會(huì)導(dǎo)致全表掃描。因?yàn)镾QL只有在運(yùn)行時(shí)才會(huì)解析局部變量，但優(yōu)化程序不能將訪問計(jì)劃的選擇推遲到運(yùn)行時(shí)；它必須在編譯時(shí)進(jìn)行選擇。然而，如果在編譯時(shí)建立訪問計(jì)劃，變量的值還是未知的，因而無法作為索引選擇的輸入項(xiàng)。如下面語句將進(jìn)行全表掃描：

　　select id from t where num=@num

　　可以改為強(qiáng)制查詢使用索引：

　　select id from t with(index(索引名)) where num=@num

8.應(yīng)盡量避免在 where 子句中對(duì)字段進(jìn)行表達(dá)式操作，這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如：

　　select id from t where num/2=100

　　應(yīng)改為:

　　select id from t where num=100*2

9.應(yīng)盡量避免在where子句中對(duì)字段進(jìn)行函數(shù)操作，這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如：

　　select id from t where substring(name,1,3)='abc'--name以abc開頭的id

　　select id from t where datediff(day,createdate,'2005-11-30')=0--‘2005-11-30’生成的id

　　應(yīng)改為:

　　select id from t where name like 'abc%'

　　select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'

10.不要在 where 子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運(yùn)算或其他表達(dá)式運(yùn)算，否則系統(tǒng)將可能無法正確使用索引。

11.在使用索引字段作為條件時(shí)，如果該索引是復(fù)合索引，那么必須使用到該索引中的第一個(gè)字段作為條件時(shí)才能保證系統(tǒng)使用該索引，否則該索引將不會(huì)被使用，并且應(yīng)盡可能的讓字段順序與索引順序相一致。

12.不要寫一些沒有意義的查詢，如需要生成一個(gè)空表結(jié)構(gòu)：

　　select col1,col2 into #t from t where 1=0

　　這類代碼不會(huì)返回任何結(jié)果集，但是會(huì)消耗系統(tǒng)資源的，應(yīng)改成這樣：

　　create table #t(...)

13.很多時(shí)候用 exists 代替 in 是一個(gè)好的選擇：

　　select num from a where num in(select num from b)

　　用下面的語句替換：

　　select num from a where exists(select 1 from b where num=a.num)

14.并不是所有索引對(duì)查詢都有效，SQL是根據(jù)表中數(shù)據(jù)來進(jìn)行查詢優(yōu)化的，當(dāng)索引列有大量數(shù)據(jù)重復(fù)時(shí)，SQL查詢可能不會(huì)去利用索引，如一表中有字段sex，male、female幾乎各一半，那么即使在sex上建了索引也對(duì)查詢效

率起不了作用。

15.索引并不是越多越好，索引固然可以提高相應(yīng)的 select 的效率，但同時(shí)也降低了 insert 及 update 的效率，因?yàn)?insert 或 update 時(shí)有可能會(huì)重建索引，所以怎樣建索引需要慎重考慮，視具體情況而定。一個(gè)表的索引數(shù)最好不要超過6個(gè)，若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有必要。

16.應(yīng)盡可能的避免更新 clustered 索引數(shù)據(jù)列，因?yàn)?clustered 索引數(shù)據(jù)列的順序就是表記錄的物理存儲(chǔ)順序，一旦該列值改變將導(dǎo)致整個(gè)表記錄的順序的調(diào)整，會(huì)耗費(fèi)相當(dāng)大的資源。若應(yīng)用系統(tǒng)需要頻繁更新 clustered 索引數(shù)據(jù)列，那么需要考慮是否應(yīng)將該索引建為 clustered 索引。

17.盡量使用數(shù)字型字段，若只含數(shù)值信息的字段盡量不要設(shè)計(jì)為字符型，這會(huì)降低查詢和連接的性能，并會(huì)增加存儲(chǔ)開銷。這是因?yàn)橐嬖谔幚聿樵兒瓦B接時(shí)會(huì)逐個(gè)比較字符串中每一個(gè)字符，而對(duì)于數(shù)字型而言只需要比較一次就夠了。

18.盡可能的使用 varchar/nvarchar 代替 char/nchar ，因?yàn)槭紫茸冮L(zhǎng)字段存儲(chǔ)空間小，可以節(jié)省存儲(chǔ)空間，其次對(duì)于查詢來說，在一個(gè)相對(duì)較小的字段內(nèi)搜索效率顯然要高些。

19.任何地方都不要使用 select * from t ，用具體的字段列表代替“*”，不要返回用不到的任何字段。

20.盡量使用表變量來代替臨時(shí)表。如果表變量包含大量數(shù)據(jù)，請(qǐng)注意索引非常有限（只有主鍵索引）。

21.避免頻繁創(chuàng)建和刪除臨時(shí)表，以減少系統(tǒng)表資源的消耗。

22.臨時(shí)表并不是不可使用，適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行В纾?dāng)需要重復(fù)引用大型表或常用表中的某個(gè)數(shù)據(jù)集時(shí)。但是，對(duì)于一次性事件，最好使用導(dǎo)出表。

23.在新建臨時(shí)表時(shí)，如果一次性插入數(shù)據(jù)量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果數(shù)據(jù)量不大，為了緩和系統(tǒng)表的資源，應(yīng)先create table，然后insert。

24.如果使用到了臨時(shí)表，在存儲(chǔ)過程的最后務(wù)必將所有的臨時(shí)表顯式刪除，先 truncate table ，然后 drop table ，這樣可以避免系統(tǒng)表的較長(zhǎng)時(shí)間鎖定。

25.盡量避免使用游標(biāo)，因?yàn)橛螛?biāo)的效率較差，如果游標(biāo)操作的數(shù)據(jù)超過1萬行，那么就應(yīng)該考慮改寫。

26.使用基于游標(biāo)的方法或臨時(shí)表方法之前，應(yīng)先尋找基于集的解決方案來解決問題，基于集的方法通常更有效。

27.與臨時(shí)表一樣，游標(biāo)并不是不可使用。對(duì)小型數(shù)據(jù)集使用 FAST_FORWARD 游標(biāo)通常要優(yōu)于其他逐行處理方法，尤其是在必須引用幾個(gè)表才能獲得所需的數(shù)據(jù)時(shí)。在結(jié)果集中包括“合計(jì)”的例程通常要比使用游標(biāo)執(zhí)行的速度快。如果開發(fā)時(shí)間允許，基于游標(biāo)的方法和基于集的方法都可以嘗試一下，看哪一種方法的效果更好。

28.在所有的存儲(chǔ)過程和觸發(fā)器的開始處設(shè)置 SET NOCOUNT ON ，在結(jié)束時(shí)設(shè)置 SET NOCOUNT OFF 。無需在執(zhí)行存儲(chǔ)過程和觸發(fā)器的每個(gè)語句后向客戶端發(fā)送 DONE_IN_PROC 消息。

29.盡量避免大事務(wù)操作，提高系統(tǒng)并發(fā)能力。

30.盡量避免向客戶端返回大數(shù)據(jù)量，若數(shù)據(jù)量過大，應(yīng)該考慮相應(yīng)需求是否合理。

> sql優(yōu)化方法

1、使用索引來更快地遍歷表。

　　缺省情況下建立的索引是非群集索引，但有時(shí)它并不是最佳的。在非群集索引下，數(shù)據(jù)在物理上隨機(jī)存放在數(shù)據(jù)頁上。合理的索引設(shè)計(jì)要建立在對(duì)各種查詢的分析和預(yù)測(cè)上。一般來說：

　　a.有大量重復(fù)值、且經(jīng)常有范圍查詢( > ,< ，> =,< =)和order by、group by發(fā)生的列，可考慮建立群集索引;

　　b.經(jīng)常同時(shí)存取多列，且每列都含有重復(fù)值可考慮建立組合索引;

　　c.組合索引要盡量使關(guān)鍵查詢形成索引覆蓋，其前導(dǎo)列一定是使用最頻繁的列。索引雖有助于提高性能但不是索引越多越好，恰好相反過多的索引會(huì)導(dǎo)致系統(tǒng)低效。用戶在表中每加進(jìn)一個(gè)索引，維護(hù)索引集合就要做相應(yīng)的更新工作。

2、在海量查詢時(shí)盡量少用格式轉(zhuǎn)換。

3、ORDER BY和GROPU BY：使用ORDER BY和GROUP BY短語，任何一種索引都有助于SELECT的性能提高。

4、任何對(duì)列的操作都將導(dǎo)致表掃描，它包括數(shù)據(jù)庫教程函數(shù)、計(jì)算表達(dá)式等等，查詢時(shí)要盡可能將操作移至等號(hào)右邊。

5、IN、OR子句常會(huì)使用工作表，使索引失效。如果不產(chǎn)生大量重復(fù)值，可以考慮把子句拆開。拆開的子句中應(yīng)該包含索引。

6、只要能滿足你的需求，應(yīng)盡可能使用更小的數(shù)據(jù)類型：例如使用MEDIUMINT代替INT

7、盡量把所有的列設(shè)置為NOT NULL，如果你要保存NULL，手動(dòng)去設(shè)置它，而不是把它設(shè)為默認(rèn)值。

8、盡量少用VARCHAR、TEXT、BLOB類型

9、如果你的數(shù)據(jù)只有你所知的少量的幾個(gè)。最好使用ENUM類型

10、正如graymice所講的那樣，建立索引。

?

SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset

LIMIT子句可以被用于強(qiáng)制SELECT語句返回指定的記錄數(shù)。LIMIT接受一個(gè)或兩個(gè)數(shù)字參數(shù)，參數(shù)必須是一個(gè)整數(shù)常量。
如果給定兩個(gè)參數(shù)，第一個(gè)參數(shù)指定第一個(gè)返回記錄行的偏移量，第二個(gè)參數(shù)指定返回記錄行的最大數(shù)目。
初始記錄行的偏移量是0(而不是1)：為了與 PostgreSQL 兼容，MySQL 也支持句法： LIMIT # OFFSET #。

mysql> SELECT * FROM table LIMIT 5, 10;? // 檢索記錄行 6-15

//為了檢索從某一個(gè)偏移量到記錄集的結(jié)束所有的記錄行，可以指定第二個(gè)參數(shù)為 -1：
mysql> SELECT * FROM table LIMIT 95, -1; // 檢索記錄行 96-last.

//如果只給定一個(gè)參數(shù)，它表示返回最大的記錄行數(shù)目：
mysql> SELECT * FROM table LIMIT 5;????? //檢索前 5 個(gè)記錄行

//換句話說，LIMIT n 等價(jià)于 LIMIT 0,n。

sql-1.
SELECT * FROM table WHERE id >= (
??? SELECT MAX(id) FROM (
?????? SELECT id FROM table ORDER BY id limit 90001
??? ) AS tmp
) limit 100;

sql-2.
SELECT * FROM table WHERE id >= (
??? SELECT MAX(id) FROM (
?????? SELECT id FROM table ORDER BY id limit 90000, 1
??? ) AS tmp
) limit 100;

同樣是取90000條后100條記錄,第1句快還是第2句快?
第1句是先取了前90001條記錄,取其中最大一個(gè)id值作為起始標(biāo)識(shí),然后利用它可以快速定位下100條記錄
第2句擇是僅僅取90000條記錄后1條,然后取id值作起始標(biāo)識(shí)定位下100條記錄
第1句執(zhí)行結(jié)果.100 rows in set (0.23) sec
第2句執(zhí)行結(jié)果.100 rows in set (0.19) sec

很明顯第2句勝出.看來limit好像并不完全像我之前想象的那樣做全表掃描返回limit offset+length條記錄,
這樣看來limit比起MS-SQL的Top性能還是要提高不少的.

其實(shí)sql-2完全可以簡(jiǎn)化成：

SELECT * FROM table WHERE id >= (
??? SELECT id FROM table limit 90000, 1
) limit 100;

直接利用第90000條記錄的id,不用經(jīng)過MAX函數(shù)運(yùn)算,這樣做理論上效率因該高一些,但在實(shí)際使用中幾乎看不到效果,
因?yàn)楸旧矶ㄎ籭d返回的就是1條記錄,MAX幾乎不用運(yùn)作就能得到結(jié)果,但這樣寫更清淅明朗,省去了畫蛇那一足.

可是,既然MySQL有l(wèi)imit可以直接控制取出記錄的位置,為什么不干脆用SELECT id FROM table limit 90000, 1呢?豈不更簡(jiǎn)潔?

?

tmp_table_size = 500mb //臨時(shí)表大小設(shè)置

//指定用于索引的緩沖區(qū)大小，增加它可得到更好的索引處理性能。
//對(duì)于內(nèi)存在4GB左右的服務(wù)器該參數(shù)可設(shè)置為256M或384M。
//注意：該參數(shù)值設(shè)置的過大反而會(huì)是服務(wù)器整體效率降低！
key_buffer_size = 384m

sort_buffer_size = 17mb //排序緩存

read_buffer_size=4m //讀取緩存

table_cache=256 //表緩存

ft_min_word_len //全文搜索

query_cache_size 查詢緩存

<?
#!/bin/sh
#######檢查mysql狀態(tài)
PORT=`netstat -na | grep "LISTEN" | grep "3306" | awk '{print $4}' | awk -F. '{print $2}'`
if [ "$PORT" -eq "3306" ]
??????? then
#######檢查mysql占CPU負(fù)載
??????? mysql_cpu=`top -U root -b -n 1 | grep mysql | awk '{print $10}'|awk -F. '{print $1}'`
##如果mysql cpu負(fù)載大于80，則重啟mysql
??????? if [ "$mysql_cpu" -ge "80" ]
??????????????? then
??????????????? ps xww |grep 'bin/mysqld_safe' |grep -v grep | awk '{print $1}' | xargs kill -9
??????????????? ps xww |grep 'libexec/mysqld' |grep -v grep | awk '{print $1}' | xargs kill -9
??????????????? sleep 5
??????????????? /usr/local/mysql/bin/mysqld_safe --user=root > /dev/null &
??????? else
??????????????? exit 0
??????? fi
else
???????? /usr/local/mysql/bin/mysqld_safe --user=root > /dev/null &
fi
?>

影響列數(shù)： 4999 (查詢花費(fèi) 0.1756 秒)
UPDATE `jobs_faces` SET postime = '1250784000' WHERE jid <505000 AND jid >500000

jobs_faces字段
字段 類型 整理 屬性 Null 默認(rèn) 額外 操作
jid int(10)?? UNSIGNED 否? auto_increment??????????????
oid int(10)?? UNSIGNED 否 0???????????????
cid mediumint(8)?? UNSIGNED 否 0???????????????
requests smallint(4)?? UNSIGNED 否 0???????????????
views mediumint(6)?? UNSIGNED 是 0???????????????
checked tinyint(1)?? UNSIGNED 否 0???????????????
istoped tinyint(1)?? UNSIGNED 否 0???????????????
postime int(10)?? UNSIGNED 否 0???????????????
losetime int(10)?? UNSIGNED 否 0???????????????
toped tinyint(1)?? UNSIGNED 否 0???????????????
toptime int(10)?? UNSIGNED 否 0???????????????
bold tinyint(1)?? UNSIGNED 否 0???????????????
highlight varchar(7) gbk_chinese_ci? 否????????????????
lightime int(10)?? UNSIGNED 否 0???????????????
people smallint(4)?? UNSIGNED 否 0???????????????
sex tinyint(1)?? UNSIGNED 否 0???????????????
djobskinds varchar(30) gbk_chinese_ci? 否????????????????
jname varchar(60) gbk_chinese_ci? 否

影響列數(shù)： 4999 (查詢花費(fèi) 0.2393 秒)
UPDATE `jobs_faces` SET postime = '1250784000' WHERE jid <455000 AND jid >450000

注意：要把php.ini中 extension=php_mbstring.dll 前的;號(hào)去掉，重啟apache就可以了。
我創(chuàng)建三個(gè)文件：text1.txt?? text2.txt?? text3.txt
分別以ASCII? UTF-8? UNICODE 的編碼方式保存

?

<?php
define ('UTF32_BIG_ENDIAN_BOM',? chr(0x00) . chr(0x00) . chr(0xFE) . chr(0xFF));
define ('UTF32_LITTLE_ENDIAN_BOM',? chr(0xFF) . chr(0xFE) . chr(0x00) . chr(0x00));
define ('UTF16_BIG_ENDIAN_BOM',? chr(0xFE) . chr(0xFF));
define ('UTF16_LITTLE_ENDIAN_BOM', chr(0xFF) . chr(0xFE));
define ('UTF8_BOM',? chr(0xEF) . chr(0xBB) . chr(0xBF));

function detect_utf_encoding($text) {
??? $first2 = substr($text, 0, 2);
??? $first3 = substr($text, 0, 3);
??? $first4 = substr($text, 0, 3);
? ?
??? if ($first3 == UTF8_BOM) return 'UTF-8';
??? elseif ($first4 == UTF32_BIG_ENDIAN_BOM) return 'UTF-32BE';
??? elseif ($first4 == UTF32_LITTLE_ENDIAN_BOM) return 'UTF-32LE';
??? elseif ($first2 == UTF16_BIG_ENDIAN_BOM) return 'UTF-16BE';
??? elseif ($first2 == UTF16_LITTLE_ENDIAN_BOM) return 'UTF-16LE';
}

function getFileEncoding($str){
??? $encoding=mb_detect_encoding($str);
??? if(empty($encoding)){
??????? $encoding=detect_utf_encoding($str);
??? }
??? return $encoding;
}

$file = 'text1.txt';
echo getFileEncoding(file_get_contents($file));? // 輸出ASCII
echo '<br />';

$file = 'text2.txt';
echo getFileEncoding(file_get_contents($file));? // 輸出UTF-8
echo '<br />';

$file = 'text3.txt';
echo getFileEncoding(file_get_contents($file));? // 輸出UTF-16LE
echo '<br />';
?>

1. 下載PostgreSQL數(shù)據(jù)庫zip版本

2.? 解壓到D盤，例如：D:\database\postgresql

3.? cmd窗口進(jìn)入D:\database\postgresq\bin，依次執(zhí)行如下命令：
set PGHOME=D:\database\postgresq
set PGDATA=%PGHOME%\data
set PGLIB=%PGHOME%\lib
set PGHOST=localhost
set PATH=%PGHOME%\bin;%PATH%

4.? 添加用戶

> 添加windows用戶，用于啟動(dòng)PostgreSQL的windows服務(wù)

D:\database\postgresql>net user postgres pgsqlpw /add /expires:never /passwordchg:no

> 為保證安全，此用戶不允許本地登錄
D:\database\postgresql>net localgroup users postgres /del

> 賦于windows用戶postgres訪問PostgreSQL安裝目錄的權(quán)限
D:\database\postgresql>cacls . /T /E /P postgres:R

5.? 初始化數(shù)據(jù)庫

> 切換到windows用戶postgres的命令行環(huán)境
D:\database\postgresql>runas /noprofile /env /user:postgres "cmd"

> 初始化數(shù)據(jù)庫,若不使用-U admin,則數(shù)據(jù)庫里自動(dòng)添加當(dāng)前windows用戶(即postgres)為數(shù)據(jù)庫帳號(hào)
D:\database\postgresql>bin\initdb -D "D:\database\postgresql\data" -E UTF-8? --locale=chs -A md5 -U admin -W

6. 啟動(dòng)PostgreSQL服務(wù)：
pg_ctl -D?D:\database\postgresql\data -l? D:\database\postgresql\pglog.txt start

7. 創(chuàng)建并連接數(shù)據(jù)庫：
createdb test
psql -h localhost -w -d test

8. 關(guān)閉PostgreSQL服務(wù)：
pg_ctl -D? D:\database\postgresql\data stop

9. 注冊(cè)為Windows服務(wù)：

> 注冊(cè)為windows服務(wù),當(dāng)前windows用戶(即postgres)將作為PostgreSQL服務(wù)的登錄用戶
D:\pgsql>bin\pg_ctl register -N PostgreSQL? -D “D:\database\postgresql\data”

> 啟動(dòng)PostgreSQL服務(wù)
D:\pgsql> sc start PostgreSQL

?

?

postgres=# select uuid_generate_v1();
uuid_generate_v1
--------------------------------------
86811bd4-22a5-11df-b00e-ebd863f5f8a7
(1 row)

postgres=# select uuid_generate_v4();
uuid_generate_v4
--------------------------------------
5edbfcbb-1df8-48fa-853f-7917e4e346db
(1 row)

主要就是uuid_generate_v1和uuid_generate_v4，當(dāng)然還有uuid_generate_v3和uuid_generate_v5。

其他使用可以參見PostgreSQL官方文檔?http://www.postgresql.org/docs/8.3/static/uuid-ossp.html

> memcache介紹
Memcached是一個(gè)高性能的分布式內(nèi)存對(duì)象緩存系統(tǒng)，用于動(dòng)態(tài)Web應(yīng)用以減輕數(shù)據(jù)庫負(fù)載。它通過在內(nèi)存中緩存數(shù)據(jù)和對(duì)象來減少讀取數(shù)據(jù)庫的次數(shù)，從而提供動(dòng)態(tài)、數(shù)據(jù)庫驅(qū)動(dòng)網(wǎng)站的速度。Memcached基于一個(gè)存儲(chǔ)鍵/值對(duì)的hashmap。其守護(hù)進(jìn)程（daemon ）是用C寫的，但是客戶端可以用任何語言來編寫，并通過memcached協(xié)議與守護(hù)進(jìn)程通信。但是它并不提供冗余（例如，復(fù)制其hashmap條目）；當(dāng)某個(gè)服務(wù)器S停止運(yùn)行或崩潰了，所有存放在S上的鍵/值對(duì)都將丟失。

Memcached官方：http://danga.com/memcached/

> memcache下載安裝
下載Windows的Server端，下載地址：http://code.jellycan.com/memcached/

安裝Memcache Server(也可以不安裝直接啟動(dòng))
1. 下載memcached的windows穩(wěn)定版，解壓放某個(gè)盤下面，比如在c:\memcached
2. 在CMD下輸入 "c:\memcached\memcached.exe -d install" 安裝.
3. 再輸入："c:\memcached\memcached.exe -d start" 啟動(dòng)。NOTE: 以后memcached將作為windows的一個(gè)服務(wù)每次開機(jī)時(shí)自動(dòng)啟動(dòng)。這樣服務(wù)器端已經(jīng)安裝完畢了。

如果下載的是二進(jìn)制的版本，直接運(yùn)行就可以了，可以加上參數(shù)來加以設(shè)置。

常用設(shè)置：
-p <num>????????? 監(jiān)聽的端口
-l <ip_addr>????? 連接的IP地址, 默認(rèn)是本機(jī)
-d start????????? 啟動(dòng)memcached服務(wù)
-d restart??????? 重起memcached服務(wù)
-d stop|shutdown? 關(guān)閉正在運(yùn)行的memcached服務(wù)
-d install??????? 安裝memcached服務(wù)
-d uninstall????? 卸載memcached服務(wù)
-u <username>???? 以<username>的身份運(yùn)行 (僅在以root運(yùn)行的時(shí)候有效)
-m <num>????????? 最大內(nèi)存使用，單位MB。默認(rèn)64MB
-M??????????????? 內(nèi)存耗盡時(shí)返回錯(cuò)誤，而不是刪除項(xiàng)
-c <num>????????? 最大同時(shí)連接數(shù)，默認(rèn)是1024
-f <factor>?????? 塊大小增長(zhǎng)因子，默認(rèn)是1.25
-n <bytes>??????? 最小分配空間，key+value+flags默認(rèn)是48
-h??????????????? 顯示幫助

然后就可以用java的memcached客戶端來試一下了。

1 echo()
可以同時(shí)輸出多個(gè)字符串,可以多個(gè)參數(shù),并不需要圓括號(hào),無返回值。

2 print()
只可以同時(shí)輸出一個(gè)字符串，一個(gè)參數(shù),需要圓括號(hào),有返回值,當(dāng)其執(zhí)行失敗時(shí)返flase .??? print 的用法和C語言很像，所以會(huì)對(duì)輸出內(nèi)容里的%做特殊解釋。
$a=print('hi');
echo $a;
//----------------------------
hi 1?? //1是$a的值。
//-----------------------------

3 die();??// 和exit()區(qū)別。
有兩個(gè)功能：先輸出內(nèi)容，然后退出程序。（常用在鏈接服務(wù)器，數(shù)據(jù)庫）
mysql_connect("locahost","root","root") or die("鏈接服務(wù)器失敗！");

4 printf();??? //f指format格式化
printf("參數(shù)1",參數(shù)2)：
參數(shù)1=按什么格式輸出；參數(shù)2=輸出的變量。
(%s:按字符串;%d:按整型;%b:按二進(jìn)制；%x:按16進(jìn)制；%X：按16進(jìn)制大寫輸出；%o:按八進(jìn)制; %f:按浮點(diǎn)型)

對(duì)于參數(shù)1，其格式如下：
%[ 'padding_character][-][width][.precision]type

說明：
所有轉(zhuǎn)換都以%開頭，如果想打印一個(gè)%，則必須用“%%”；
參數(shù)padding_character是可選的，用來填充變量直至指定的寬度，如：printf ("$%'a10.2f" , 43.2); //$aaaaa43.20，默認(rèn)是填充一個(gè)空格，如果指定了一個(gè)空格或0就不需要使用“'”做為前綴。對(duì)于任何其它前綴則必須指定單引號(hào)。
【-】是可選的，添加它則表明數(shù)據(jù)應(yīng)該左對(duì)齊。而不是默認(rèn)的右對(duì)齊，如上例加一個(gè)-則為：printf ("$%'a-10.2f" , 43.2); //$43.20aaaaa
whidth 表示在這里為將被替換的變量留下多少空間（按字符計(jì)算）。如上例的10(包括小數(shù)點(diǎn)).
precision則必須是一個(gè)小數(shù)點(diǎn)開始，表示小數(shù)位后面要顯示的位數(shù)。

函數(shù)，返回輸出字符個(gè)數(shù)，把文字格式化以后輸出，如：

printf ("$%01.2f" , 43.2); //$43.20

$表示填充的字符

0表示位數(shù)不夠在不影響原值的情況下補(bǔ)0
1表示輸出的總寬度
2表示小數(shù)位數(shù)，有四舍五入

%f 是表示顯示為一個(gè)浮點(diǎn)數(shù)

格式化命令及說明：

%% 印出百分比符號(hào)，不轉(zhuǎn)換。
%b 整數(shù)轉(zhuǎn)成二進(jìn)位。
%c 整數(shù)轉(zhuǎn)成對(duì)應(yīng)的 ASCII 字符。 如：printf ("$%c" , 65); // 輸出：A
%d 整數(shù)轉(zhuǎn)成十進(jìn)位。 如：printf ("$%d" , 65.53); // 輸出：65
%f 倍精確度數(shù)字轉(zhuǎn)成浮點(diǎn)數(shù)。
%o 整數(shù)轉(zhuǎn)成八進(jìn)位。
%s 整數(shù)轉(zhuǎn)成字符串。
%x 整數(shù)轉(zhuǎn)成小寫十六進(jìn)位。
%X 整數(shù)轉(zhuǎn)成大寫十六進(jìn)位

對(duì)于printf(),還可以使用帶序號(hào)并以$符號(hào)結(jié)束的參數(shù)方式來指定參數(shù)轉(zhuǎn)換的順序。如：
printf ("the total is $%2$.2f and subtotal: %1$.2f" , 65.55,37.2); //the total is $37.20 and subtotal: 65.55
如上：%2$.2f指定了使用第二個(gè)參數(shù)65.55，%1$.2f則指定用第一個(gè)參數(shù)37.20。

?? <?php
???? $num=100.001;
???? printf("%d",$num); //100
???? printf("%s",$num); //100.001
???? printf("%s---%d---%b---%x---%o---%f",$num,$num,$num,$num,$num,$num)
???? //100.001---100---1100100---64---144---1001.00100
???? printf("%.2f",$num); //100.00 (小數(shù)點(diǎn)保留2位)
???? printf("%.1f",$num); //100.0 (小數(shù)點(diǎn)保留1位)
???? printf("%`#10s",$num); // #10s
???? printf("%#10s",$num); //10s
?? ?>

5 sprintf();
此并不能直接輸出,先賦給一個(gè)變量，然后再輸出變量。
<?php
$num=100.001;
$a=sprintf("%d",$num);
echo $a; //100
?>

6 print_r();
功能：只用于輸出數(shù)組。
$a = array (1, 2, array ("a", "b", "c"));
print_r ($a);

返回：
Array ( [0] => 1 [1] => 2 [2] => Array ( [0] => a [1] => b [2] => c ) )

7 var_dump();
功能: 輸出變量的內(nèi)容，類型或字符串的內(nèi)容，類型，長(zhǎng)度。常用來調(diào)試。
<?php
$a=100;
var_dump($a); //int(100)

$a=100.356;
var_dump($a); //float(100.356)
?>

8.var_export ();
返回關(guān)于傳遞給該函數(shù)的變量的結(jié)構(gòu)信息，它和 var_dump() 類似，不同的是其返回的表示是合法的 PHP 代碼。
您可以通過將函數(shù)的第二個(gè)參數(shù)設(shè)置為 TRUE，從而返回變量的值。
<?php
$a = array (1, 2, array ("a", "b", "c"));
var_export ($a);
/* 輸出：
array (
0 => 1,
1 => 2,
2 =>
array (
?? 0 => 'a',
?? 1 => 'b',
?? 2 => 'c',
),
)
*/

$b = 3.1;
$v = var_export($b, TRUE);
echo $v;
/* 輸出：
3.1
*/
?>

mb_convert_encoding這個(gè)函數(shù)是用來轉(zhuǎn)換編碼的。原來一直對(duì)程序編碼這一概念不理解，不過現(xiàn)在好像有點(diǎn)開竅了。
不過英文一般不會(huì)存在編碼問題，只有中文數(shù)據(jù)才會(huì)有這個(gè)問題。比如你用Zend Studio或Editplus寫程序時(shí)，用的是gbk編碼，如果數(shù)據(jù)需要入數(shù)據(jù)庫，而數(shù)據(jù)庫的編碼為utf8時(shí)，這時(shí)就要把數(shù)據(jù)進(jìn)行編碼轉(zhuǎn)換，不然進(jìn)到數(shù)據(jù)庫就會(huì)變成亂碼。

mb_convert_encoding的用法見官方：
http://cn.php.net/manual/zh/function.mb-convert-encoding.php

做一個(gè)GBK To UTF-8
< ?php
header("content-Type: text/html; charset=Utf-8");
echo mb_convert_encoding("妳係我的友仔", "UTF-8", "GBK");
?>

再來個(gè)GB2312 To Big5
< ?php
header("content-Type: text/html; charset=big5");
echo mb_convert_encoding("你是我的朋友", "big5", "GB2312");
?>
不過要使用上面的函數(shù)需要安裝但是需要先enable mbstring 擴(kuò)展庫。

PHP中的另外一個(gè)函數(shù)iconv也是用來轉(zhuǎn)換字符串編碼的，與上函數(shù)功能相似。

下面還有一些詳細(xì)的例子：
iconv — Convert string to requested character encoding
(PHP 4 >= 4.0.5, PHP 5)
mb_convert_encoding — Convert character encoding
(PHP 4 >= 4.0.6, PHP 5)

用法：
string mb_convert_encoding ( string str, string to_encoding [, mixed from_encoding] )
需要先enable mbstring 擴(kuò)展庫，在 php.ini里將; extension=php_mbstring.dll 前面的 ; 去掉
mb_convert_encoding 可以指定多種輸入編碼，它會(huì)根據(jù)內(nèi)容自動(dòng)識(shí)別,但是執(zhí)行效率比iconv差太多；

string iconv ( string in_charset, string out_charset, string str )
注意：第二個(gè)參數(shù)，除了可以指定要轉(zhuǎn)化到的編碼以外，還可以增加兩個(gè)后綴：//TRANSLIT 和 //IGNORE，其中 //TRANSLIT 會(huì)自動(dòng)將不能直接轉(zhuǎn)化的字符變成一個(gè)或多個(gè)近似的字符，//IGNORE 會(huì)忽略掉不能轉(zhuǎn)化的字符，而默認(rèn)效果是從第一個(gè)非法字符截?cái)唷?/span>
Returns the converted string or FALSE on failure.

使用：
發(fā)現(xiàn)iconv在轉(zhuǎn)換字符”—”到gb2312時(shí)會(huì)出錯(cuò)，如果沒有ignore參數(shù)，所有該字符后面的字符串都無法被保存。不管怎么樣，這個(gè)”—”都無法轉(zhuǎn)換成功，無法輸出。 另外mb_convert_encoding沒有這個(gè)bug.

一般情況下用 iconv，只有當(dāng)遇到無法確定原編碼是何種編碼，或者iconv轉(zhuǎn)化后無法正常顯示時(shí)才用mb_convert_encoding 函數(shù).

from_encoding is specified by character code name before conversion. it can be array or string - comma separated enumerated list. If it is not specified, the internal encoding will be used.
/* Auto detect encoding from JIS, eucjp-win, sjis-win, then convert str to UCS-2LE */
$str = mb_convert_encoding($str, “UCS-2LE”, “JIS, eucjp-win, sjis-win”);
/* “auto” is expanded to “ASCII,JIS,UTF-8,EUC-JP,SJIS” */
$str = mb_convert_encoding($str, “EUC-JP”, “auto”);

例子：
$content = iconv(”GBK”, “UTF-8″, $content);
$content = mb_convert_encoding($content, “UTF-8″, “GBK”);

選擇【W(wǎng)indow】菜單
Preferences ——>General——>Editors——>Text Editors——>Hyperlinking

<?php
$photo? = 'http://www.xxx.com/uploads/5908618d80559a594164d984c5ca2b01_32.png';
if ($photo) {
??????? $http = new HttpRequest($photo, HTTP_METH_GET);
??????? try {
??????????????? $http->send();
??????? } catch(Exception $e) {
??????????????? try {
??????????????????????? $http->send();
??????????????? } catch (Exception $e) {
??????????????????????? try {
??????????????????????????????? $http->send();
??????????????????????? } catch (Exception $e) {
??????????????????????????????? echo 'error occured while loading file.';
??????????????????????????????? exit;
??????????????????????? }
??????????????? }
??????? }
??????? if ($http->getResponseCode() == 200) {
??????????????? $header = $http->getResponseHeader();
??????????????? if (strstr($header['Content-Type'], 'image') !== FALSE) {
???????????????????? echo base64_encode($http->getResponseBody());
??????????????? }
??????? }
}
?>

今天在MySQL中建立了一張表，其中一個(gè)字段是order，通過jdbc往里面插數(shù)據(jù)一直報(bào)錯(cuò)，好長(zhǎng)時(shí)間找不到原因

結(jié)果把order字段的名稱改成別的，居然成功插入數(shù)據(jù)，看來是MySQL字段列名不能使用insert、order等關(guān)鍵字

> 添加curl擴(kuò)展

1.在C\windows里的php.ini中我打開了extension=php_curl.dll的功能

2.把php目錄中的libeay32.dll,ssleay32.dll拷到c:\windows\system32里

3.重新啟動(dòng)Apache

> 代碼

<?php
?? //初始化curl
?? $ch = curl_init() or die (curl_error());
?? echo "Test for searching 'php' in baidu.";
?? //設(shè)置URL參數(shù)
?? curl_setopt($ch,CURLOPT_URL,"http://www.baidu.com/s?wd=php");
?? //要求CURL返回?cái)?shù)據(jù)
?? curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
?? //執(zhí)行請(qǐng)求
?? $result = curl_exec($ch) or die (curl_error());
?? //取得返回的結(jié)果，并顯示
?? echo $result;
?? echo curl_error($ch);
?? //關(guān)閉CURL
?? curl_close($ch);
?>

> 效果

>CURL函數(shù)庫(Client URL Library Function)

curl_close — 關(guān)閉一個(gè)curl會(huì)話
curl_copy_handle — 拷貝一個(gè)curl連接資源的所有內(nèi)容和參數(shù)
curl_errno — 返回一個(gè)包含當(dāng)前會(huì)話錯(cuò)誤信息的數(shù)字編號(hào)
curl_error — 返回一個(gè)包含當(dāng)前會(huì)話錯(cuò)誤信息的字符串
curl_exec — 執(zhí)行一個(gè)curl會(huì)話
curl_getinfo — 獲取一個(gè)curl連接資源句柄的信息
curl_init — 初始化一個(gè)curl會(huì)話
curl_multi_add_handle — 向curl批處理會(huì)話中添加單獨(dú)的curl句柄資源
curl_multi_close — 關(guān)閉一個(gè)批處理句柄資源
curl_multi_exec — 解析一個(gè)curl批處理句柄
curl_multi_getcontent — 返回獲取的輸出的文本流
curl_multi_info_read — 獲取當(dāng)前解析的curl的相關(guān)傳輸信息
curl_multi_init — 初始化一個(gè)curl批處理句柄資源
curl_multi_remove_handle — 移除curl批處理句柄資源中的某個(gè)句柄資源
curl_multi_select — Get all the sockets associated with the cURL extension, which can then be "selected"
curl_setopt_array — 以數(shù)組的形式為一個(gè)curl設(shè)置會(huì)話參數(shù)
curl_setopt — 為一個(gè)curl設(shè)置會(huì)話參數(shù)
curl_version — 獲取curl相關(guān)的版本信息

關(guān)鍵詞：php抓取 ? php庫函數(shù)?? curl?? php常用函數(shù)

> 函數(shù)date(format,timestamp)
format???????? 必需。規(guī)定時(shí)間戳的格式。
timestamp????? 可選。規(guī)定時(shí)間戳。默認(rèn)是當(dāng)前的日期和時(shí)間。
<?php
echo date("Y/m/d");
echo "<br />";
echo date("Y.m.d");
echo "<br />";
echo date("Y-m-d");
?>

> 格式化當(dāng)前時(shí)間

<?php echo $showtime=date("Y-m-d H:i:s");?>
顯示的格式: 年-月-日 小時(shí):分鐘:妙
相關(guān)時(shí)間參數(shù):
a - "am" 或是 "pm"
A - "AM" 或是 "PM"
d - 幾日，二位數(shù)字，若不足二位則前面補(bǔ)零; 如: "01" 至 "31"
D - 星期幾，三個(gè)英文字母; 如: "Fri"
F - 月份，英文全名; 如: "January"
h - 12 小時(shí)制的小時(shí); 如: "01" 至 "12"
H - 24 小時(shí)制的小時(shí); 如: "00" 至 "23"
g - 12 小時(shí)制的小時(shí)，不足二位不補(bǔ)零; 如: "1" 至 12"
G - 24 小時(shí)制的小時(shí)，不足二位不補(bǔ)零; 如: "0" 至 "23"
i - 分鐘; 如: "00" 至 "59"
j - 幾日，二位數(shù)字，若不足二位不補(bǔ)零; 如: "1" 至 "31"
l - 星期幾，英文全名; 如: "Friday"
m - 月份，二位數(shù)字，若不足二位則在前面補(bǔ)零; 如: "01" 至 "12"
n - 月份，二位數(shù)字，若不足二位則不補(bǔ)零; 如: "1" 至 "12"
M - 月份，三個(gè)英文字母; 如: "Jan"
s - 秒; 如: "00" 至 "59"
S - 字尾加英文序數(shù)，二個(gè)英文字母; 如: "th"，"nd"
t - 指定月份的天數(shù); 如: "28" 至 "31"
U - 總秒數(shù)
w - 數(shù)字型的星期幾，如: "0" (星期日) 至 "6" (星期六)
Y - 年，四位數(shù)字; 如: "1999"
y - 年，二位數(shù)字; 如: "99"
z - 一年中的第幾天; 如: "0" 至 "365"

?

關(guān)鍵詞： php學(xué)習(xí)?? php教程? php格式化時(shí)間?? php函數(shù)? date()

?

C:\windows\php.ini

extension=php_xdebug.dll
xdebug.profiler_enable=on
xdebug.trace_output_dir="C:/www/test/xdebug"
xdebug.profiler_output_dir="C:/www/test/xdebug"

?

xdebug.default_enable = On
xdebug.show_exception_trace = On // 設(shè)置為On后，即使捕捉到異常,代碼行仍將強(qiáng)制執(zhí)行異常跟蹤.
xdebug.show_local_vars = 1??? // 將打印每個(gè)函數(shù)調(diào)用的最外圍中的所有局部變量,包括尚未初始化的變量
xdebug.max_nesting_level = 50
xdebug.var_display_max_depth = 6 // 表示轉(zhuǎn)儲(chǔ)復(fù)雜變量的深度.

xdebug.dump_once = On
xdebug.dump_globals = On

// 如果進(jìn)一步將 xdebug.dump_undefined 設(shè)為 On 并且不設(shè)定指定的超全局變量,則仍用值 undefined 打印變量.
xdebug.dump_undefined = On
xdebug.dump.REQUEST = *

// 將打印 PHP 超全局變量 $_SERVER['REQUEST_METHOD']、$_SERVER['REQUEST_URI'] 和 $_SERVER['HTTP_USER_AGENT'].
xdebug.dump.SERVER = REQUEST_METHOD,REQUEST_URI,HTTP_USER_AGENT

xdebug.trace_format? 設(shè)為 0則輸出將符合人類閱讀習(xí)慣(將參數(shù)設(shè)為 1 則為機(jī)器可讀格式).
xdebug.show_mem_delta = 1 則可以查看內(nèi)存使用量是在增加還是在減少,????
xdebug.collect_params = 4 則可以查看傳入?yún)?shù)的類型和值.要監(jiān)視每個(gè)函數(shù)返回的值,請(qǐng)?jiān)O(shè)定 xdebug.collect_return = 1.

PHP Warning:? Xdebug MUST be loaded as a Zend extension in Unknown on line 0?出錯(cuò)解決

;extension=php_xdebug.dll
zend_extension_ts="C:/php/ext/php_xdebug.dll"????? //以zend方式加載
xdebug.profiler_enable=on
xdebug.trace_output_dir="C:/www/test/xdebug"
xdebug.profiler_output_dir="C:/www/test/xdebug"

?

本文主要介紹PHP5.2.11 + Apache2.2.19 + MySQL5.1.45的PHP集成運(yùn)行環(huán)境的搭建(Windows XP SP3操作系統(tǒng)環(huán)境)

> 安裝并配置APACHE(安裝到C:\apache)

?? 1、安裝時(shí)默認(rèn)安裝，Network Domain, Server Name 我填寫我的計(jì)算機(jī)名，Administrator's Email Address區(qū)域填你的郵件地址
?? 2、安裝完后在安裝目錄下有個(gè)conf文件夾，打開httpd.conf文件進(jìn)行配置
??????? ·找到 DocumentRoot ，將其設(shè)置為你所要存放php, htm等網(wǎng)頁文件的文件夾，如 "D:\phpapache\Apache2.2\htdocs"；
??????? ·找到 DirectoryIndex ，在index.html后添加index.php, index.htm等，以單個(gè)空格將其分開；
??????? ·重啟Apache，用http://localhost或http://127.0.0.1或http://yourcompanyname測(cè)試是否成功。成功的話屏幕會(huì)有個(gè)It works!

> 安裝配置PHP(解壓PHP壓縮包到C:\php)

?? 1、將php.ini-recommended文件重命名為php.ini并將其剪到系統(tǒng)所在目錄下(如放在2000/NT的WINNT, XP的Windows目錄下),
?? 2、將extension_dir 改為php/ext所在目錄，如 "C:\php\ext"；
?? 3、將doc_root 改為第一步中的同樣目錄，如 "C:\apache\htdocs"；
?? 4、找到 ;session.save_path = "/tmp" ,將';'去掉,設(shè)置你保存session的目錄，如session.save_path = "C:/php/tmp"；
?? 5、然后把下面幾句前面的分號(hào)去掉,以更好支持Mysql and PHPmyadmin
??????? extension=php_mbstring.dll
??????? extension=php_gd2.dll
??????? extension=php_mysql.dll
??????? extension=php_pdo.dll
??????? extension=php_pdo_mysql.dll

> PHP+APACHE整合

?? 1、允許Apache將PHP程序作為模塊來運(yùn)行:
?????????? 打開httpd.conf,添加下面內(nèi)容(位置任意)：
???????????? LoadModule php5_module "C:/php/php5apache2_2.dll"

???????????? AddType application/x-httpd-php .php
???????????? AddType application/x-httpd-php .htm
??????????? （.htm, .php為可執(zhí)行php語言的擴(kuò)展名，也可加html, php3, php4,甚至txt）
?????????? （以下兩步可以不需要）
?? 2、如果你出于某種原因而需要在CGI模式中運(yùn)行PHP程序（使用Php.exe），
????????? 請(qǐng)將上面這一行變成注釋（各行頭加#即可），添加下面這些行：
?????????? # ScriptAlias /php/ "C:/php/"
?????????? # AddType application/x-httpd-php .php
?????????? #Action application/x-httpd-php "/php/php-cgi.exe"
?? 3、現(xiàn)在apache 2 支持HTML而不支持PHP,先把下面幾句加到C:\apache\conf\httpd.conf去:
?????????? # ScriptAlias /php/ "C:/php/"
?????????? # AddType application/x-httpd-php .php
?????????? #Action application/x-httpd-php "/php/php-cgi.exe"

> 重啟服務(wù)，測(cè)試環(huán)境

?? 1、在C:\php里找到php5ts.dll,libmysql.dll將其復(fù)制到C:\winnt\system32下(winNT/2000的機(jī)器),而winXP/2003是復(fù)制到C:\windows\system32下
?? 2、測(cè)試Apache與php是否連接成功：
????????? 啟動(dòng)start apache服務(wù)或者正在運(yùn)行的就重新啟動(dòng)restart apache
?? 3、在Web根目錄下新建test.php（即C:\apache\htdocs目下）
?????????? <html>
?????????? <head><title>test</title></head>
?????????? <body>
??????????? <?php
????????????? phpinfo();
??????????? ?>
???????? </body>
????????? </html>

?? 4、運(yùn)行http://localhost/test.php
???????? 如果成功，則應(yīng)該看到一個(gè)含有PHP徽標(biāo)的網(wǎng)頁，其中包含大量設(shè)置和其他信息
???????? 那么恭喜你，環(huán)境已經(jīng)搭建成功！

?

關(guān)鍵詞：PHP?? PHP5? Apache? MySQL? PHP運(yùn)行環(huán)境?

　　”…在很多領(lǐng)域，專家的作用體現(xiàn)在他們的專業(yè)知識(shí)上而不是智力上。“

　　--Don Reinertsen

　　領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)(Domain Driven Design)是一種軟件開發(fā)方法，目的是讓軟件系統(tǒng)在實(shí)現(xiàn)時(shí)準(zhǔn)確的基于對(duì)真實(shí)業(yè)務(wù)過程的建模并根據(jù)真實(shí)業(yè)務(wù)過程的調(diào)整而調(diào)整。

　　傳統(tǒng)的開發(fā)工作趨向于一種以技術(shù)為先導(dǎo)的過程，需求從業(yè)務(wù)方傳遞到開發(fā)團(tuán)隊(duì)，開發(fā)人員依據(jù)需求上的描述創(chuàng)造出最有可能的假想。

　　在瀑布開發(fā)過程中，這導(dǎo)致了大量的需要頻繁校對(duì)，分析，復(fù)核和審批的需求文檔。之后這些文檔被交給開發(fā)團(tuán)隊(duì)去變成能夠運(yùn)行的軟件。

　　敏捷開發(fā)方法同樣可以采納瀑布模式過程中產(chǎn)生的需求文檔，但敏捷方法在實(shí)際的處理過程中會(huì)把它們分成很小的任務(wù)和“故事”，之后的開發(fā)工作將依據(jù)這些任務(wù)的排序。

　　領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)很大程度上使你從這兩種截然不同的結(jié)果中抽身出來，讓你能看到需求是如何在第一現(xiàn)場(chǎng)被收集到——如果你愿意看的話，它在動(dòng)手先做的方式和在最后一分鐘才做的方式之間做了彌補(bǔ)。

　　領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)方式知道需求是永遠(yuǎn)不會(huì)“完成”的，需求就像一個(gè)活的文檔。更重要的是，這些仍待討論的活文檔實(shí)際上就是軟件自身——所有的文檔都是程序代碼的一種影像，一種演示品。

　　隨著軟件系統(tǒng)的開發(fā)和發(fā)展，你對(duì)各種問題的理解也會(huì)更深——領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)就是要通過深入的理解問題來找到問題的解決方案。

　　然而，領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)真正的不同之處卻是，它把軟件系統(tǒng)當(dāng)作業(yè)務(wù)過程的一個(gè)影射，是使能動(dòng)，而不是驅(qū)動(dòng)。領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)是要你深入到業(yè)務(wù)過程中，了解業(yè)務(wù)術(shù)語和實(shí)踐方法。技術(shù)方面的事被放在了第二位，只是最終的一種手段而已。

　　Ubiquitous語言(UL)是領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)的中心——這是一種共有的不斷成長(zhǎng)的語言。它是一種來源于業(yè)務(wù)術(shù)語、經(jīng)過開發(fā)團(tuán)隊(duì)的補(bǔ)充而產(chǎn)生 的協(xié)商后的語言。如果一個(gè)業(yè)務(wù)人員不懂得UL里的一個(gè)術(shù)語，有可能是UL需要改進(jìn)發(fā)展。如果一個(gè)技術(shù)人員不懂得UL里的一個(gè)術(shù)語，有可能是他們需要跟領(lǐng)域 專家進(jìn)行交流。

　　領(lǐng)域?qū)＜沂穷I(lǐng)域驅(qū)動(dòng)設(shè)計(jì)里第二重要的組成部分——這些人能夠?qū)@個(gè)領(lǐng)域有深入的了解，包括這個(gè)業(yè)務(wù)本身。這些人構(gòu)成了開發(fā)過程中必要的組成部 分。他們也許像一些敏捷開發(fā)方法里傳統(tǒng)的產(chǎn)品擁有者那樣不需要“全天候”的在職，但他們必須在開發(fā)過程中能被持續(xù)的接觸到，而且隨時(shí)準(zhǔn)備好參與到開發(fā)過程 中。領(lǐng)域?qū)＜也荒鼙划?dāng)作門外人，而應(yīng)被當(dāng)作領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)過程中的核心——他們非常像是開發(fā)團(tuán)隊(duì)中的一部分，就像普通的開發(fā)者和測(cè)試者一樣。

　　領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)沒有開始和結(jié)束——它是一個(gè)不斷的再評(píng)估，再重構(gòu)，再建模，再設(shè)計(jì)的持續(xù)過程——每一次的對(duì)話都會(huì)使你對(duì)問題有更進(jìn)一步的理解。領(lǐng) 域驅(qū)動(dòng)設(shè)計(jì)沒有“完成”點(diǎn)——它永遠(yuǎn)都在進(jìn)行；Ubiquitous語言會(huì)不斷發(fā)展和成長(zhǎng)，領(lǐng)域模型隨著對(duì)業(yè)務(wù)理解的改變而改變，代碼不斷的再組織和重構(gòu) 來更好的表現(xiàn)你的理解。

　　各種模擬產(chǎn)物產(chǎn)生又拋棄，而唯一真正有意義的只有代碼。它是解決方案的唯一表達(dá)，是一種不再抽象的表達(dá)。文檔是用來解釋和描述系統(tǒng)的，而只有代 碼能不失分毫的做到這些。這就是說，在領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)里，代碼必須保持高質(zhì)量，要清晰，要有表達(dá)力，沒有技術(shù)上省略和專門用語，盡可能的要讓代碼能夠在被解 釋時(shí)對(duì)領(lǐng)域?qū)＜矣行┮饬x。

　　領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)里沒有精巧的代碼，也沒有奇特的處理過程，或“你不需要知道”的模塊。領(lǐng)域?qū)＜也恍枰蔀殚_發(fā)人員來理解軟件系統(tǒng)里用來做這些工作的關(guān)鍵部分是什么。他們同樣也不需要考慮數(shù)據(jù)庫或批處理任務(wù)或其他技術(shù)相關(guān)的方面。

　　領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)是敏捷方法的終極表達(dá)——它是用來處理不斷變化和發(fā)展的需求的——正如任何一個(gè)從未涉足軟件項(xiàng)目的人都知道——一個(gè)項(xiàng)目的需求從開始到結(jié)束保持一成不變是極其罕見的，絕大多數(shù)情況是它會(huì)隨著業(yè)務(wù)的增長(zhǎng)和變化而變化。

　　通過不斷的交流，領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)會(huì)指導(dǎo)你用軟件最精確的表達(dá)你的業(yè)務(wù)過程。

?

關(guān)鍵詞：領(lǐng)域模型???? 設(shè)計(jì)???? 領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)