HttpClient 是我最近想研究的東西，以前想過(guò)的一些應(yīng)用沒(méi)能有很好的實(shí)現(xiàn)，發(fā)現(xiàn)這個(gè)開(kāi)源項(xiàng)目之后就有點(diǎn)眉目了，令人頭痛的cookie問(wèn)題還是有辦法解決滴。在網(wǎng)上整理了一些東西，寫得很好，寄放在這里。

HTTP 協(xié)議可能是現(xiàn)在 Internet 上使用得最多、最重要的協(xié)議了，越來(lái)越多的 Java 應(yīng)用程序需要直接通過(guò) HTTP 協(xié)議來(lái)訪問(wèn)網(wǎng)絡(luò)資源。雖然在 JDK 的 java.net 包中已經(jīng)提供了訪問(wèn) HTTP 協(xié)議的基本功能，但是對(duì)于大部分應(yīng)用程序來(lái)說(shuō)，JDK 庫(kù)本身提供的功能還不夠豐富和靈活。HttpClient 是 Apache Jakarta Common 下的子項(xiàng)目，用來(lái)提供高效的、最新的、功能豐富的支持 HTTP 協(xié)議的客戶端編程工具包，并且它支持 HTTP 協(xié)議最新的版本和建議。HttpClient 已經(jīng)應(yīng)用在很多的項(xiàng)目中，比如 Apache Jakarta 上很著名的另外兩個(gè)開(kāi)源項(xiàng)目 Cactus 和 HTMLUnit 都使用了 HttpClient，更多使用 HttpClient 的應(yīng)用可以參見(jiàn)http://wiki.apache.org/jakarta-httpclient/HttpClientPowered。HttpClient 項(xiàng)目非常活躍，使用的人還是非常多的。目前 HttpClient 版本是在 2005.10.11 發(fā)布的 3.0 RC4 。

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

應(yīng)用HttpClient來(lái)對(duì)付各種頑固的WEB服務(wù)器
轉(zhuǎn)自：http://blog.csdn.net/ambitiontan/archive/2006/01/06/572171.aspx

一般的情況下我們都是使用IE或者Navigator瀏覽器來(lái)訪問(wèn)一個(gè)WEB服務(wù)器，用來(lái)瀏覽頁(yè)面查看信息或者提交一些數(shù)據(jù)等等。所訪問(wèn)的這些頁(yè)面有的僅僅是一些普通的頁(yè)面，有的需要用戶登錄后方可使用，或者需要認(rèn)證以及是一些通過(guò)加密方式傳輸，例如HTTPS。目前我們使用的瀏覽器處理這些情況都不會(huì)構(gòu)成問(wèn)題。不過(guò)你可能在某些時(shí)候需要通過(guò)程序來(lái)訪問(wèn)這樣的一些頁(yè)面，比如從別人的網(wǎng)頁(yè)中“偷”一些數(shù)據(jù)；利用某些站點(diǎn)提供的頁(yè)面來(lái)完成某種功能，例如說(shuō)我們想知道某個(gè)手機(jī)號(hào)碼的歸屬地而我們自己又沒(méi)有這樣的數(shù)據(jù)，因此只好借助其他公司已有的網(wǎng)站來(lái)完成這個(gè)功能，這個(gè)時(shí)候我們需要向網(wǎng)頁(yè)提交手機(jī)號(hào)碼并從返回的頁(yè)面中解析出我們想要的數(shù)據(jù)來(lái)。如果對(duì)方僅僅是一個(gè)很簡(jiǎn)單的頁(yè)面，那我們的程序會(huì)很簡(jiǎn)單，本文也就沒(méi)有必要大張旗鼓的在這里浪費(fèi)口舌。但是考慮到一些服務(wù)授權(quán)的問(wèn)題，很多公司提供的頁(yè)面往往并不是可以通過(guò)一個(gè)簡(jiǎn)單的URL就可以訪問(wèn)的，而必須經(jīng)過(guò)注冊(cè)然后登錄后方可使用提供服務(wù)的頁(yè)面，這個(gè)時(shí)候就涉及到COOKIE問(wèn)題的處理。我們知道目前流行的動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)例如ASP、JSP無(wú)不是通過(guò)COOKIE來(lái)處理會(huì)話信息的。為了使我們的程序能使用別人所提供的服務(wù)頁(yè)面，就要求程序首先登錄后再訪問(wèn)服務(wù)頁(yè)面，這過(guò)程就需要自行處理cookie，想想當(dāng)你用java.net.HttpURLConnection來(lái)完成這些功能時(shí)是多么恐怖的事情啊！況且這僅僅是我們所說(shuō)的頑固的WEB服務(wù)器中的一個(gè)很常見(jiàn)的“頑固”！再有如通過(guò)HTTP來(lái)上傳文件呢？不需要頭疼，這些問(wèn)題有了“它”就很容易解決了！

我們不可能列舉所有可能的頑固，我們會(huì)針對(duì)幾種最常見(jiàn)的問(wèn)題進(jìn)行處理。當(dāng)然了，正如前面說(shuō)到的，如果我們自己使用java.net.HttpURLConnection來(lái)搞定這些問(wèn)題是很恐怖的事情，因此在開(kāi)始之前我們先要介紹一下一個(gè)開(kāi)放源碼的項(xiàng)目，這個(gè)項(xiàng)目就是Apache開(kāi)源組織中的httpclient，它隸屬于Jakarta的commons項(xiàng)目，目前的版本是2.0RC2。commons下本來(lái)已經(jīng)有一個(gè)net的子項(xiàng)目，但是又把httpclient單獨(dú)提出來(lái)，可見(jiàn)http服務(wù)器的訪問(wèn)絕非易事。

Commons-httpclient項(xiàng)目就是專門設(shè)計(jì)來(lái)簡(jiǎn)化HTTP客戶端與服務(wù)器進(jìn)行各種通訊編程。通過(guò)它可以讓原來(lái)很頭疼的事情現(xiàn)在輕松的解決，例如你不再管是HTTP或者HTTPS的通訊方式，告訴它你想使用HTTPS方式，剩下的事情交給httpclient替你完成。本文會(huì)針對(duì)我們?cè)诰帉慔TTP客戶端程序時(shí)經(jīng)常碰到的幾個(gè)問(wèn)題進(jìn)行分別介紹如何使用httpclient來(lái)解決它們，為了讓讀者更快的熟悉這個(gè)項(xiàng)目我們最開(kāi)始先給出一個(gè)簡(jiǎn)單的例子來(lái)讀取一個(gè)網(wǎng)頁(yè)的內(nèi)容，然后循序漸進(jìn)解決掉前進(jìn)中的所有問(wèn)題。

1． 讀取網(wǎng)頁(yè)(HTTP/HTTPS)內(nèi)容

下面是我們給出的一個(gè)簡(jiǎn)單的例子用來(lái)訪問(wèn)某個(gè)頁(yè)面

/*
* Created on 2003-12-14 by Liudong
*/

package http.demo;
import java.io.IOException;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.methods.*;

/** 
 *最簡(jiǎn)單的HTTP客戶端,用來(lái)演示通過(guò)GET或者POST方式訪問(wèn)某個(gè)頁(yè)面
  *@authorLiudong
*/

public class SimpleClient {
public static void main(String[] args) throws IOException
{
  HttpClient client = new HttpClient();
      // 設(shè)置代理服務(wù)器地址和端口      

      //client.getHostConfiguration().setProxy("proxy_host_addr",proxy_port); 
      // 使用 GET 方法 ，如果服務(wù)器需要通過(guò) HTTPS 連接，那只需要將下面 URL 中的 http 換成 https
         HttpMethodmethod=newGetMethod("http://java.sun.com");
      //使用POST方法
      //HttpMethod method = new PostMethod("http://java.sun.com");
      client.executeMethod(method);

      //打印服務(wù)器返回的狀態(tài)
       System.out.println(method.getStatusLine());
      //打印返回的信息
      System.out.println(method.getResponseBodyAsString());
      //釋放連接
      method.releaseConnection();
   }
}

在這個(gè)例子中首先創(chuàng)建一個(gè)HTTP客戶端(HttpClient)的實(shí)例，然后選擇提交的方法是GET或者POST，最后在HttpClient實(shí)例上執(zhí)行提交的方法，最后從所選擇的提交方法中讀取服務(wù)器反饋回來(lái)的結(jié)果。這就是使用HttpClient的基本流程。其實(shí)用一行代碼也就可以搞定整個(gè)請(qǐng)求的過(guò)程，非常的簡(jiǎn)單！

package http.demo;
import java.io.IOException;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.methods.*;

/** 
 *提交參數(shù)演示
 *該程序連接到一個(gè)用于查詢手機(jī)號(hào)碼所屬地的頁(yè)面
 *以便查詢號(hào)碼段1330227所在的省份以及城市
 *@authorLiudong
 */

public class SimpleHttpClient { 
   public static void main(String[] args) throws IOException {
      HttpClient client = new HttpClient();
      client.getHostConfiguration().setHost( "www.imobile.com.cn" , 80, "http" );
      method = getPostMethod();    // 使用 POST 方式提交數(shù)據(jù) 
      client.executeMethod(method);   //打印服務(wù)器返回的狀態(tài) 
      System.out.println(method.getStatusLine());   //打印結(jié)果頁(yè)面
      Stringresponse=newString(method.getResponseBodyAsString().getBytes("8859_1"));

      //打印返回的信息
      System.out.println(response);
      method.releaseConnection();
   }

   /** 
    * 使用 GET 方式提交數(shù)據(jù) 
    *@return 
    */

   privatestaticHttpMethodgetGetMethod(){
      returnnewGetMethod("/simcard.php?simcard=1330227");
   }

    /** 
     * 使用 POST 方式提交數(shù)據(jù) 
     *@return 
     */

    private static HttpMethod getPostMethod(){
      PostMethod post = new PostMethod( "/simcard.php" );
      NameValuePair simcard = new NameValuePair( "simcard" , "1330227" );
      post.setRequestBody( new NameValuePair[] { simcard});
      return post;
   }
}

在上面的例子中頁(yè)面http://www.imobile.com.cn/simcard.php需要一個(gè)參數(shù)是simcard，這個(gè)參數(shù)值為手機(jī)號(hào)碼段，即手機(jī)號(hào)碼的前七位，服務(wù)器會(huì)返回提交的手機(jī)號(hào)碼對(duì)應(yīng)的省份、城市以及其他詳細(xì)信息。GET的提交方法只需要在URL后加入?yún)?shù)信息，而POST則需要通過(guò)NameValuePair類來(lái)設(shè)置參數(shù)名稱和它所對(duì)應(yīng)的值。

3． 處理頁(yè)面重定向

在JSP/Servlet編程中response.sendRedirect方法就是使用HTTP協(xié)議中的重定向機(jī)制。它與JSP中的<jsp:forward …>的區(qū)別在于后者是在服務(wù)器中實(shí)現(xiàn)頁(yè)面的跳轉(zhuǎn)，也就是說(shuō)應(yīng)用容器加載了所要跳轉(zhuǎn)的頁(yè)面的內(nèi)容并返回給客戶端；而前者是返回一個(gè)狀態(tài)碼，這些狀態(tài)碼的可能值見(jiàn)下表，然后客戶端讀取需要跳轉(zhuǎn)到的頁(yè)面的URL并重新加載新的頁(yè)面。就是這樣一個(gè)過(guò)程，所以我們編程的時(shí)候就要通過(guò)HttpMethod.getStatusCode()方法判斷返回值是否為下表中的某個(gè)值來(lái)判斷是否需要跳轉(zhuǎn)。如果已經(jīng)確認(rèn)需要進(jìn)行頁(yè)面跳轉(zhuǎn)了，那么可以通過(guò)讀取HTTP頭中的location屬性來(lái)獲取新的地址。

package http.demo;
import org.apache.commons.httpclient.*;
import org.apache.commons.httpclient.cookie.*;
import org.apache.commons.httpclient.methods.*;

/**
 * 用來(lái)演示登錄表單的示例
 * @author Liudong
 */

public class FormLoginDemo {
   static final String LOGON_SITE = "localhost" ;
   static final int     LOGON_PORT = 8080;

   public static void main(String[] args) throws Exception{
      HttpClient client = new HttpClient();
      client.getHostConfiguration().setHost(LOGON_SITE, LOGON_PORT);

      // 模擬登錄頁(yè)面 login.jsp->main.jsp
      PostMethod post = new PostMethod( "/main.jsp" );
      NameValuePair name = new NameValuePair( "name" , "ld" );
      NameValuePair pass = new NameValuePair( "password" , "ld" );
      post.setRequestBody( new NameValuePair[]{name,pass});
      int status = client.executeMethod(post);
      System.out.println(post.getResponseBodyAsString());
      post.releaseConnection();

      // 查看 cookie 信息
      CookieSpec cookiespec = CookiePolicy.getDefaultSpec();
      Cookie[] cookies = cookiespec.match(LOGON_SITE, LOGON_PORT, "/" , false , client.getState().getCookies());
      if (cookies.length == 0) {
         System.out.println( "None" );
      } else {
         for ( int i = 0; i < cookies.length; i++) {
            System.out.println(cookies[i].toString());
         }
      }

      // 訪問(wèn)所需的頁(yè)面 main2.jsp 
      GetMethodget=newGetMethod("/main2.jsp");
      client.executeMethod(get);
      System.out.println(get.getResponseBodyAsString());
      get.releaseConnection();
   }
}

5． 提交XML格式參數(shù)

提交XML格式的參數(shù)很簡(jiǎn)單，僅僅是一個(gè)提交時(shí)候的ContentType問(wèn)題，下面的例子演示從文件文件中讀取XML信息并提交給服務(wù)器的過(guò)程，該過(guò)程可以用來(lái)測(cè)試Web服務(wù)。

/** 
 *用來(lái)演示提交XML格式數(shù)據(jù)的例子
*/

public class PostXMLClient {

   public static void main(String[] args) throws Exception {
      File input = new File(“test.xml”);
      PostMethod post = new PostMethod(“http://localhost:8080/httpclient/xml.jsp”);

      // 設(shè)置請(qǐng)求的內(nèi)容直接從文件中讀取
      post.setRequestBody( new FileInputStream(input)); 
      if (input.length() < Integer.MAX_VALUE)
         post.setRequestContentLength(input.length());
      else
         post.setRequestContentLength(EntityEnclosingMethod.CONTENT_LENGTH_CHUNKED);

      // 指定請(qǐng)求內(nèi)容的類型
      post.setRequestHeader( "Content-type" , "text/xml; charset=GBK" );
      HttpClient httpclient = new HttpClient();
      int result = httpclient.executeMethod(post);
      System.out.println( "Response status code: " + result);
      System.out.println( "Response body: " );
      System.out.println(post.getResponseBodyAsString()); 
      post.releaseConnection(); 
   }
}

6． 通過(guò)HTTP上傳文件

httpclient使用了單獨(dú)的一個(gè)HttpMethod子類來(lái)處理文件的上傳，這個(gè)類就是MultipartPostMethod，該類已經(jīng)封裝了文件上傳的細(xì)節(jié)，我們要做的僅僅是告訴它我們要上傳文件的全路徑即可，下面的代碼片段演示如何使用這個(gè)類。

// 由于要上傳的文件可能比較大 , 因此在此設(shè)置最大的連接超時(shí)時(shí)間
client.getHttpConnectionManager(). getParams().setConnectionTimeout(5000);
int status = client.executeMethod(filePost);

上面代碼中，targetFilePath即為要上傳的文件所在的路徑。

7． 訪問(wèn)啟用認(rèn)證的頁(yè)面

我們經(jīng)常會(huì)碰到這樣的頁(yè)面，當(dāng)訪問(wèn)它的時(shí)候會(huì)彈出一個(gè)瀏覽器的對(duì)話框要求輸入用戶名和密碼后方可，這種用戶認(rèn)證的方式不同于我們?cè)谇懊娼榻B的基于表單的用戶身份驗(yàn)證。這是HTTP的認(rèn)證策略，httpclient支持三種認(rèn)證方式包括：基本、摘要以及NTLM認(rèn)證。其中基本認(rèn)證最簡(jiǎn)單、通用但也最不安全；摘要認(rèn)證是在HTTP 1.1中加入的認(rèn)證方式，而NTLM則是微軟公司定義的而不是通用的規(guī)范，最新版本的NTLM是比摘要認(rèn)證還要安全的一種方式。

下面例子是從httpclient的CVS服務(wù)器中下載的，它簡(jiǎn)單演示如何訪問(wèn)一個(gè)認(rèn)證保護(hù)的頁(yè)面：

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.UsernamePasswordCredentials;
import org.apache.commons.httpclient.methods.GetMethod;

public class BasicAuthenticationExample { 

   public BasicAuthenticationExample() { 
   }

   public static void main(String[] args) throws Exception {
      HttpClient client = new HttpClient();
      client.getState().setCredentials( "www.verisign.com" , "realm" , new UsernamePasswordCredentials( "username" , "password" ) );

      GetMethod get = new GetMethod( "https://www.verisign.com/products/index.html" );
      get.setDoAuthentication( true );
      int status = client.executeMethod( get );
      System.out.println(status+ "\n" + get.getResponseBodyAsString());
      get.releaseConnection();
   }
}

8． 多線程模式下使用httpclient

多線程同時(shí)訪問(wèn)httpclient，例如同時(shí)從一個(gè)站點(diǎn)上下載多個(gè)文件。對(duì)于同一個(gè)HttpConnection同一個(gè)時(shí)間只能有一個(gè)線程訪問(wèn)，為了保證多線程工作環(huán)境下不產(chǎn)生沖突，httpclient使用了一個(gè)多線程連接管理器的類：MultiThreadedHttpConnectionManager，要使用這個(gè)類很簡(jiǎn)單，只需要在構(gòu)造HttpClient實(shí)例的時(shí)候傳入即可，代碼如下：

HttpClient client = new HttpClient(connectionManager);

以后盡管訪問(wèn)client實(shí)例即可。

參考資料：

httpclient首頁(yè)：    http://jakarta.apache.org/commons/httpclient/
關(guān)于NTLM是如何工作：  http://davenport.sourceforge.net/ntlm.html


－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

HttpClient入門
http://blog.csdn.net/ambitiontan/archive/2006/01/07/572644.aspx

Jakarta Commons HttpClient 學(xué)習(xí)筆記
http://blog.csdn.net/cxl34/archive/2005/01/19/259051.aspx

Cookies,SSL，httpclient的多線程處理，HTTP方法
http://blog.csdn.net/bjbs_270/archive/2004/11/05/168233.aspx