什么是UTF
UTF,是Unicode Text Format的縮寫,意為Unicode文本格式。對于UTF,是這樣定義的:
(1)如果Unicode的16位字符的頭9位是0,則用一個字節表示,這個字節的首位是“0”,剩下的7位與原字符中的后7位相同,如“\u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(與源Unicode字符是相同的);
(2)如果Unicode的16位字符的頭5位是0,則用2個字節表示,首字節是“110”開頭,后面的5位與源字符中除去頭5個零后的最高5位相同;第二個字節以“10”開頭,后面的6位與源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101),轉化后為“c99d”(1100 1001 1001 1101);
(3)如果不符合上述兩個規則,則用三個字節表示。第一個字節以“1110”開頭,后四位為源字符的高四位;第二個字節以“10”開頭,后六位為源字符中間的六位;第三個字節以“10”開頭,后六位為源字符的低六位;如“\u9da7”(1001 1101 1010 0111),轉化為“e9b6a7”(1110 1001 1011 0110 1010 0111);
可以這么描述JAVA程序中Unicode與UTF的關系,雖然不絕對:字符串在內存中運行時,表現為Unicode代碼,而當要保存到文件或其它介質中去時,用的是UTF。這個轉化過程是由writeUTF和readUTF來完成的。
好了,基礎性的論述差不多了,下面進入正題。
先把這個問題想成是一個黑匣子。先看黑匣子的一級表示:
input(charsetA)->process(Unicode)->output(charsetB)
簡單,這就是一個IPO模型,即輸入、處理和輸出。同樣的內容要經過“從charsetA到unicode再到charsetB”的轉化。
再看二級表示:
SourceFile(jsp,java)->class->output
在這個圖中,可以看出,輸入的是jsp和java源文件,在處理過程中,以Class文件為載體,然后輸出。再細化到三級表示:
jsp->temp file->class->browser,os console,db
app,servlet->class->browser,os console,db
這個圖就更明白了。Jsp文件先生成中間的Java文件,再生成Class。而Servlet和普通App則直接編譯生成Class。然后,從Class再輸出到瀏覽器、控制臺或數據庫等。
JSP:從源文件到Class的過程
Jsp的源文件是以“.jsp”結尾的文本文件。在本節中,將闡述JSP文件的解釋和編譯過程,并跟蹤其中的中文變化。
1、JSP/Servlet引擎提供的JSP轉換工具(jspc)搜索JSP文件中用<%@ page contentType ="text/html; charset=<Jsp-charset>"%>中指定的charset。如果在JSP文件中未指定<Jsp-charset>,則取JVM中的默認設置file.encoding,一般情況下,這個值是ISO8859-1;
2、jspc用相當于“javac –encoding <Jsp-charset>”的命令解釋JSP文件中出現的所有字符,包括中文字符和ASCII字符,然后把這些字符轉換成Unicode字符,再轉化成UTF格式,存為JAVA文件。ASCII碼字符轉化為Unicode字符時只是簡單地在前面加“00”,如“A”,轉化為“\u0041”(不需要理由,Unicode的碼表就是這么編的)。然后,經過到UTF的轉換,又變回“41”了!這也就是可以使用普通文本編輯器查看由JSP生成的JAVA文件的原因;
3、引擎用相當于“javac –encoding UNICODE”的命令,把JAVA文件編譯成CLASS文件;
先看一下這些過程中中文字符的轉換情況。有如下源代碼:
<%@ page contentType="text/html; charset=gb2312"%> <html><body> <% String a="中文"; out.println(a); %> </body></html> |
這段代碼是在UltraEdit for Windows上編寫的。保存后,“中文”兩個字的16進制編碼為“D6 D0 CE C4”(GB2312編碼)。經查表,“中文”兩字的Unicode編碼為“\u4E2D\u6587”,用 UTF表示就是“E4 B8 AD E6 96 87”。打開引擎生成的由JSP文件轉變而成的JAVA文件,發現其中的“中文”兩個字確實被“E4 B8 AD E6 96 87”替代了,再查看由JAVA文件編譯生成的CLASS文件,發現結果與JAVA文件中的完全一樣。
再看JSP中指定的CharSet為ISO-8859-1的情況。
<%@ page contentType="text/html; charset=ISO-8859-1"%> <html><body> <% String a="中文"; out.println(a); %> </body></html> |
同樣,該文件是用UltraEdit編寫的,“中文”這兩個字也是存為GB2312編碼“D6 D0 CE C4”。先模擬一下生成的JAVA文件和CLASS文件的過程:jspc用ISO-8859-1來解釋“中文”,并把它映射到Unicode。由于ISO-8859-1是8位的,且是拉丁語系,其映射規則就是在每個字節前加“00”,所以,映射后的Unicode編碼應為“\u00D6\u00D0\u00CE\u00C4”,轉化成UTF后應該是“C3 96 C3 90 C3 8E C3 84”。好,打開文件看一下,JAVA文件和CLASS文件中,“中文”果然都表示為“C3 96 C3 90 C3 8E C3 84”。
如果上述代碼中不指定<Jsp-charset>,即把第一行寫成“<%@ page contentType="text/html" %>”,JSPC會使用file.encoding的設置來解釋JSP文件。在RedHat 6.2上,其處理結果與指定為ISO-8859-1是完全相同的。
到現在為止,已經解釋了從JSP文件到CLASS文件的轉變過程中中文字符的映射過程。一句話:從“JspCharSet到Unicode再到UTF”。下表總結了這個過程:
表2 “中文”從JSP到CLASS的轉化過程
Jsp-CharSet |
JSP文件中 |
JAVA文件中 |
CLASS文件中 |
GB2312 |
D6 D0 CE C4(GB2312) |
從\u4E2D\u6587(Unicode)到E4 B8 AD E6 96 87 (UTF) |
E4 B8 AD E6 96 87 (UTF) |
ISO-8859-1 |
D6 D0 CE C4 (GB2312) |
從\u00D6\u00D0\u00CE\u00C4 (Unicode)到C3 96 C3 90 C3 8E C3 84 (UTF) |
C3 96 C3 90 C3 8E C3 84 (UTF) |
無(默認=file.encoding) |
同ISO-8859-1 |
同ISO-8859-1 |
同ISO-8859-1 |
下節先討論Servlet從JAVA文件到CLASS文件的轉化過程,然后再解釋從CLASS文件如何輸出到客戶端。之所以這樣安排,是因為JSP和Servlet在輸出時處理方法是一樣的。