漢字編碼解析
一、漢字編碼的種類
??? 漢字編碼中現在主要用到的有三類，包括GBK，GB2312和Big5。
??? 1 、GB2312又稱國標碼， 由國家標準總局發布， 1981 年 5 月 1 日實施，通行于大陸。新加坡等地也使用此編碼。它是一個簡化字的編碼規范，當然也包括其他的符號、字母、日文假名等，共 7445 個圖形字符，其中漢字占 6763 個。我們平時說 6768 個漢字，實際上里邊有 5 個編碼為空白，所以總共有 6763 個漢字。
????? GB2312 規定“對任意一個圖形字符都采用兩個字節表示，每個字節均采用七位編碼表示”，習慣上稱第一個字節為“高字節”，第二個字節為“低字節”。 GB2312 中漢字的編碼范圍為，第一字節0xB0-0xF7(對應十進制為176-247)，第二個字節0xA0-0xFE（對應十進制為160-254）。
??? GB2312 將代碼表分為 94 個區，對應第一字節（ 0xa1-0xfe ）；每個區 94 個位（ 0xa1-0xfe ），對應第二字節，兩個字節的值分別為區號值和位號值加 32 （ 2OH ），因此也稱為區位碼。 01-09 區為符號、數字區， 16-87 區為漢字區（ 0xb0-0xf7 ）， 10-15 區、 88-94 區是有待進一步標準化的空白區。
?????? 2 、 Big5 又稱大五碼，主要為香港與臺灣使用，即是一個繁體字編碼。 每個漢字由兩個字節構成，第一個字節的范圍從 0X81 － 0XFE （即 129-255 ），共 126 種。第二個字節的范圍不連續，分別為 0X40 － 0X7E （即 64-126 ）， 0XA1 － 0XFE （即 161-254 ），共 157 種。
??? 3 、GBK是GB2312的擴展，是向上兼容的，因此GB2312中的漢字的編碼與GBK中漢字的相同。另外，GBK中還包含繁體字的編碼，它與Big5編碼之間的關系我還沒有弄明白，?孟袷遣灰恢碌摹?GBK中每個漢字仍然包含兩個字節，第一個字節的范圍是0x81-0xFE（即129-254），第二個字節的范圍是0x40-0xFE（即64-254）。GBK中有碼位23940個，包含漢字21003個。??????????????????????????
???????????????????
表1 漢字編碼范圍
|
名稱
|
第一字節
|
第二字節
|
|
GB2312
|
0xB0-0xF7(176-247)
|
0xA0-0xFE
（
160-254
）
|
|
GBK
|
0x81-0xFE
（
129-254
）
|
0x40-0xFE
（
64-254
）
|
|
Big5
|
0x81-0xFE
（
129-255
）
|
0x40-0x7E
（
64-126
）
0xA1
－
0xFE
（
161-254
）
|
二、對漢字進行hash
??? 為了處理漢字的方便，在查找漢字的時候，我們通常會用到hash的方法，那怎么來確定一個漢字位置呢？這就和每種編碼的排列有關了，這里主要給出一種hash函數的策略。
??? 對于GB2312編碼，設輸入的漢字為GBword，我們可以采用公式(C1-176)*94 + (C2-161)確定GBindex。其中，C1表示第一字節，C2表示第二字節。具體如下：
??? GBindex = ((unsigned char)GBword.at(0)-176)*94 + (unsigned char)GBword.at(1) - 161;
??? 之所以用unsigned char類型，是因為char是一個字節.
??? 對于GBK編碼，設輸入的漢字為GBKword，則可以采用公式?? index=(ch1-0x81)*190+(ch2-0x40)-(ch2/128) ，其中ch1是第一字節，ch2是第二字節。
??? 具體的，
??? GBKindex = ((unsigned char)GBKword[0]-129)*190 +
?????????????? ((unsigned char)GBKword[1]-64) - (unsigned char)GBKword[1]/128;
三、怎樣判斷一個漢字的是什么編碼
1 、判斷是否是GB2312
bool isGBCode(const string& strIn)
{
??? unsigned char ch1;
??? unsigned char ch2;
???
??? if (strIn.size() >= 2)
??? {
??????? ch1 = (unsigned char)strIn.at(0);
??????? ch2 = (unsigned char)strIn.at(1);
??????? if (ch1>=176 && ch1<=247 && ch2>=160 && ch2<=254)
??????????? return true;
??????? else return false;
??? }
??? else return false;
}
2 、判斷是否是GBK編碼
bool isGBKCode(const string& strIn)
{
??? unsigned char ch1;
??? unsigned char ch2;
???
??? if (strIn.size() >= 2)
??? {
??????? ch1 = (unsigned char)strIn.at(0);
??????? ch2 = (unsigned char)strIn.at(1);
??????? if (ch1>=129 && ch1<=254 && ch2>=64 && ch2<=254)
??????????? return true;
??????? else return false;
??? }
??? else return false;
}
3 、對于Big5
??? 它的范圍為：高字節從0xA0到0xFE，低字節從0x40到0x7E，和0xA1到0xFE兩部分。判斷一個漢字是否是BIG5編碼，可以如上對字符的編碼范圍判斷即可。如何定位呢？那么也想象所有編碼排列為一個二維坐標，縱坐標是高字節，橫坐標是低字節。這樣一行上的漢字個數：(0x7E-0x40+1)+(0xFE-0xA1+1)＝157。那么定位算法分兩塊，為:??
??? if 0x40<=ch2<=0x7E: #is big5 char
??? index=((ch1-0xA1)*157+(ch2-0x40))*2
??? elif 0xA1<=ch2<=0xFE: #is big5 char
??? index=((ch1-0xA1)*157+(ch2-0xA1+63))*2
四、如果判斷一個字符是西文字符還是中文字符
??? 大家知道西文字符主要是指 ASCII 碼，它用一個字節表示。且這個字符轉換成數字之后，該數字是大于0的，而漢字是兩個字節的，第一個字節的轉化為數字之后應該是小于0的，因此可以根據每個字節轉化為數字之后是否小于0，判斷它是否是漢字。
??? 例如，設輸入字為strin，則，
???? If (strin.at(0) < 0)
?????? cout << ” 是漢字” << endl;
???? else cout << ” 不是漢字” << endl;
補充：
1．漢字外部碼
漢字外部碼又稱為漢字輸入碼，是指從鍵盤上輸入漢字時采用的編碼。漢字輸入編碼有很多種，目前廣泛使用的輸入碼為：
① 國標區位碼
② 以漢字讀音為基礎的拼音碼，如全拼輸入法、雙拼輸入法、詞匯輸入法、智能ABC輸入法等；
③ 以漢字字形為基礎的拼形碼，如五筆字型輸入法；
不同的漢字輸入方法有不同的外碼，但內碼只能有一個。好的輸入方法應具備規則簡單、操作方便、容易記憶、重碼率低、速度快等特點。
2．漢字國標碼
GB2312-80編碼簡稱國標碼。由于漢字數量大，無法用一個字節進行編碼，因此使用兩個字節對漢字進行編碼。規定兩個字節的最高位用來區分ASCII碼。這樣國標碼用兩個字節的低7位對漢字進行編碼。
一個字節只能有128-34=94種狀態用于漢字編碼（34是指34種控制字符），兩個字節可以表示94×94=8836種狀態。在基本集中漢字是按規則排列成94行和94列的矩陣，形成漢字編碼表，其行號稱為區號，列號稱為位號，第一個字節表示漢字在國標字符集中的區號，第二個字節表示漢字在國標字符集中的位號。每一個漢字在94×94的矩陣中都有一個固定的區號和位號。
例如：漢字“大”的區號為20，位號為83，即“大”的區位碼為2083。
國標碼是以十六進制數字編碼，編碼范圍是從2121H（21H即為十進制的33）到7F7FH（7FH即為十進制的127）。
因此，國標碼=區位碼（用十六進制表示）+2020H。
3．漢字機內碼
機內碼是指一個漢字被計算機內部系統進行存儲、處理和傳輸時而使用的編碼。為了保證中西文兼容，同時又能區分ASCII碼和漢字，因此，機內碼就是將國標碼的兩個字節的最高位置為“1”。
所以，機內碼=國標碼+8080H=區位碼（用十六進制表示）+A0A0H 。
4．漢字字形碼
字形碼又稱漢字字模，用于漢字的輸出。漢字的字形通常采用點陣的方式產生。漢字點陣有16×16點陣、32×32點陣、64×64點陣，點陣不同，漢字字形碼的長度也不同。點陣數越大，字形質量越高，字形碼占用的字節數越多。
如圖1.1是“國”字24×24的點陣字形。深色小正方形可以表示一個二進制位的信息“1”，淺色小正方形表示二進制位的信息“0”。
漢字字形碼又稱為漢字輸出碼或漢字發生器的編碼。
例：按32×32點陣存放兩級漢字的漢字庫，大約需要占用多少字節？
解：32×32×6763÷8=865664B≈845KB
大約需要845KB。