原作者：阮一峰(ruanyifeng.com），現重新整理發布，感謝原作者的無私分享。
1、引言
今天中午，我突然想搞清楚 Unicode 和 UTF-8 之間的關系，就開始查資料。
這個問題比我想象的復雜，午飯后一直看到晚上9點，才算初步搞清楚。
下面就是我的總結，主要用來整理自己的思路。我盡量寫得通俗易懂，希望能對其他朋友有用。畢竟，字符編碼是計算機技術的基石，對于程序員來說尤其重要，字符編碼的知識是必須要懂的。
學習交流：
- 即時通訊開發交流3群：185926912[推薦]
- 移動端IM開發入門文章：《新手入門一篇就夠：從零開發移動端IM》
（本文同步發布于：http://www.52im.net/thread-1693-1-1.html）
2、基礎知識
計算機中儲存的信息都是用二進制數表示的；而我們在屏幕上看到的英文、漢字等字符是二進制數轉換之后的結果。通俗的說，按照何種規則將字符存儲在計算機中，如'a'用什么表示，稱為"編碼"；反之，將存儲在計算機中的二進制數解析顯示出來，稱為"解碼"，如同密碼學中的加密和解密。在解碼過程中，如果使用了錯誤的解碼規則，則導致'a'解析成'b'或者亂碼。
字符集（Charset）：是一個系統支持的所有抽象字符的集合。字符是各種文字和符號的總稱，包括各國家文字、標點符號、圖形符號、數字等。
字符編碼（Character Encoding）：是一套法則，使用該法則能夠對自然語言的字符的一個集合（如字母表或音節表），與其他東西的一個集合（如號碼或電脈沖）進行配對。即在符號集合與數字系統之間建立對應關系，它是信息處理的一項基本技術。通常人們用符號集合（一般情況下就是文字）來表達信息。而以計算機為基礎的信息處理系統則是利用元件（硬件）不同狀態的組合來存儲和處理信息的。元件不同狀態的組合能代表數字系統的數字，因此字符編碼就是將符號轉換為計算機可以接受的數字系統的數，稱為數字代碼。
常見字符集名稱：ASCII字符集、GB2312字符集、BIG5字符集、GB18030字符集、Unicode字符集等。計算機要準確的處理各種字符集文字，需要進行字符編碼，以便計算機能夠識別和存儲各種文字。
3、ASCII 碼
我們知道，計算機內部，所有信息最終都是一個二進制值。每一個二進制位（bit）有0和1兩種狀態，因此八個二進制位就可以組合出256種狀態，這被稱為一個字節（byte）。也就是說，一個字節一共可以用來表示256種不同的狀態，每一個狀態對應一個符號，就是256個符號，從00000000到11111111。
上個世紀60年代，美國制定了一套字符編碼，對英語字符與二進制位之間的關系，做了統一規定。這被稱為 ASCII 碼，一直沿用至今。
ASCII 碼一共規定了128個字符的編碼，比如空格SPACE是32（二進制00100000），大寫的字母A是65（二進制01000001）。這128個符號（包括32個不能打印出來的控制符號），只占用了一個字節的后面7位，最前面的一位統一規定為0。
4、非 ASCII 編碼
英語用128個符號編碼就夠了，但是用來表示其他語言，128個符號是不夠的。比如，在法語中，字母上方有注音符號，它就無法用 ASCII 碼表示。于是，一些歐洲國家就決定，利用字節中閑置的最高位編入新的符號。比如，法語中的é的編碼為130（二進制10000010）。這樣一來，這些歐洲國家使用的編碼體系，可以表示最多256個符號。
但是，這里又出現了新的問題。不同的國家有不同的字母，因此，哪怕它們都使用256個符號的編碼方式，代表的字母卻不一樣。比如，130在法語編碼中代表了é，在希伯來語編碼中卻代表了字母Gimel (?)，在俄語編碼中又會代表另一個符號。但是不管怎樣，所有這些編碼方式中，0--127表示的符號是一樣的，不一樣的只是128--255的這一段。
至于亞洲國家的文字，使用的符號就更多了，漢字就多達10萬左右。一個字節只能表示256種符號，肯定是不夠的，就必須使用多個字節表達一個符號。比如，簡體中文常見的編碼方式是 GB2312，使用兩個字節表示一個漢字，所以理論上最多可以表示 256 x 256 = 65536 個符號。
中文編碼的問題比較復雜，將在文末討論。這里先了解下，雖然都是用多個字節表示一個符號，但是GB類的漢字編碼與后文的 Unicode 和 UTF-8 是毫無關系的。
5、Unicode
正如上一節所說，世界上存在著多種編碼方式，同一個二進制數字可以被解釋成不同的符號。因此，要想打開一個文本文件，就必須知道它的編碼方式，否則用錯誤的編碼方式解讀，就會出現亂碼。為什么電子郵件常常出現亂碼？就是因為發信人和收信人使用的編碼方式不一樣。
可以想象，如果有一種編碼，將世界上所有的符號都納入其中。每一個符號都給予一個獨一無二的編碼，那么亂碼問題就會消失。這就是 Unicode，就像它的名字都表示的，這是一種所有符號的編碼。
Unicode 當然是一個很大的集合，現在的規模可以容納100多萬個符號。每個符號的編碼都不一樣，比如，U+0639表示阿拉伯字母Ain，U+0041表示英語的大寫字母A，U+4E25表示漢字嚴。具體的符號對應表，可以查詢unicode.org，或者專門的漢字對應表。
6、Unicode 的問題
需要注意的是，Unicode 只是一個符號集，它只規定了符號的二進制代碼，卻沒有規定這個二進制代碼應該如何存儲。
比如，漢字嚴的 Unicode 是十六進制數4E25，轉換成二進制數足足有15位（100111000100101），也就是說，這個符號的表示至少需要2個字節。表示其他更大的符號，可能需要3個字節或者4個字節，甚至更多。
這里就有兩個嚴重的問題，第一個問題是，如何才能區別 Unicode 和 ASCII ？計算機怎么知道三個字節表示一個符號，而不是分別表示三個符號呢？第二個問題是，我們已經知道，英文字母只用一個字節表示就夠了，如果 Unicode 統一規定，每個符號用三個或四個字節表示，那么每個英文字母前都必然有二到三個字節是0，這對于存儲來說是極大的浪費，文本文件的大小會因此大出二三倍，這是無法接受的。
它們造成的結果是：1）出現了 Unicode 的多種存儲方式，也就是說有許多種不同的二進制格式，可以用來表示 Unicode。2）Unicode 在很長一段時間內無法推廣，直到互聯網的出現。
7、UTF-8
互聯網的普及，強烈要求出現一種統一的編碼方式。UTF-8 就是在互聯網上使用最廣的一種 Unicode 的實現方式。其他實現方式還包括 UTF-16（字符用兩個字節或四個字節表示）和 UTF-32（字符用四個字節表示），不過在互聯網上基本不用。重復一遍，這里的關系是，UTF-8 是 Unicode 的實現方式之一。
UTF-8 最大的一個特點，就是它是一種變長的編碼方式。它可以使用1~4個字節表示一個符號，根據不同的符號而變化字節長度。
UTF-8 的編碼規則很簡單，只有二條：
1）對于單字節的符號：字節的第一位設為0，后面7位為這個符號的 Unicode 碼。因此對于英語字母，UTF-8 編碼和 ASCII 碼是相同的；
2）對于n字節的符號（n > 1）：第一個字節的前n位都設為1，第n + 1位設為0，后面字節的前兩位一律設為10。剩下的沒有提及的二進制位，全部為這個符號的 Unicode 碼。
下表總結了編碼規則，字母x表示可用編碼的位：
跟據上表，解讀 UTF-8 編碼非常簡單。如果一個字節的第一位是0，則這個字節單獨就是一個字符；如果第一位是1，則連續有多少個1，就表示當前字符占用多少個字節。
下面，還是以漢字嚴為例，演示如何實現 UTF-8 編碼。
嚴的 Unicode 是4E25（100111000100101），根據上表，可以發現4E25處在第三行的范圍內（0000 0800 - 0000 FFFF），因此嚴的 UTF-8 編碼需要三個字節，即格式是1110xxxx 10xxxxxx 10xxxxxx。然后，從嚴的最后一個二進制位開始，依次從后向前填入格式中的x，多出的位補0。這樣就得到了，嚴的 UTF-8 編碼是11100100 10111000 10100101，轉換成十六進制就是E4B8A5。
8、Unicode 與 UTF-8 之間的轉換
通過上一節的例子，可以看到嚴的 Unicode碼 是4E25，UTF-8 編碼是E4B8A5，兩者是不一樣的。它們之間的轉換可以通過程序實現。
Windows平臺，有一個最簡單的轉化方法，就是使用內置的記事本小程序notepad.exe。打開文件后，點擊文件菜單中的另存為命令，會跳出一個對話框，在最底部有一個編碼的下拉條。
里面有四個選項：ANSI，Unicode，Unicode big endian和UTF-8
1）ANSI是默認的編碼方式：對于英文文件是ASCII編碼，對于簡體中文文件是GB2312編碼（只針對 Windows 簡體中文版，如果是繁體中文版會采用 Big5 碼）；
2）Unicode編碼這里指的是notepad.exe使用的 UCS-2 編碼方式：即直接用兩個字節存入字符的 Unicode 碼，這個選項用的 little endian 格式；
3）Unicode big endian編碼與上一個選項相對應：我在下一節會解釋 little endian 和 big endian 的涵義；
4）UTF-8編碼：也就是上一節談到的編碼方法。
選擇完"編碼方式"后，點擊"保存"按鈕，文件的編碼方式就立刻轉換好了。
9、Little endian 和 Big endian
上一節已經提到，UCS-2 格式可以存儲 Unicode 碼（碼點不超過0xFFFF）。以漢字嚴為例，Unicode 碼是4E25，需要用兩個字節存儲，一個字節是4E，另一個字節是25。存儲的時候，4E在前，25在后，這就是 Big endian 方式；25在前，4E在后，這是 Little endian 方式。
這兩個古怪的名稱來自英國作家斯威夫特的《格列佛游記》。在該書中，小人國里爆發了內戰，戰爭起因是人們爭論，吃雞蛋時究竟是從大頭(Big-endian)敲開還是從小頭(Little-endian)敲開。為了這件事情，前后爆發了六次戰爭，一個皇帝送了命，另一個皇帝丟了王位。
第一個字節在前，就是"大頭方式"（Big endian），第二個字節在前就是"小頭方式"（Little endian）。
那么很自然的，就會出現一個問題：計算機怎么知道某一個文件到底采用哪一種方式編碼？
Unicode 規范定義，每一個文件的最前面分別加入一個表示編碼順序的字符，這個字符的名字叫做"零寬度非換行空格"（zero width no-break space），用FEFF表示。這正好是兩個字節，而且FF比FE大1。
如果一個文本文件的頭兩個字節是FE FF，就表示該文件采用大頭方式；如果頭兩個字節是FF FE，就表示該文件采用小頭方式。
10、實例講解
下面，舉一個實例。
打開"記事本"程序notepad.exe，新建一個文本文件，內容就是一個嚴字，依次采用ANSI，Unicode，Unicode big endian和UTF-8編碼方式保存。
然后，用文本編輯軟件UltraEdit 中的"十六進制功能"，觀察該文件的內部編碼方式：
1）ANSI：文件的編碼就是兩個字節D1 CF，這正是嚴的 GB2312 編碼，這也暗示 GB2312 是采用大頭方式存儲的。
2）Unicode：編碼是四個字節FF FE 25 4E，其中FF FE表明是小頭方式存儲，真正的編碼是4E25。
3）Unicode big endian：編碼是四個字節FE FF 4E 25，其中FE FF表明是大頭方式存儲。
4）UTF-8：編碼是六個字節EF BB BF E4 B8 A5，前三個字節EF BB BF表示這是UTF-8編碼，后三個E4B8A5就是嚴的具體編碼，它的存儲順序與編碼順序是一致的。
UltraEdit下載地址請至官網：https://www.ultraedit.com/
11、最后簡要看看中文字符集和編碼
11.1 GB系列字符集&編碼
計算機發明之處及后面很長一段時間，只用應用于美國及西方一些發達國家，ASCII能夠很好滿足用戶的需求。但是當天朝也有了計算機之后，為了顯示中文，必須設計一套編碼規則用于將漢字轉換為計算機可以接受的數字系統的數。
天朝專家把那些127號之后的奇異符號們（即EASCII）取消掉，規定：一個小于127的字符的意義與原來相同，但兩個大于127的字符連在一起時，就表示一個漢字，前面的一個字節（他稱之為高字節）從0xA1用到 0xF7，后面一個字節（低字節）從0xA1到0xFE，這樣我們就可以組合出大約7000多個簡體漢字了。在這些編碼里，還把數學符號、羅馬希臘的 字母、日文的假名們都編進去了，連在ASCII里本來就有的數字、標點、字母都統統重新編了兩個字節長的編碼，這就是常說的"全角"字符，而原來在127號以下的那些就叫"半角"字符了。
上述編碼規則就是GB2312。GB2312或GB2312-80是中國國家標準簡體中文字符集，全稱《信息交換用漢字編碼字符集·基本集》，又稱GB0，由中國國家標準總局發布，1981年5月1日實施。GB2312編碼通行于中國大陸；新加坡等地也采用此編碼。中國大陸幾乎所有的中文系統和國際化的軟件都支持GB2312。GB2312的出現，基本滿足了漢字的計算機處理需要，它所收錄的漢字已經覆蓋中國大陸99.75%的使用頻率。對于人名、古漢語等方面出現的罕用字，GB2312不能處理，這導致了后來GBK及GB 18030漢字字符集的出現。下圖是GB2312編碼的開始部分（由于其非常龐大，只列舉開始部分，具體可查看GB2312簡體中文編碼表）。
由于GB 2312-80只收錄6763個漢字，有不少漢字，如部分在GB 2312-80推出以后才簡化的漢字（如"啰"），部分人名用字（如中國前總理朱镕基的"镕"字），臺灣及香港使用的繁體字，日語及朝鮮語漢字等，并未有收錄在內。于是廠商微軟利用GB 2312-80未使用的編碼空間，收錄GB 13000.1-93全部字符制定了GBK編碼。根據微軟資料，GBK是對GB2312-80的擴展，也就是CP936字碼表 (Code Page 936)的擴展（之前CP936和GB 2312-80一模一樣），最早實現于Windows 95簡體中文版。雖然GBK收錄GB 13000.1-93的全部字符，但編碼方式并不相同。GBK自身并非國家標準，只是曾由國家技術監督局標準化司、電子工業部科技與質量監督司公布為"技術規范指導性文件"。原始GB13000一直未被業界采用，后續國家標準GB18030技術上兼容GBK而非GB13000。
GB 18030，全稱：國家標準GB 18030-2005《信息技術 中文編碼字符集》，是中華人民共和國現時最新的內碼字集，是GB 18030-2000《信息技術 信息交換用漢字編碼字符集 基本集的擴充》的修訂版。與GB 2312-1980完全兼容，與GBK基本兼容，支持GB 13000及Unicode的全部統一漢字，共收錄漢字70244個。
GB 18030主要有以下特點：
與UTF-8相同，采用多字節編碼，每個字可以由1個、2個或4個字節組成；
編碼空間龐大，最多可定義161萬個字符；
支持中國國內少數民族的文字，不需要動用造字區；
漢字收錄范圍包含繁體漢字以及日韓漢字。
本規格的初版使中華人民共和國信息產業部電子工業標準化研究所起草，由國家質量技術監督局于2000年3月17日發布。現行版本為國家質量監督檢驗總局和中國國家標準化管理委員會于2005年11月8日發布，2006年5月1日實施。此規格為在中國境內所有軟件產品支持的強制規格。
11.2 BIG5字符集&編碼
Big5，又稱為大五碼或五大碼，是使用繁體中文（正體中文）社區中最常用的電腦漢字字符集標準，共收錄13,060個漢字。中文碼分為內碼及交換碼兩類，Big5屬中文內碼，知名的中文交換碼有CCCII、CNS11643。Big5雖普及于臺灣、香港與澳門等繁體中文通行區，但長期以來并非當地的國家標準，而只是業界標準。倚天中文系統、Windows等主要系統的字符集都是以Big5為基準，但廠商又各自增加不同的造字與造字區，派生成多種不同版本。2003年，Big5被收錄到CNS11643中文標準交換碼的附錄當中，取得了較正式的地位。這個最新版本被稱為Big5-2003。
Big5碼是一套雙字節字符集，使用了雙八碼存儲方法，以兩個字節來安放一個字。第一個字節稱為"高位字節"，第二個字節稱為"低位字節"。"高位字節"使用了0x81-0xFE，"低位字節"使用了0x40-0x7E，及0xA1-0xFE。
有關Big5的更多技術細節讀者可單獨深入研究，本文就不贅述了。
12、本文小結
這些字符集和編碼的關系很容易讓程序員混淆，現在小結一下。
簡單來說：Unicode、GBK和Big5碼等就是編碼的值（也就是術語“字符集”），而UTF-8、UTF-16、UTF32之類就是這個值的表現形式（即術語“編碼格式”）。
另外：Unicode、GBK和Big5碼等字符集是不兼容的，同一個漢字在這三個字符集里的碼值是完全不一樣的。如＂漢＂的Unicode值與gbk就是不一樣的，假設Unicode為a040，GBK為b030。以UTF-8為例，UTF-8碼完全只針對Unicode來組織的，如果GBK要轉UTF-8必須先轉Unicode碼，再轉UTF-8就OK了。
即GBK、GB2312等與UTF8之間都必須通過Unicode編碼才能相互轉換：
1）GBK、GB2312 --先轉--> Unicode --再轉--> UTF8
2）UTF8 --先轉--> Unicode --再轉--> GBK、GB2312
附錄：更多精華文章
《新手入門一篇就夠：從零開發移動端IM》
《移動端IM開發者必讀(一)：通俗易懂，理解移動網絡的“弱”和“慢”》
《移動端IM開發者必讀(二)：史上最全移動弱網絡優化方法總結》
《從客戶端的角度來談談移動端IM的消息可靠性和送達機制》
《現代移動端網絡短連接的優化手段總結：請求速度、弱網適應、安全保障》
《騰訊技術分享：社交網絡圖片的帶寬壓縮技術演進之路》
《小白必讀：閑話HTTP短連接中的Session和Token》
《IM開發基礎知識補課：正確理解前置HTTP SSO單點登陸接口的原理》
《移動端IM中大規模群消息的推送如何保證效率、實時性？》
《移動端IM開發需要面對的技術問題》
《開發IM是自己設計協議用字節流好還是字符流好？》
《請問有人知道語音留言聊天的主流實現方式嗎？》
《IM消息送達保證機制實現(一)：保證在線實時消息的可靠投遞》
《IM消息送達保證機制實現(二)：保證離線消息的可靠投遞》
《如何保證IM實時消息的“時序性”與“一致性”？》
《一個低成本確保IM消息時序的方法探討》
《IM單聊和群聊中的在線狀態同步應該用“推”還是“拉”？》
《IM群聊消息如此復雜，如何保證不丟不重？》
《談談移動端 IM 開發中登錄請求的優化》
《移動端IM登錄時拉取數據如何作到省流量？》
《淺談移動端IM的多點登陸和消息漫游原理》
《完全自已開發的IM該如何設計“失敗重試”機制？》
《通俗易懂：基于集群的移動端IM接入層負載均衡方案分享》
《微信對網絡影響的技術試驗及分析（論文全文）》
《即時通訊系統的原理、技術和應用（技術論文）》
《開源IM工程“蘑菇街TeamTalk”的現狀：一場有始無終的開源秀》
《QQ音樂團隊分享：Android中的圖片壓縮技術詳解（上篇）》
《QQ音樂團隊分享：Android中的圖片壓縮技術詳解（下篇）》
《騰訊原創分享(一)：如何大幅提升移動網絡下手機QQ的圖片傳輸速度和成功率》
《騰訊原創分享(二)：如何大幅壓縮移動網絡下APP的流量消耗（上篇）》
《騰訊原創分享(三)：如何大幅壓縮移動網絡下APP的流量消耗（下篇）》
《如約而至：微信自用的移動端IM網絡層跨平臺組件庫Mars已正式開源》
《基于社交網絡的Yelp是如何實現海量用戶圖片的無損壓縮的？》
《騰訊技術分享：騰訊是如何大幅降低帶寬和網絡流量的(圖片壓縮篇)》
《騰訊技術分享：騰訊是如何大幅降低帶寬和網絡流量的(音視頻技術篇)》
《為什么說即時通訊社交APP創業就是一個坑？》
《字符編碼那點事：快速理解ASCII、Unicode、GBK和UTF-8》
>> 更多同類文章 ……
（本文同步發布于：http://www.52im.net/thread-1693-1-1.html）