花

最近由于亂碼的問題看了一篇資料,希望大家用得上.!!


第一篇：A MySQL 4.1 Story

下面要寫的是一篇非常無聊的東西，充斥了大量各式各樣的編碼、轉換、客戶端、服務器端、連接……呃，我自己都不愿意去看它，但想一想，寫下來還是有點意義的，原因有四：

MySQL 4.1 對多語言的支持有了很大變化 (這導致了問題的出現)；
盡管大部分的地方 (包括個人使用和主機提供商)，MySQL 3 仍然占主導地位；但 MySQL 4.1 是 MySQL 官方推薦的數據庫，已經有主機提供商開始提供并將會越來越多；
許多 PHP 程序以 MySQL 作為默認的數據庫管理軟件，但它們一般不區分 MySQL 4.1 與 4.1 以下版本的區別，籠統地稱“MySQL 3.xx.xx 以上版本”就滿足安裝需求了；
因為 latin1 在許多地方 (下邊會詳細描述具體是哪些地方) 作為默認的字符集，成功的蒙蔽了許多 PHP 程序的開發者和用戶，掩蓋了在中文等語言環境下會出現的問題；
簡單的說，MySQL 自身的變化和使用 MySQL 的 PHP 程序對此忽略，導致了問題的出現和復雜化，而由于大部分用戶使用的是英文，使這種問題不被重視。這里提到的 PHP 程序，主要就 WordPress 而言。

MySQL 4.1 字符集支持的原理MySQL 4.1 對于字符集的指定可以細化到一臺機器上安裝的 MySQL，其中的一個數據庫，其中的一張表，其中的一欄，應該用什么字符集。但是，傳統的 Web 程序在創建數據庫和數據表時并沒有使用那么復雜的配置，它們用的是默認的配置，那么，默認的配置從何而來呢？

編譯 MySQL 時，指定了一個默認的字符集，這個字符集是 latin1；
安裝 MySQL 時，可以在配置文件 (my.ini) 中指定一個默認的的字符集，如果沒指定，這個值繼承自編譯時指定的；
啟動 mysqld 時，可以在命令行參數中指定一個默認的的字符集，如果沒指定，這個值繼承自配置文件中的；
此時 character_set_server 被設定為這個默認的字符集；
當創建一個新的數據庫時，除非明確指定，這個數據庫的字符集被缺省設定為 character_set_server；
當選定了一個數據庫時，character_set_database 被設定為這個數據庫默認的字符集；
在這個數據庫里創建一張表時，表默認的字符集被設定為 character_set_database，也就是這個數據庫默認的字符集；
當在表內設置一欄時，除非明確指定，否則此欄缺省的字符集就是表默認的字符集；
這個字符集就是數據庫中實際存儲數據采用的字符集，mysqldump 出來的內容就是這個字符集下的；
簡單的總結一下，如果什么地方都不修改，那么所有的數據庫的所有表的所有欄位的都用 latin1 存儲，不過我們如果安裝 MySQL，一般都會選擇多語言支持，也就是說，安裝程序會自動在配置文件中把 default_character_set 設置為 UTF-8，這保證了缺省情況下，所有的數據庫的所有表的所有欄位的都用 UTF-8 存儲。

當一個 PHP 程序與 MySQL 建立連接后，這個程序發送給 MySQL 的數據采用的是什么字符集？MySQL 無從得知 (它最多只能猜測)，所以 MySQL 4.1 要求客戶端必須指定這個字符集，也就是 character_set_client，MySQL 的怪異之處在于，得到的這個字符集并不立即轉換為存儲在數據庫中的那個字符集，而是先轉換為 character_set_connection 變量指定的一個字符集；這個 connection 層究竟有什么用我不大明白，但轉換為 character_set_connection 的這個字符集之后，還要轉換為數據庫默認的字符集，也就是說要經過兩次轉換；當這個數據被輸出時，又要由數據庫默認的字符集轉換為 character_set_results 指定的字符集。

一個典型的環境典型的環境以我自己的電腦上安裝的 MySQL 4.1 為例，我自己的電腦上安裝著 Apache 2，PHP 5 和 WordPress 1.5.1.3，MySQL 配置文件中指定了 default_character_set 為 utf8。于是問題出現了：

WordPress 按照默認情況安裝，所以所有的表都用 UTF-8 存儲數據；
WordPress 默認采用的瀏覽字符集是 UTF-8 (Options->Reading 中設置)，因此所有 WP 頁面的 meta 中會說明 charset 是 utf-8；
所以瀏覽器會以 utf-8 方式顯示所有的 WP 頁面；這樣一來 Write 的所有 Post，和 Comment 都會以 UTF-8 格式從瀏覽器發送給 Apache，再由 Apache 交給 PHP；
所以 WP 從所有的表單中得到的數據都是 utf-8 編碼的；WP 不加轉換的直接把這些數據發送給 MySQL；
MySQL 默認設置的 character_set_client 和 character_set_connection 都是 latin1，此時怪異的事情發生了，實際上是 utf-8 格式的數據，被“當作 latin1”轉換成……居然還是轉換成 latin1，然后再由這個 latin1 轉換成 utf-8，這么兩次轉換，有一部分 utf-8 的字符就丟失了，變成 ??，最后輸出的時候 character_set_results 默認是 latin1，也就輸出為奇怪的東西了。
最神奇的還不是這個，如果 WordPress 中設置以 GB2312 格式閱讀，那么 WP 發送給 MySQL 的 GB2312 編碼的數據，被“當作 latin1”轉換后，存進數據庫的是一種奇怪的格式 (真的是奇怪的格式，mysqldump 出來就能發現，無論當作 utf-8 還是當作 gb2312 來讀都是亂碼)，但如果這種格式以 latin1 輸出出來，居然又能變回 GB2312！

這會導致什么現象呢？WP 如果使用 MySQL 4.1 數據庫，把編碼改用 GB2312 就正常了，可惜，這種正常只是貌似正常。

如何解決問題如果你已經不耐煩了 (幾乎是肯定的)，google 一下，會發現絕大部分的解答是，query 之前先執行一下：SET NAMES 'utf8'，沒錯，這是解決方案，但本文的目的是說明，這為什么是解決方案。

要保證結果正確，必須保證數據表采用的格式是正確的，也就是說，至少能夠存放所有的漢字，那么我們只有兩種選擇，gbk 或者 utf-8，下面討論 utf-8 的情況。

因為配置文件設置的 default_character_set 是 utf8，數據表默認采用的就是 utf-8 建立的。這也應該是所有采用 MySQL 4.1 的主機提供商應該采用的配置。所以我們要保證的只是客戶端與 MySQL 交互之間指定編碼的正確。

這只有兩種可能，客戶端以 gb2312 格式發送數據，或者以 utf-8 格式發送數據。

如果以 gb2312 格式發送:

SET character_set_client='gb2312'
SET character_set_connection='utf8' 或者
SET character_set_connection='gb2312'

都是可以的，都能夠保證數據在編碼轉換中不出現丟失，也就是保證存儲入數據庫的是正確的內容。

怎么保證取出的是正確的內容呢？考慮到絕大部分客戶端 (包括 WP)，發送數據的編碼也就是它所希望收到數據的編碼，所以:

SET character_set_results='gb2312'

可以保證取出給瀏覽器顯示的格式就是 gb2312。

如果是第二種情況，客戶端以 utf-8 格式發送 (WP 的默認情況)，可以采用下述配置:

SET character_set_client='utf8'
SET character_set_connection='utf8'
SET character_set_results='utf8'

這個配置就等價于 SET NAMES 'utf8'。

WP 應該作什么修改還是那句話，客戶端要發給數據庫什么編碼的數據，數據庫是不可能確切知道的，只能讓客戶端自己說明白，所以，WP 是必須發送正確的 SET... 給 MySQL 的。怎么發送最合適呢？臺灣的 pLog 同仁給出了一些建議：

首先，測試服務器是否 >= 4.1，編譯時是否加入了 UTF-8 支持；是則繼續
然后測試數據庫以什么格式存儲 ($dbEncoding)；
SET NAMES $dbEncoding
對于第二點，WP 的情況是不同的，按照上面的典型配置，只要用 WP，肯定數據庫是用 UTF-8 存儲的，所以要根據用戶設置的以 GB2312 還是 UTF-8 瀏覽來判斷 (bloginfo('charset'))，但這個值是要連接數據庫以后才能得到的，所以效率最高的方式是連接數據庫之后，根據這個配置設置一次 SET NAMES，而不必每次查詢之前都設置一遍。

我的修改方式是這樣的，在 wp_includes/wp-db.php 中增加:

function set_charset($charset)
{
// check mysql version first.
$serverVersion = mysql_get_server_info($this->dbh);
$version = explode('.', $serverVersion);
if ($version[0] < 4) return;

// check if utf8 support was compiled in
$result = mysql_query("SHOW CHARACTER SET like 'utf8'",
$this->dbh);
if (mysql_num_rows($result) < = 0) return;

if ($charset == 'utf-8' || $charset == 'UTF-8')
$charset = 'utf8';
@mysql_query("SET NAMES '$charset'", $this->dbh);
}

在 wp-settings.php 的 require (ABSPATH . WPINC . '/vars.php'); 后增加:

$wpdb->set_charset(get_bloginfo('charset'));



相關評論

1. MySQL 4.1 在文字上有很大改進，它有了 Character Set 與 Collation 的慨念。

2. 在 MySQL 4.0 ，一般的程式都會將文字以拉丁文 ( latin) 來儲存，就算我們輸入中文字，結果仍是放在以拉丁文設置的文字欄里頭，這對 MySQL 4.0 與以 MySQL 4.0 為基楚的程式來說，并不會有問題。

3. 可是 MySQL 4.1 的系統編碼是預設用 UTF-8 的，當要 restore MySQL 4.0 的 backup 檔到 MySQL 4.1 時，亂碼就出現了。原因在于 MySQL 4.1 將 latin 碼轉換過來，而后轉換是并不完全完美的，這導致了出現少量文字出現亂碼現象。

4. 要解決這亂碼問題并不難。首先，在 MySQL 4.0 備份時，先將所有文字欄變成 binary 類型，然后進行正常備份。第二步，可在 MySQL 4.1 里將剛才的備份 restore。最后，將較早前所變更到 binay 類型的文字欄，再次復原到文字類型。這樣中文編碼的問題就應該可以完全解決。

5. 將文字欄變更到 binay 類型時，必需設定 binary 欄的長度大過或等于 (>=) 文字欄的長度，否則資料會失去。

6. 另外，經這樣升級的 MySQL 數據庫，在 MySQL 4.1 里將會正常工作，就算是怎樣 backup 與 restore 都不會再有亂碼問題。作者: MySQL 發布日期: 2005-12-14mysql4.1是比較煩人，支持多語言的細化設置，再加上phpmyadmin2.6也比較笨，默認就是改不動的utf8，怎么弄都亂碼。
好了，廢話少說，我們來一步步解決這個問題：
1.修改/etc/my.cnf文件，改成這樣：
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
default-character-set=utf8

[mysql.server]
user=mysql
basedir=/var/lib

[mysqld_safe]
err-log=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

注意：就是加入了一句default-character-set=utf8。

2./etc/init.d/mysqld restart 重新啟動mysql；
3.打開phpmyadmin，選擇lang為"Chines simplifies(zh-utf-8)",選擇"MySQL 連接校對"為"utf8_general_ci "點“顯示 MySQL 的運行信息”--“變量”，可以看到：
character set client utf8 utf8
character set connection utf8 utf8
character set database utf8 utf8
character set results utf8 utf8
character set server utf8 utf8
character set system utf8 utf8
collation connection utf8_general_ci utf8_general_ci
collation database utf8_general_ci utf8_general_ci
collation server utf8_general_ci utf8_general_ci
從這里可以看到character全部變成utf8了。
有人要問，為什么都要改成utf8呢？改成GB2312不行嗎？
解釋如下：
我也不想改成utf8，只是phpmyadmin2.6在mysql4.1的時候只會用utf8，連其他頁面的charset也都是utf8，改成gb2312一定會亂碼，我們只能湊phpmyadmin了。
只有在mysql3.23的時候，phpmyadmin才會多一個gb2312的頁面charset，這時候是正常的。
3.將以前的mysql3的庫文件導入mysql4.1的庫
有兩種情況：
一是從phpmyadmin上導入，這時候你要注意的是在選擇庫文件的頁面左下腳有個“文件的字符集：”，默認是utf8，要改成gb2312，否則導進去亂碼；
二是在linux下導入，這時候你需要先在庫文件的頭部加一行:
SET NAMES 'gb2312'; 注意最后也是;號，別漏了。
然后執行mysql -u用戶名 -p密碼 xxx.sql > 庫名
導入完成以后再用phpmyadmin打開看，里面的中文字就是正確的。
4.從mysql4.1里導出庫文件
一.用phpmyadmin導出
導出倒是問題不大，如果phpmyadmin的瀏覽頁面里顯示的中文是正常的，那么導出肯定也是正常的
二.在linux上導出
如果用mysqldump導出出現了亂碼也沒有關系，可以運行iconv來轉換一下
iconv -c -f UTF-8 -t GB2312 庫文件名 > 新的gb2312的庫文件名

綜上所述，你要注意：
1。盡量在需要導入的庫文件的開頭加入SET NAMES 'gb2312';告訴mysql你要導入的是一個gb2312的文件；
2。可能你需要這個：
SET NAMES 'utf8';
在登陸到mysql后用，把character的一些默認參數改到utf8上，有時可以減少一些困擾，不過也不是必須的。
在mysql上使用:
SHOW VARIABLES LIKE 'character_set_%';
用來查看當前的狀態。
3.如果出現亂碼也不要怕，一是你要注意留存原有的備份，二是用iconv來進行轉化。
在正常使用之前注意做導入導出的測試，確保萬無一失。


相關評論


我升級了MYSQL到4.1.2，phpmyadmin用的是2.6.2。數據表里面有中文的字段中文都變成了亂碼，導出數據也是亂碼。我用以前的2.5.7沒有問題，想問一下，應該在phpmyadmin的那個文件里改哪個設置一下才能顯示出來的是正常的中文字？

和字符相關的變量中這幾個和sql很有關系：
character_set_client
character_set_connection
character_set_results
此外就是數據庫中對相應字段設置的charact set，如果沒有對字段設置，缺省是table的charact set，table也沒有指定則缺省使用database的。
上面3個變量的作用是這樣的，client表示客戶端發送過來的字符集，results表示發送到客戶端的字符集（這兩個分開是因為發送過來和發送過去的不一定是同一個客戶端），connection則在客戶端和數據庫起一個連接作用。
具體是這樣：比如我在mysql命令行設置client為gbk，connection為utf8，results為gbk，數據庫為big5，
當我發送一個insert語句的時候，這個語句作為gbk代碼，先轉為utf8代碼（connection），再轉為big5（database）插入數據庫。
而運行一個select語句的時候，從數據庫得到的結果則相反的過程，由big5轉為utf8，再轉為gbk，你得到gbk的結果。
因此最主要的是讓client和results和你使用的客戶端一致。比如你的網頁是utf8編碼，你就要設置這兩個為utf8。
而在mysql命令行的時候，我用的是2000，需要設置為gbk
而我們用的set names XXX，實際上就是同時設置這3個變量為XXX。
在這樣的情況下，我們可以把一個數據庫中的不同表或不同字段設為不同的字符集，只要上面3個設置正確，就可以在數據庫中同時使用不同的字符集。
注意要保證你的數據庫中的字符已經使用了正確的字符集，比如如果一開始你設置錯誤，插入數據后，本身數據的編碼就是不正確的，然后即使設置改回來，也不可能得到正確的顯示了。
還有一個是編碼互相之間的兼容性，如果一個字符在gbk中有，在utf8中沒有，那么在gbk－》utf8－》gbk的過程中，它就變成了“？”
再說一下具體解決的辦法。
首先要指定你的升級后的database及table及field的character set，一般來說我們用gb2312或者utf8的，如果不同時使用多種編碼，只要指定database就可以，可以在建庫的sql語句加上相應的 character set，在phpMyAdmin里也可以修改。
然后是導入舊數據。首先要確定自己的數據文件的編碼。如果用phpMyAdmin導入，在界面上有文件編碼的選項，一定要和數據文件的編碼一致。
如果從mysql的命令行導入，就要自己設置上面說到的3個變量，set names xxx。
使用其它的客戶端程序一樣要注意。
這樣就可以讓舊數據轉入新數據庫后的編碼才是正確的，如果這一步錯了，后面不可能得到正確的顯示。
然后是自己的程序，在連接后就可以執行一次set names xxx，根據你的網頁編碼而定。
這樣基本就可以保證編碼正確了。
你很有可能是導入的數據編碼已經不對了。