<rt id="bn8ez"></rt>
<label id="bn8ez"></label>

  • <span id="bn8ez"></span>

    <label id="bn8ez"><meter id="bn8ez"></meter></label>

    ivaneeo's blog

    自由的力量,自由的生活。

      BlogJava :: 首頁 :: 聯(lián)系 :: 聚合  :: 管理
      669 Posts :: 0 Stories :: 64 Comments :: 0 Trackbacks
    大家經(jīng)常使用正則表達(dá)式的字符集從字符串中抽取或排除中文字符,但是這樣做
    很費事,效果也并不是很理想。實際上Perl從5.6開始已經(jīng)開始在內(nèi)部使用utf8編碼
    來表示字符,也就是說對中文以及其他語言字符的處理應(yīng)該是完全沒有問題的。關(guān)鍵
    在于目前使用的編輯器以及文件格式并不都能很好地支持utf8,委屈了Perl的強(qiáng)大能力。
    實際上我們只需要利用好Encode這個模塊便能充分發(fā)揮Perl的utf8字符的優(yōu)勢了。

    ????下面就以中文文本的處理為例進(jìn)行說明(注意:編輯下面這段程序不能用使用utf8
    編碼的編輯器),比如有一個字符串"測試文本",我們想要把這個中文字符串拆成單個
    字符,可以這樣寫:
    use?Encode;
    use?Encode::CN;?#可寫可不寫
    $dat="測試文本";
    $str=decode("gb2312",$dat);
    @chars=split?//,$str;
    foreach?$char?(@chars)?{
    ????????print?encode("gb2312",$char),"\n";
    }
    結(jié)果大家試一試就知道了,應(yīng)該是令人滿意的。

    ????這里主要用到了Encode模塊的decode、encode函數(shù)。要了解這兩個函數(shù)的作用我們
    需要清楚幾個概念:
    1、Perl字符串是使用utf8編碼的,它由Unicode字符組成而不是單個字節(jié),每個utf8編
    碼的Unicode字符占1~4個字節(jié)(變長)。
    2、進(jìn)入或離開Perl處理環(huán)境(比如輸出到屏幕、讀入和保存文件等等)時不是直接使用
    Perl字符串,而需要把Perl字符串轉(zhuǎn)換成字節(jié)流,轉(zhuǎn)換過程中使用何種編碼方式完全取決
    于你(或者由Perl代勞)。一旦Perl字符串向字節(jié)流的編碼完成,字符的概念就不存在了
    ,變成了純粹的字節(jié)組合,如何解釋這些組合則是你自己的工作。

    ????我們可以看出如果想要Perl按照我們的字符概念來對待文本,文本數(shù)據(jù)就需要一直用
    Perl字符串的形式存放。但是我們平時寫出的每個字符一般都被作為純ASCII字符保存(
    包括在程序中明文寫出的字符串),也就是字節(jié)流的形式,這里就需要encode和decode函
    數(shù)的幫助了。

    ????encode函數(shù)顧名思義是用來編碼Perl字符串的。它將Perl字符串中的字符用指定的編
    碼格式編碼,最終轉(zhuǎn)化為字節(jié)流的形式,因此和Perl處理環(huán)境之外的事物打交道經(jīng)常需要
    它。其格式很簡單:
    ????????$octets?=?encode(ENCODING,?$string?[,?CHECK])
    這里$string是Perl字符串,ENCODING是給定的編碼方式,$octets則是編碼之后的字節(jié)流
    ,CHECK表示轉(zhuǎn)換時如何處理畸變字符(也就是Perl認(rèn)不出來的字符)。一般不需要使用
    CHECK,讓Perl按默認(rèn)規(guī)則處理即可。
    ????編碼方式視語言環(huán)境的不同有很大變化,默認(rèn)可以識別utf8、ascii、ascii-ctrl、
    iso-8859-1等,中文環(huán)境(CN)增加了euc-cn(gb2312與之等價)、cp936(gbk與之等價
    )、hz等,還有日文環(huán)境(JP)、韓文(KR)等等,在此不一一盡數(shù)。

    ????decode函數(shù)則是用來解碼字節(jié)流的。它按照你給出的編碼格式解釋給定的字節(jié)流,將
    其轉(zhuǎn)化為使用utf8編碼的Perl字符串,一般來說從終端或者文件取得的文本數(shù)據(jù)都應(yīng)該用
    decode轉(zhuǎn)換為Perl字符串的形式。它的格式為:
    ????????$string?=?decode(ENCODING,?$octets?[,?CHECK])
    $string、ENCODING、$octets和CHECK的含義同上。

    ????現(xiàn)在就很容易理解上面寫的那段程序了。因為字符串是用明文寫出的,存放的時候已
    經(jīng)是字節(jié)流形式,喪失了本來的意義,所以首先就要用decode函數(shù)將其轉(zhuǎn)換為Perl字符串
    ,由于漢字一般都用gb2312格式編碼,這里decode也要使用gb2312編碼格式。轉(zhuǎn)換完成后
    Perl對待字符的行為就和我們一樣了,平時對字符串進(jìn)行操作的函數(shù)基本上都能正確對字
    符進(jìn)行處理,除了那些本來就把字符串當(dāng)成一堆字節(jié)的函數(shù)(如vec、pack、unpack等)。
    于是split就能把字符串切成單個字符了。最后由于在輸出的時候不能直接使用utf8編碼
    的字符串,還需要將切割后的字符用encode函數(shù)編碼為gb2312格式的字節(jié)流,再用print
    輸出。

    ????Encode模塊的初步應(yīng)用大概就是這樣,詳細(xì)情況還是要參閱模塊的文檔。實際上如果
    我們使用UltraEditor等等支持編輯utf8編碼文件的編輯器寫程序,基本上用不著Encode
    模塊,在程序開頭加上一句use?utf8就行。這時Perl默認(rèn)包括程序本身在內(nèi)的所有的字符
    都是Unicode字符,可以隨便使用Unicode范圍內(nèi)的字符,甚至可以用非英文字符作為標(biāo)識
    符,只是輸出的時候可能還需要用Encode模塊。比如用UE的utf8編碼模式編輯這個程序:
    ????????use?utf8;
    ????????$單價=10;
    ????????$數(shù)量=100;
    ????????$總額=$單價*$數(shù)量;
    ????????print?"$總額\n";
    可以在Perl?5.6以后的版本中正常運行并給出結(jié)果,是不是很爽?:)?這種模式最大的優(yōu)點
    就是在字符串中可以混合多種語言的文字,就算中日韓英加上阿拉伯字符都在一個字符串
    中出現(xiàn)也沒問題;不像使用Encode模塊那樣必須固定一種編碼方式,中日韓英字符同時出
    現(xiàn)還好辦,因為gbk包含了所有這些字符,可是再加上一些非亞洲語言字符就不一定能處
    理了。所以以后用Unicode編碼應(yīng)該是大勢所趨。

    希望寫的這些能對大家有所幫助。
    posted on 2006-04-15 22:50 ivaneeo 閱讀(2380) 評論(1)  編輯  收藏 所屬分類: perl-殺雞就要用牛刀

    Feedback

    # re: perl的對中文的支持[未登錄] 2007-11-14 11:40 Will
    學(xué)到了,3X  回復(fù)  更多評論
      

    主站蜘蛛池模板: 日韩免费高清视频| 七色永久性tv网站免费看| 无码人妻一区二区三区免费手机| 亚洲熟妇丰满多毛XXXX| 中文字幕免费在线观看动作大片 | 国产91在线|亚洲| 人成午夜免费视频在线观看| 亚洲综合综合在线| 日韩欧毛片免费视频| 亚洲人成网男女大片在线播放| 久久精品网站免费观看| 亚洲av无码专区首页| 又粗又大又硬又爽的免费视频 | 亚洲日本韩国在线| 一级做a免费视频观看网站| 亚洲人成无码网站| 午夜精品免费在线观看| 亚洲一区二区三区国产精品无码 | 成全视频免费高清| 色多多www视频在线观看免费| 亚洲人成亚洲人成在线观看 | 一级毛片试看60分钟免费播放| 亚洲综合亚洲综合网成人| 久久精品免费电影| 亚洲日本国产综合高清| 亚洲Av无码乱码在线观看性色| 一个人看的www免费高清| 亚洲五月激情综合图片区| 国产精品久久久久久久久久免费 | 亚洲成人免费电影| 免费真实播放国产乱子伦| a在线观看免费视频| 国产精品亚洲专区在线观看 | 无人在线观看完整免费版视频| 国产亚洲视频在线播放大全| 亚洲欧洲无码AV电影在线观看| 国产免费一区二区三区| 一级视频免费观看| 亚洲1区1区3区4区产品乱码芒果| vvvv99日韩精品亚洲| 亚洲成人免费网站|