對這些結構化的信息單元進行再匹配就能得到每條新聞的所有重要信息，可以構成一個完整的新聞元數據：
新聞的超鏈：“http://tech.sina.com.cn/o/62874.shtml”
新聞的標題：“背景資料：先進的攀巖工具SRT”
新聞的時間或出處：“2001/04/13 15:56”
新聞的文摘：“...最大問題，這次中外聯合科考隊將使用目前世界上最先進的攀巖工具SRT。SRT包括上升，下降手柄等一系列工具組成，攀巖者通過它借助自身的.”
而上面的每條新聞的元數據則是進行進一步信息重組和知識再現的最好素材。所以整個解析思路的核心就是直接匹配。而正則表達式完全具備了解釋上述新聞元數據的匹配功能。因此，可用正則表達式來實現相關解析工作。
3正則表達式簡介
神經生理學家McCulloch 和 Pitts最早用正則表達式來描述神經網絡。1956年，數學家 Stephen Kleene 在此基礎上，發表了一篇題名為《神經網事件的表示法》的論文，引入了正則表達式的概念。正則表達式就是用來描述他稱之為“正則集的代數”的表達式。隨后，人們發現可以將此表達式應用于使用Ken Thompson 的計算搜索算法的一些早期研究。正則表達式的第一個實用應用程序就是 Unix 中的qed 編輯器。
正則表達式提供了一種從字符集合中搜尋特定字符串的機制[4]。它可以讓用戶通過使用一系列的特殊字符構建匹配模式，然后把匹配模式與數據文件、程序輸入等目標對象進行比較，根據目標對象中是否包含匹配模式，執行相應的程序[5]。
正則表達式有以下幾個主要功能：數據有效性驗證功能，用于測試字符串的某個模式是否有效。例如，可以對一個輸入字符串進行測試，看此字符串是否符合email的模式。替換文本功能，用于在文檔中使用匹配模式來標識特定文字，然后將其刪除或進行替換。提取子串功能，用于根據模式匹配，從字符串中提取一個子字符串。
它主要有四類字符：首先是匹配字符，包含了需要搜索匹配的對象。例如，“.”號匹配任一字符，“[]”號匹配方括弧之間的任一字符，“[^]”號匹配不在方括弧之間的任一字符。其次是重復操作符，描述了查找一個特定字符的次數。例如，“?”號匹配某一部分一次，“*”號匹配某一部分多次，“+”號匹配某一部分一次或多次，還有“{n}”，“{n,N}”等符號。還有錨，它指定了所要匹配的格式，有“^”、“$”、“\>”、“\<”、“\b”等。當然還會有一些保留字符，需要用反斜杠來替換它們，比如“*”號，是個保留字符，如果要在表達式里表示這個特定的字符，就得用“\*”這種形式。
4正則表達式來處理解析匹配工作的算法
SUN公司最新發布的JDK1.4中加入了java.util.regex包，全面提供對正則表達式的支持。而且Java.lang.String類中的replaceAll和split函數也是調用的正則表達式來實現的。正則表達式可以利用模式匹配找到符合條件的字符串以及判斷相關字符串。java.util.regex包中有三個類：Pattern類，Matcher類以及異常類patternSyntaxException。Pattern類主要是按照正則表達式的語法，針對要匹配的對象構造正則表達式。所構造的表達式必須是唯一的完全匹配。Matcher類主要是用構造好的Pattern來匹配所要處理的對象，異常類則用來處理表達式可能出現的語法錯誤等情況[6]。
下面給出在Java語言里運用正則表達式進行匹配的幾個比較簡單的例子。
1）字符串匹配，這是不符合條件的，匹配不成功。
?p = Pattern.compile("ac*b");
?m = p.matcher("bcaaab");
?b = m.matches();
2）字符串匹配，這是符合的條件的，匹配成功。
p = Pattern.compile("cd*b");
?m = p.matcher("cdaaaab");
?b = m.matches();
3）字符串替換，操作成功。
?p = Pattern.compile("ab");
?m = p.matcher("aaaaab");
?s = m.replaceAll("d");
對于前面所討論的新聞網頁，所構造的正則表達式需要完成兩項任務。首先是從整個網頁中匹配所有的<ul class=115>…</ul>單元，然后就是把每一個信息單元中代表新聞的字段（新聞的標題、新聞的文摘、新聞的超鏈以及新聞的出處等）從每個單元中解析出來，并作為一個完整的知識單元存入數據庫中。所以每項任務都需要構造一個Pattern。
第一個pattern是：
Pattern p=Pattern.compile("<ul([^>]*)>(.*?)</ul>"，Pattern.MULTILINE | Pattern.DOTALL)
?

就是能把每個<ul class=l15>…</ul>單元從整個網頁里面取出，<ul([^>]*)>(.*?)</ul> ，其中，“<ul”表示匹配單元必須以此開頭，“([^>]*)”表示匹配的是除字符“>”以外的任意多字符，然后以”>”結束，這樣就能找到相關的單元開始，剩下的就是只取一個單元。“(.*?)”表示任意多字符，“</ul>”表示以此標識結束。這樣就很簡單的匹配到一個個<ul class=l15>…</ul>單元。“Pattern.MULTILINE”表示可以多行匹配，“Pattern.DOTALL”表示對大小寫不敏感。
第二個pattern就是解析出每個單元里面我們所需要的元數據的字段。即新聞的超鏈等字段。
Pattern p1 = Pattern.compile("<a href=\"([^\"]*)\".*<font class=[^>]*>(.*)</font></a>.*<font color=[^>]*><i>(.*)</i></font><br>(.*).*"， Pattern.MULTILINE | Pattern.DOTALL)
?

筆者還對其它門戶網站的新聞網頁結構進行了分析，發現它們都具備與新浪網站的新聞網頁相似的結構。比如，搜狐網站的新聞網頁就是由一個個<span class=blank>…</span>單元組成的新聞記錄，每條新聞記錄里面也同樣包括新聞的標題、文摘、出處、超鏈等。而網易則是由一個個<li>…<p>單元組成的新聞記錄，記錄里面的結構也相似。因此門戶網站和新聞網站的這類網頁在結構上基本相同，只是細節上有略微的差別。所以對各個網站的這類網頁的解析算法都可采用正則表達式方式，區別只在于正則表達式的構造有所不同。
5算法測評與應用實例
?? 筆者分別從新浪、搜狐以及百度網站各隨機抽取了267個、342個、327個（共936個頁面，頁面大小總和21546 KB）新聞網頁，對正則表達式法算法的解析結果進行測評。測評工作主要分為兩項：速度和準確度。
對936個頁面用正則表達式進行批處理解析，共用時約18秒，平均每秒解析網頁52個，平均速度為1197KB/S，而周源遠等人研制的網頁清洗系統的解析速度為891KB/S[2]。顯然正則表達式算法由于是采用直接完全匹配的思路，運行速度上要強于網頁清洗解析網頁的算法。
從上述936個頁面中隨機選取了250個頁面，對正則表達式算法解析的質量進行人工評分，分為三個等級：好（指頁面中所有相關主題的新聞記錄都被準確提取，每條新聞記錄中的各重要信息也被準確提取）、一般（指有少量一般性錯誤，新聞記錄有少量遺漏，或新聞記錄中的重要信息有少量錯誤，但整體可以接受）、差（指有嚴重錯誤或誤差較多，難以接受）。結果，得分為“好”、“一般”、“差”的網頁比例分別為78%、20%、2%。也就是說，此算法解析網頁的準確度在整體上有98％是可接受的，不可接受的僅為2％。之所以有這么高的準確度是因為在掌握網頁結構的前提下，算法對所處理的對象有很高的匹配成功率。但是仍然有2%的不可接受的結果，那是因為網頁間在結構上還是有差異的，比如像百度網的新聞網頁，網頁中的新聞記錄有時有圖片，有時沒有圖片，這給算法的編寫帶來了一定的難度，所以算法有進一步改善的可能。
筆者已將上述正則表達式解析新聞網頁算法成功應用于自主開發的個性化網絡新聞定制系統中。系統工作在Windows 2000 Server操作系統和SQL Server 2000數據庫管理系統平臺，WEB服務器為Apache 2，前臺網站采用JSP(Java ServerPages)來處理，JSP引擎為resin2.1.6，后臺模塊采用Java語言編寫，Java虛擬機為JDK1.4，按照個性化信息服務的工作模式提供新浪、網易、搜狐三大門戶網站的新聞定制服務。當成為注冊用戶后，用戶就可以享受個性化新聞的定制服務。用戶進入相關頁面提交需要定制的新聞主題以及新聞提醒服務的形式，系統會定期按照用戶的需求，以網頁或郵件的形式把相關新聞信息推送給用戶。系統分為信息采集、信息處理、信息代理服務三個模塊，其中的信息處理模塊的功能就是采用正則表達式算法，對取回新聞檢索結果頁面進行處理，提取出系統所需新聞元數據，包括新聞標題、新聞來源、新聞時間、新聞文摘等字段。
6 結束語
本文在對新聞類網頁的特定結構進行分析后，研究出利用正則表達式來挖掘新聞網頁的新算法，它對網頁中的一個個新聞記錄單元進行解析匹配，獲得了很好的效果，解析效率高，速度快，而且程序編寫簡單。最重要的是它是中文信息處理的一種新思路，值得進一步深入研究。不過這種方法仍然存在很多問題，比如它要求被處理的網頁結構比較穩定，而且事先也要人工對網頁的結構進行分析，然后才能構造正則表達式，這樣算法就顯得不夠靈活。因此，該方法也存在適用面不廣，智能化不高的的局限性。但由于正則表達式的強大的解析、匹配的能力，以及研究尚處于初期，該算法仍然具有廣闊的前景