本文從實(shí)踐的角度重點(diǎn)闡述Java語(yǔ)言中輸入流類(lèi)StreamTokenizer在編寫(xiě)HTML文件分析程序中的應(yīng)用，并介紹了以字節(jié)為單位下載Web頁(yè)面的例程。
　　
　　一、概述
　　
　　Web服務(wù)器的核心是對(duì)HTML文件中的各標(biāo)記（Tag）作出正確的分析，一種編程語(yǔ)言的解釋程序也是對(duì)源文件中的保留字進(jìn)行分析再做解釋的。實(shí)際應(yīng)用中，我們也常常會(huì)遇到需要對(duì)某一特定類(lèi)型文件進(jìn)行關(guān)鍵字分析的情況，比如，需要將某個(gè)HTML文件下載并同時(shí)下載與之相關(guān)的.gif、.class等文件，此時(shí)就要求對(duì)HTML文件中的標(biāo)記進(jìn)行分離，找出所需的文件名及目錄。在Java出現(xiàn)以前，類(lèi)似工作需要對(duì)文件中的每個(gè)字符進(jìn)行分析，從中找出所需部分，不僅編程量大，且易出錯(cuò)。筆者在近期的項(xiàng)目中利用Java的輸入流類(lèi)StreamTokenizer進(jìn)行HTML文件的分析，效果較好。在此，我們要實(shí)現(xiàn)從已知的Web頁(yè)面下載HTML文件，對(duì)其進(jìn)行分析后，下載該頁(yè)面中包含的HTML文件（如果在Frame中）、圖像文件和Class（Java Applet）文件。
　　
　　二、StreamTokenizer類(lèi)
　　
　　StreamTokenizer即令牌化輸入流的作用是將一個(gè)輸入流中變成令牌流。令牌流中的令牌實(shí)體有三類(lèi)：?jiǎn)卧~（即多字符令牌）、單字符令牌和空白（包括Java和C/C++中的說(shuō)明語(yǔ)句）。
　　
　　StreamTokenizer類(lèi)的構(gòu)造器為： StreamTokenizer(InputStream in)
　　
　　該類(lèi)有一些公有實(shí)例變量：ttype、sval和nval ,分別表示令牌類(lèi)型、當(dāng)前字符串值和當(dāng)前數(shù)字值。當(dāng)我們需要取得令牌（即HTML中的標(biāo)記）之間的字符時(shí)，應(yīng)訪問(wèn)變量sval。而讀向下一個(gè)令牌的方法是調(diào)用nextToken（）。方法nextToken()的返回值是int型，共有四種可能的返回：
　　
　　StreamTokenizer.TT_NUMBER: 表示讀到的令牌是數(shù)字，數(shù)字的值是double型，可以從實(shí)例變量nval中讀取。
　　
　　StreamTokenizer.TT_WORD: 表示讀到的令牌是非數(shù)字的單詞（其他字符也在其中），單詞可以從實(shí)例變量sval中讀取。
　　
　　StreamTokenizer.TT_EOL: 表示讀到的令牌是行結(jié)束符。
　　
　　如果已讀到流的盡頭，則nextToken()返回TT_EOF。
　　
　　開(kāi)始調(diào)用nextToken()之前，要設(shè)置輸入流的語(yǔ)法表，以便使分析器辨識(shí)不同的字符。WhitespaceChars(int low, int hi)方法定義沒(méi)有意義的字符的范圍。WordChars(int low, int hi)方法定義構(gòu)造單詞的字符范圍。
　　
　　三、程序?qū)崿F(xiàn)
　　
　　1、HtmlTokenizer類(lèi)的實(shí)現(xiàn)
　　
　　對(duì)某個(gè)令牌流進(jìn)行分析之前，首先應(yīng)對(duì)該令牌流的語(yǔ)法表進(jìn)行設(shè)置，在本例中，即是讓程序分出哪個(gè)單詞是HTML的標(biāo)記。下面給出針對(duì)我們需要的HTML標(biāo)記的令牌流類(lèi)定義，它是StreamTokenizer的子類(lèi)：