昨天睡覺前，總結了感興趣的3個問題，現在來回顧一下

1.爬蟲工作的過程？

2.爬蟲獲取數據后，數據的存儲結構？

3.數據如何索引成Lucene設定的索引格式？

上午干工作耽誤了，下午得閑，看點資料。試簡單總結一下上面幾個問題的。

先回答2號問題，數據的存儲結構好了。

Nutch把爬蟲找回來的資料做成了放在一個文件夾里面，美其名曰Web database。其實里面分別就四個文件夾了事。依次道來：

• crawldb：存放需要抓取的的超鏈接地址；
• segments：存放依據crawldb中提供的地址抓取到的內容信息。segments中的每個子文件夾存儲fetcher根據crawldb抓取一次所得的內容。這些抓取的內容包括有content、crawl_fetch、crawl_generate、crawl_parse、parse_data、parse_text。其中content是抓取下來的網頁內容；crawl_generate根據crawldb最初生成；crawl_fetch、content在抓取時生成；crawl_parse、parse_data、parse_text在解析抓取的數據文件時生成。其中crawl_generate、crawl_fetch和crawl_parse是crawldb的部分url數據，它們格式一樣，不同的是抓取時間、狀態、簽名等有所變化。
• Index和indexes：Index是最終我們所需要得到的東西，而Index就是通過indexes合并的到的。
• Linkdb：linkdb中存放的是所有超鏈接及其每個鏈接的連入地址和錨文件。

好了這個存儲結構的問題完成了。

抽空先寫這么多，呆會有時間在繼續。