全文搜索引擎的“網絡機器人”或“網絡蜘蛛”是一種網絡上的軟件，它遍歷Web空間，能夠掃描一定IP地址范圍內的網站，并沿著網絡上的鏈接從一個網頁到另一個網頁，從一個網站到另一個網站采集網頁資料。它為保證采集的資料最新，還會回訪已抓取過的網頁。網絡機器人或網絡蜘蛛采集的網頁，還要有其它程序進行分析，根據一定的相關度算法進行大量的計算建立網頁索引，才能添加到索引數據庫中。我們平時看到的全文搜索引擎，實際上只是一個搜索引擎系統的檢索界面，當你輸入關鍵詞進行查詢時，搜索引擎會從龐大的數據庫中找到符合該關鍵詞的所有相關網頁的索引，并按一定的排名規則呈現給我們。不同的搜索引擎，網頁索引數據庫不同，排名規則也不盡相同，所以，當我們以同一關鍵詞用不同的搜索引擎查詢時，搜索結果也就不盡相同。

和全文搜索引擎一樣，分類目錄的整個工作過程也同樣分為收集信息、分析信息和查詢信息三部分，只不過分類目錄的收集、分析信息兩部分主要依靠人工完成。分類目錄一般都有專門的編輯人員，負責收集網站的信息。隨著收錄站點的增多，現在一般都是由站點管理者遞交自己的網站信息給分類目錄，然后由分類目錄的編輯人員審核遞交的網站，以決定是否收錄該站點。如果該站點審核通過，分類目錄的編輯人員還需要分析該站點的內容，并將該站點放在相應的類別和目錄中。所有這些收錄的站點同樣被存放在一個“索引數據庫”中。用戶在查詢信息時，可以選擇按照關鍵詞搜索，也可按分類目錄逐層查找。如以關鍵詞搜索，返回的結果跟全文搜索引擎一樣，也是根據信息關聯程度排列網站。需要注意的是，分類目錄的關鍵詞查詢只能在網站的名稱、網址、簡介等內容中進行，它的查詢結果也只是被收錄網站首頁的URL地址，而不是具體的頁面。分類目錄就像一個電話號碼薄一樣，按照各個網站的性質，把其網址分門別類排在一起，大類下面套著小類，一直到各個網站的詳細地址，一般還會提供各個網站的內容簡介，用戶不使用關鍵詞也可進行查詢，只要找到相關目錄，就完全可以找到相關的網站（注意：是相關的網站，而不是這個網站上某個網頁的內容，某一目錄中網站的排名一般是按照標題字母的先后順序或者收錄的時間順序決定的）。
搜索引擎并不真正搜索互聯網，它搜索的實際上是預先整理好的網頁索引數據庫。


真正意義上的搜索引擎，通常指的是收集了因特網上幾千萬到幾十億個網頁并對網頁中的每一個詞（即關鍵詞）進行索引，建立索引數據庫的全文搜索引擎。當用戶查找某個關鍵詞的時候，所有在頁面內容中包含了該關鍵詞的網頁都將作為搜索結果被搜出來。在經過復雜的算法進行排序后，這些結果將按照與搜索關鍵詞的相關度高低，依次排列。

現在的搜索引擎已普遍使用超鏈分析技術，除了分析索引網頁本身的內容，還分析索引所有指向該網頁的鏈接的URL、AnchorText、甚至鏈接周圍的文字。所以，有時候，即使某個網頁A中并沒有某個詞比如“惡魔撒旦”，但如果有別的網頁B用鏈接“惡魔撒旦”指向這個網頁A，那么用戶搜索“惡魔撒旦”時也能找到網頁A。而且，如果有越多網頁（C、D、E、F……）用名為“惡魔撒旦”的鏈接指向這個網頁A，或者給出這個鏈接的源網頁（B、C、D、E、F……）越優秀，那么網頁A在用戶搜索“惡魔撒旦”時也會被認為更相關，排序也會越靠前。

搜索引擎的原理，可以看做三步：從互聯網上抓取網頁→建立索引數據庫→在索引數據庫中搜索排序。

從互聯網上抓取網頁
利用能夠從互聯網上自動收集網頁的Spider系統程序，自動訪問互聯網，并沿著任何網頁中的所有URL爬到其它網頁，重復這過程，并把爬過的所有網頁收集回來。


建立索引數據庫
由分析索引系統程序對收集回來的網頁進行分析，提取相關網頁信息（包括網頁所在URL、編碼類型、頁面內容包含的關鍵詞、關鍵詞位置、生成時間、大小、與其它網頁的鏈接關系等），根據一定的相關度算法進行大量復雜計算，得到每一個網頁針對頁面內容中及超鏈中每一個關鍵詞的相關度（或重要性），然后用這些相關信息建立網頁索引數據庫。


在索引數據庫中搜索排序
當用戶輸入關鍵詞搜索后，由搜索系統程序從網頁索引數據庫中找到符合該關鍵詞的所有相關網頁。因為所有相關網頁針對該關鍵詞的相關度早已算好，所以只需按照現成的相關度數值排序，相關度越高，排名越靠前。
最后，由頁面生成系統將搜索結果的鏈接地址和頁面內容摘要等內容組織起來返回給用戶。
搜索引擎的Spider一般要定期重新訪問所有網頁（各搜索引擎的周期不同，可能是幾天、幾周或幾月，也可能對不同重要性的網頁有不同的更新頻率），更新網頁索引數據庫，以反映出網頁內容的更新情況，增加新的網頁信息，去除死鏈接，并根據網頁內容和鏈接關系的變化重新排序。這樣，網頁的具體內容和變化情況就會反映到用戶查詢的結果中。

互聯網雖然只有一個，但各搜索引擎的能力和偏好不同，所以抓取的網頁各不相同，排序算法也各不相同。大型搜索引擎的數據庫儲存了互聯網上幾億至幾十億的網頁索引，數據量達到幾千G甚至幾萬G。但即使最大的搜索引擎建立超過二十億網頁的索引數據庫，也只能占到互聯網上普通網頁的不到30%，不同搜索引擎之間的網頁數據重疊率一般在70%以下。我們使用不同搜索引擎的重要原因，就是因為它們能分別搜索到不同的內容。而互聯網上有更大量的內容，是搜索引擎無法抓取索引的，也是我們無法用搜索引擎搜索到的。

你心里應該有這個概念：搜索引擎只能搜到它網頁索引數據庫里儲存的內容。你也應該有這個概念：如果搜索引擎的網頁索引數據庫里應該有而你沒有搜出來，那是你的能力問題，學習搜索技巧可以大幅度提高你的搜索能力。

jwebee

我的個人網站