1、爬行和抓取

搜索引擎派出一個(gè)能夠在網(wǎng)上發(fā)現(xiàn)新網(wǎng)頁(yè)并抓取文件的程序，這個(gè)程序通常被稱(chēng)為蜘蛛或機(jī)器人。搜索引擎蜘蛛從數(shù)據(jù)庫(kù)中已知的網(wǎng)頁(yè)開(kāi)始出發(fā)，就像正常用戶(hù)的瀏覽器一樣訪問(wèn)這些網(wǎng)頁(yè)并抓取文件。

并且搜索引擎蜘蛛會(huì)跟蹤網(wǎng)頁(yè)上的鏈接，訪問(wèn)更多網(wǎng)頁(yè)，這個(gè)過(guò)程就叫爬行。當(dāng)通過(guò)鏈接發(fā)現(xiàn)有新的網(wǎng)址時(shí)，蜘蛛將把新網(wǎng)址記錄入數(shù)據(jù)庫(kù)等待抓取。跟蹤網(wǎng)頁(yè)鏈接是搜索引擎蜘蛛發(fā)現(xiàn)新網(wǎng)址的最基本方法，所以反向鏈接成為搜索引擎優(yōu)化的最基本因素之一。沒(méi)有反向鏈接，搜索引擎連頁(yè)面都發(fā)現(xiàn)不了，就更談不上排名了。

搜索引擎蜘蛛抓取的頁(yè)面文件與用戶(hù)瀏覽器得到的完全一樣，抓取的文件存入數(shù)據(jù)庫(kù)。

2、索引

搜索引擎索引程序把蜘蛛抓取的網(wǎng)頁(yè)文件分解、分析，并以巨大表格的形式存入數(shù)據(jù)庫(kù)，這個(gè)過(guò)程就是索引。在索引數(shù)據(jù)庫(kù)中，網(wǎng)頁(yè)文字內(nèi)容，關(guān)鍵詞出現(xiàn)的位置、字體、顏色、加粗、斜體等相關(guān)信息都有相應(yīng)記錄。

3、搜索詞處理

用戶(hù)在搜索引擎界面輸入關(guān)鍵詞，單擊“搜索”按鈕后，搜索引擎程序即對(duì)輸入的搜索詞進(jìn)行處理，如中文特有的分詞處理，對(duì)關(guān)鍵詞詞序的分別，去除停止詞，判斷是否需要啟動(dòng)整合搜索，判斷是否有拼寫(xiě)錯(cuò)誤或錯(cuò)別字等情況。搜索詞的處理必須十分快速。

4、排序

對(duì)搜索詞進(jìn)行處理后，搜索引擎排序程序開(kāi)始工作，從索引數(shù)據(jù)庫(kù)中找出所有包含搜索詞的網(wǎng)頁(yè)，并且根據(jù)排名計(jì)算法計(jì)算出哪些網(wǎng)頁(yè)應(yīng)該排在前面，然后按一定格式返回“搜索”頁(yè)面。

排序過(guò)程雖然在一兩秒之內(nèi)就完成返回用戶(hù)所要的搜索結(jié)果，實(shí)際上這是一個(gè)非常復(fù)雜的過(guò)程。排名算法需要實(shí)時(shí)從索引數(shù)據(jù)庫(kù)中找出所有相關(guān)頁(yè)面，實(shí)時(shí)計(jì)算相關(guān)性，加入過(guò)濾算法，其復(fù)雜程度是外人無(wú)法想象的。搜索引擎是當(dāng)今規(guī)模最大、最復(fù)雜的計(jì)算系統(tǒng)之一。