發(fā)現網站網頁 

搜索引擎通常通過其他一些鏈接來尋找到新的網站、網頁，所以在搜索引擎發(fā)現網站的過程中，就需要增加適當的外鏈，而且，內鏈也應當豐富，能讓搜索引擎派出的spider從內鏈中順利爬行，以便抓取新的頁面 。

搜索網站頁面 

一旦某個網頁被搜索引擎對有所了解，比如百度，就會讓某個“站點”去搜索這些網頁。你很可能希望整個網站都被搜索。但是，這很可能會由于搜索效率低或者基礎結構(阻止站點登陸網站)等因素而受到阻礙。 

提取內容 

一旦搜索引擎派出的spider登陸某個頁面，它就會進行選擇性存儲，搜索引擎就會考慮到底需不需要儲存這些內容。如果它們認為這些內容大多都比較空洞或者說價值不大，那么通常不會儲存網頁(比如，這些網頁或許是網站上其他網頁內容的總和)。重復內容的其中一個普遍原因就是合并，這就是索引。