＊使用索引：
新站點不需要事先＂提交＂到搜尋引擎才能登錄到網際網路上。一個來自於以建立好的其他站點的簡單鏈結就會讓搜尋引擎拜訪新站點，並且開始使用蜘蛛機器人『爬行』過該站的＂網頁內容＂、＂連結結構＂及＂網站架構＂。
它可能得花幾天甚至幾週從這樣一個已建立的站點取得連結，並使所有主要搜尋引擎開始拜訪並索引新站點。一旦搜尋引擎發現了新站點，一般將拜訪和開始索引該站點，直到所有標準的超連結被鏈結的頁索引到為止。
若是透過「Flash」或「JavaScript」才能拜訪的連結則不會被蜘蛛機器人探索到。

當搜尋引擎的蜘蛛機器人爬過一個站點時會取決相當數量的不同因子，並且該站點的許多頁可能不會被索引到，除非它們網頁級別(PR值)、連結以及流量增加到一個程度。
從站點的根目錄到該頁的距離，以及其它比重考量，或許也是決定是否該頁得到檢索的因素，了解哪些頁會被拜訪、哪些會收入搜尋引擎索引的決定標準。

＊防止爬行
網站管理員可透過在網域根目錄裡的標準＂robots.txt＂檔案指示蜘蛛機器人索引某些檔案或目錄。標準的實現要求是搜尋引擎在拜訪這個網域時參考這個檔案，雖然搜尋引擎的蜘蛛機器人當它在拜訪某個站點網頁時將保留這個檔案的快取拷貝，並且更新速度沒像網站管理員那麼快。

網站發展人員可能使用這個特性防止某些頁面，例如購物車、其他資料庫自動產生頁面、特定使用者的內容出現在搜尋頁面結果中，並且防止機器人進入死循環和其它機器人陷阱。對於某些有提交的查尋引擎（像Yahoo），支付象徵性費用、提交也許會節省一些時間，雖然雅虎有提交方案不保證提交人/公司包括在他們的查尋結果中。