對于網站優化人員來說，一個網站要取得好排名，基本上都是從站內內容，和站外外鏈下手。還需要做的就是查找搜索引擎蜘蛛的抓取進度，想要加快蜘蛛的抓取進度，有以下幾種方法。

　　一、分析搜索引擎抓取日志

　　如果，在搜索引擎抓取你的頁面后，覺得網站文章質量不錯，就會把此文章收錄到它的索引庫中，然后給相應的關鍵字進行排名。而分析日志。能夠知道咱們哪些頁面被抓取了，哪些頁面沒有被抓取，網站的每個目錄的抓取狀況，這么咱們能夠選用相應的方法來推動查找引擎的錄入。在網站優化中，分析日志是必做不可的事情，因為日志能有效的記載搜索引擎抓取記錄，想要做好網站優化，就必須懂得日志分析。

　　二、未被抓取頁面的URL放在主頁展示

　　找出未被抓取的網頁，獲取這些頁面的URL，然后再把這些URL展示在主頁上，以便增加搜索引擎抓取的幾率。很多網站之所以在主頁有最新文章版塊、隨機展現版塊，是為了添加被查找引擎抓取的幾率，然后增加網站頁面的收錄。網站主頁是蜘蛛最喜歡去的地方，所以，在主頁展示未被收錄的URL，能夠增加網站收錄。

　　三、多發布一些網站列表的外鏈

　　多發布一些列表頁的外鏈，是因為列表頁里有很多的URL，當搜索引擎抓取列表頁后，會繼續抓取列表頁里的URL，這也是增加收錄的一種方法。

　　四、使用Robots.txt文件及Nofollow標簽，協助搜索引擎收錄

　　互聯網上的網頁千千萬，要知道搜索引擎每天只抓取互聯網中部分頁面，而且，在抓取的頁面中，只收錄部分網頁。因此，在這種情況下，我們要主動的把重要頁面展示給搜索引擎。對于一些沒有錄入價值的頁面，需要阻礙搜索引擎的錄入及跟蹤。這時Robots文件與Nofollow標簽就能夠派上用場了，例如聯系我們、公司招聘等這些頁面，不需要被搜索引擎收錄，直接用Nofollow標簽，就能阻礙引擎的跟蹤。還可以把Noindex標簽添加在頁面的head，能有效的阻礙搜索引擎查找。這樣做的用意是，把一些無意義的頁面都阻礙抓取后，搜索引擎就會在網站里抓取其他有意義的頁面，增加網站收錄。

　　五、分析查找搜索引擎的抓取頻率

　　我們知道，百度提供了查找搜索引擎的抓取頻率機制，站長能夠通過調查蜘蛛來訪的次數，有效的知道搜索引擎抓取的頻率，方便我們分析蜘蛛來訪的頻率，對網站做出相應的改善。