網(wǎng)站日志可以記錄最近24小時，網(wǎng)站的訪問情況，包括搜索引擎的訪問。作為一個專業(yè)的SEO人員，分析網(wǎng)站日志查看不同搜索引擎是如何爬行網(wǎng)站，然后通過分析結(jié)果對網(wǎng)站進行優(yōu)化，是非常必要的一個過程。不同搜索引擎爬行網(wǎng)站的規(guī)律不同，經(jīng)統(tǒng)計成都網(wǎng)站建設(shè)網(wǎng)站日志得知，百度蜘蛛爬行網(wǎng)站是最頻繁的，但是爬行深度是最淺的，相對于其他搜索引擎，搜狗和360搜索引擎蜘蛛訪問頻率較低，而且比較集中。

一、百度搜索引擎蜘蛛訪問頻率高、深度低、比較喜歡爬行tag相關(guān)頁面

百度搜索引擎蜘蛛訪問網(wǎng)站的頻率非常的高，機會一天當(dāng)中都要訪問幾十次，但是每次爬行的深度很低，從下圖網(wǎng)站日志中的截圖可以看出，百度蜘蛛訪問網(wǎng)站的時候會直接爬行“/search/search.php?key=”或者“/blog/?tag=”以及“/blog/?feed=rss2&tag=”這三個URL鏈接，從百度蜘蛛爬行的這三個URL中分析，可以看出這三種鏈接都是類似于tag的這種標(biāo)簽，也可以看作成網(wǎng)站的一個綜合搜索功能，從搜索某些關(guān)鍵字來查看網(wǎng)站是否存在更新。不過百度蜘蛛也會直接爬行網(wǎng)站的首頁或者某些特定的內(nèi)頁，所爬行的這些內(nèi)頁也沒有規(guī)律可循，只是看到蜘蛛確實爬過這個頁面。如圖2所示：

百度搜索引擎蜘蛛爬行日志圖一

百度搜索引擎蜘蛛爬行日志圖2

百度搜索引擎蜘蛛爬行日志圖3

二、谷歌搜索引擎蜘蛛訪問頻率高、深度高、爬行頁面較多

谷歌搜索引擎蜘蛛訪問頻率應(yīng)該是最高的，這點應(yīng)該和我們網(wǎng)站在谷歌中的權(quán)重---PR值有關(guān)，在《詳細(xì)了解成都網(wǎng)站建設(shè)權(quán)重的真實含義》介紹過關(guān)于網(wǎng)站權(quán)重的知識，通過分析網(wǎng)站日志，可以看到谷歌蜘蛛在一天當(dāng)中頻繁的訪問網(wǎng)站頁面，并且訪問網(wǎng)站URL很多，包括百度蜘蛛爬行的那些URL外，還有其他的一些直接性的頁面，如下圖所示。從這里可以看出谷歌在爬行網(wǎng)站方面確實比百度要好的多，但是畢竟谷歌不是主流的搜索引擎所以我們只是直到谷歌蜘蛛來過就好了，不用太在意它的爬行深度和頻率是怎樣的。

三、360搜索引擎蜘蛛爬行頻率中、深度中、爬行頁面集中

360搜索引擎蜘蛛在一天當(dāng)中訪問網(wǎng)站是有規(guī)律可循，在網(wǎng)站日志中可以看出360搜索引擎在爬行網(wǎng)站的過程是非常集中的，而在其他的任何時段都不會來訪問網(wǎng)站，來的話也是直接爬行特定的幾個頁面，比如第一次爬行的是“/wangzhanjianshe/”這個目錄，那么接下來所有蜘蛛都會隨著這個目錄爬行下去，然而在爬行了幾次發(fā)現(xiàn)沒有新的內(nèi)容之后，就會離開網(wǎng)站，等第二天再次爬行。

四、搜狗搜索引擎蜘蛛爬行頻率中、深度中、比較喜歡類似blog之類的頁面

通過查看網(wǎng)站日志得知，搜狗搜索引擎蜘蛛只爬行了/blog/目錄下的頁面，而且爬行頻率如同360蜘蛛一樣，都屬于集中型的，在一天中的固定時刻訪問，而且只是訪問一次。這可以看出搜狗蜘蛛很喜歡網(wǎng)站中的blog。我們網(wǎng)站在搜狗中，搜索“成都網(wǎng)站建設(shè)”第一個就是我們的，也許是和我們網(wǎng)站中存在blog有關(guān)吧。當(dāng)然在其他搜索引擎中排名也很好，這是一種猜測，也許和網(wǎng)站內(nèi)容也有很大關(guān)系的。

寫到最后：

不同搜索引擎，爬行頁面的頻率、深度、時間都是不同的，我們可以根據(jù)分析網(wǎng)站日志得知自己網(wǎng)站對于不同蜘蛛的喜歡程度，然后根據(jù)不同的蜘蛛制定不同的優(yōu)化方案。爭取將成都網(wǎng)站建設(shè)公司的關(guān)鍵字在任何搜索引擎上都有一個好的排名。對于其他的搜索引擎來說，基本可以忽略不計，因為據(jù)目前各大主流搜索引擎的排名來看，基本質(zhì)量比較高的網(wǎng)站排名都差不多。

文章名稱：成都網(wǎng)站日志說明成都網(wǎng)站建設(shè)不同搜索引擎如何爬行網(wǎng)站的
本文網(wǎng)址：http://www.rwnh.cn/news/246705.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、品牌網(wǎng)站設(shè)計、微信小程序、服務(wù)器托管、虛擬主機、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)