2022-01-26 分類: 網(wǎng)站建設(shè)
當(dāng)網(wǎng)站有了蜘蛛來(lái)訪,你的網(wǎng)站頁(yè)面才有被收錄的可能,而百度蜘蛛會(huì)來(lái)爬行我們網(wǎng)站的html代碼,然后把數(shù)據(jù)拆分為標(biāo)題、摘要、頭圖、正文等結(jié)構(gòu)化數(shù)據(jù),帶回給百度的服務(wù)器,進(jìn)行篩選放入數(shù)據(jù)庫(kù),接下來(lái)是關(guān)于百度蜘蛛對(duì)網(wǎng)站頁(yè)面爬行規(guī)律的一點(diǎn)分享?!?b>百度優(yōu)化】
現(xiàn)在的網(wǎng)站數(shù)量以百億計(jì)算,每個(gè)頁(yè)面都有快照備份是不現(xiàn)實(shí)的,所以百度蜘蛛會(huì)優(yōu)勝劣汰,就像是有探路的先鋒,有主力的部隊(duì),有功能之分,其實(shí)并沒(méi)有高低權(quán)重之分。
百度蜘蛛對(duì)網(wǎng)站內(nèi)頁(yè)的爬行規(guī)律:
百度蜘蛛主要由收錄與快照兩種蜘蛛構(gòu)成,通常123IP開(kāi)頭的是收錄蜘蛛,220IP開(kāi)頭的是快照蜘蛛,我們通過(guò)這兩種蜘蛛的日志訪問(wèn)情況,基本上能判斷出這個(gè)網(wǎng)站在百度看來(lái)是不是一個(gè)優(yōu)質(zhì)的網(wǎng)站。
1、內(nèi)容有質(zhì)量的頁(yè)面:新發(fā)一篇文章后,通常是123開(kāi)頭的蜘蛛先行,然后220開(kāi)頭的蜘蛛后行,接著當(dāng)天或隔1-2天,快照就會(huì)有更新。
2、404頁(yè)面爬取規(guī)律:當(dāng)網(wǎng)站刪除了幾篇已收錄的內(nèi)頁(yè)訪問(wèn)變成404后,123開(kāi)頭的蜘蛛來(lái)爬取時(shí),一般發(fā)現(xiàn)兩次404后,百度蜘蛛就不會(huì)來(lái)了。
3、文章內(nèi)容劣質(zhì)頁(yè)面:如果是用文章生成器生成的拼湊文章,排版亂無(wú)可讀性,123開(kāi)頭的蜘蛛來(lái)了一次以后就沒(méi)有再來(lái)了。
那么百度蜘蛛爬行真正的邏輯應(yīng)該是:123開(kāi)頭蜘蛛打沖鋒,對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行篩選,以便減少不必要的服務(wù)器資源浪費(fèi);220開(kāi)頭蜘蛛一般在123蜘蛛篩選過(guò)后才進(jìn)入,如果網(wǎng)頁(yè)內(nèi)容實(shí)在劣質(zhì),220開(kāi)頭的蜘蛛不會(huì)造訪;對(duì)于已經(jīng)收錄快照的頁(yè)面,是220開(kāi)頭直接來(lái)訪。
最后得出的結(jié)論如下:
1、123開(kāi)頭的IP是收錄蜘蛛,所謂收錄蜘蛛是指百度蜘蛛造訪后,百度后端會(huì)通過(guò)一系列判定手段,如反作弊處理、原創(chuàng)度檢測(cè)等等,決定是否能夠可以收錄,是否可以牽引百度快照蜘蛛到訪。
2、220開(kāi)頭的IP是快照蜘蛛,當(dāng)快收錄蜘蛛檢測(cè)網(wǎng)頁(yè)通過(guò)了收錄標(biāo)準(zhǔn)之后,通過(guò)快照蜘蛛生成結(jié)構(gòu)化數(shù)據(jù),進(jìn)入倒排索引,這個(gè)時(shí)候的網(wǎng)頁(yè)才有快照,才能被用戶搜索到。
所以每次快照更新前,收錄蜘蛛、快照蜘蛛均有造訪,而收錄蜘蛛與快照蜘蛛訪問(wèn)比率一般不超過(guò)2:1,如果收錄蜘蛛出現(xiàn)次數(shù)遠(yuǎn)遠(yuǎn)大于快照蜘蛛,說(shuō)明網(wǎng)頁(yè)的內(nèi)容還不過(guò)關(guān)。
以上就是《關(guān)于百度蜘蛛對(duì)網(wǎng)站頁(yè)面爬行規(guī)律的一點(diǎn)分享》的全部?jī)?nèi)容,僅供站長(zhǎng)朋友們互動(dòng)交流學(xué)習(xí),SEO優(yōu)化是一個(gè)需要堅(jiān)持的過(guò)程,希望大家一起共同進(jìn)步。
當(dāng)前題目:【網(wǎng)站優(yōu)化】關(guān)于百度蜘蛛對(duì)網(wǎng)站頁(yè)面爬行規(guī)律的一點(diǎn)分享
文章鏈接:http://www.rwnh.cn/news/143261.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站建設(shè)、做網(wǎng)站、品牌網(wǎng)站制作、動(dòng)態(tài)網(wǎng)站、網(wǎng)站改版、網(wǎng)站建設(shè)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容