中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

網(wǎng)站抓取異常的常見原因是什么?

2014-09-15    分類: 網(wǎng)站建設(shè)

為了更好的監(jiān)測網(wǎng)站優(yōu)化的情況,站長們幾乎都會(huì)統(tǒng)計(jì)一些日常的數(shù)據(jù)更新。網(wǎng)站是否出現(xiàn)抓取異常的情況也在數(shù)據(jù)統(tǒng)計(jì)的行列,根據(jù)記錄的情況,站長們還要因地制宜做一些分析和優(yōu)化措施。

網(wǎng)站抓取異常的常見原因是什么?

1.服務(wù)器的問題

服務(wù)器不穩(wěn)定的情況下會(huì)造成網(wǎng)站終端訪問不了,無法鏈接?;蛘叱霈F(xiàn)一直連接不上的情況,針對這種情況就只能換好的服務(wù)器了,千萬不貪圖小便宜,最終害了網(wǎng)站。

2.運(yùn)營商的問題

國內(nèi)正常情況下都使用的是電信和聯(lián)通這兩種,一般用的是雙線服務(wù),如果使用了單線服務(wù)造成的網(wǎng)站無法訪問,那么最好升級(jí)國雙線服務(wù)或者使用CND服務(wù)等方法解決。

3.DNS異常

當(dāng)蜘蛛無法解析你網(wǎng)站的IP的時(shí)候,就會(huì)出現(xiàn)DNS異?;蛘逥NS錯(cuò)誤問題,可能是服務(wù)商把蜘蛛設(shè)置封禁了,或者網(wǎng)站IP的地址不正確造成的??墒褂霉ぞ邫z查域名是否解析正確,如果不正確或者無法解析,那么聯(lián)系域名商更新IP解決即可。

網(wǎng)站抓取異常的常見原因是什么?

4.禁止蜘蛛抓取

這個(gè)就要看查看相關(guān)的代碼設(shè)置,是否有禁止Baiduspider抓取設(shè)置,或者robots協(xié)議的設(shè)置問題等。

5.UA封禁

UA是用戶代理(User-Agent),服務(wù)器通過UA識(shí)別訪問者的身份,返回異常頁面(如403,500)或跳轉(zhuǎn)到其他頁面的情況,即為UA封禁。

當(dāng)網(wǎng)站不希望Baiduspider訪問的時(shí)候,需要設(shè)置對應(yīng)的訪問權(quán)限。

6.死鏈

死鏈?zhǔn)蔷W(wǎng)站中的無效頁面,沒有任何價(jià)值并且出現(xiàn)訪問無效的情況。有協(xié)議死鏈和內(nèi)容死鏈。

對于死鏈問題,通過采用404頁面制作或統(tǒng)計(jì)好404頁面向百度站長平臺(tái)提交數(shù)據(jù)即可。

7.異常跳轉(zhuǎn)

異常跳轉(zhuǎn)也就是當(dāng)前的無效頁面比如死鏈、已經(jīng)刪除的頁面通過301直接跳轉(zhuǎn)到首頁或相關(guān)目錄頁面的情況。

或者是跳轉(zhuǎn)到出錯(cuò)、無效的頁面上。

這些情況都需要重視。主要還是301協(xié)議的問題,沒有必要的建議不要設(shè)置即可。

網(wǎng)站抓取異常的常見原因是什么?

8.其它情況

a.JS代碼問題,JS代碼與搜索引擎并不友好,也不是重點(diǎn)識(shí)別的對象,如果JS代碼蜘蛛識(shí)別不了,那么也會(huì)現(xiàn)問題異常。

b.百度會(huì)根據(jù)網(wǎng)站的內(nèi)容、規(guī)模、訪問情況等自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是異常情況下,壓力控制失常的話,會(huì)導(dǎo)致服務(wù)器負(fù)荷作出自我保護(hù)的突發(fā)性封禁情況。

c.壓力過大引起的偶然封禁:百度會(huì)根據(jù)站點(diǎn)的規(guī)模、訪問量等信息,自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是在異常情況下,如壓力控制失常時(shí),服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下,請?jiān)诜祷卮a中返回503(其含義是“ServiceUnavailable”),這樣搜索引擎蜘蛛會(huì)過段時(shí)間再來嘗試抓取這個(gè)鏈接,如果網(wǎng)站已空閑,則會(huì)被成功抓取。

分享標(biāo)題:網(wǎng)站抓取異常的常見原因是什么?
分享網(wǎng)址:http://www.rwnh.cn/news14/29664.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站設(shè)計(jì)搜索引擎優(yōu)化、Google、定制網(wǎng)站、網(wǎng)站設(shè)計(jì)公司、移動(dòng)網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

商城網(wǎng)站建設(shè)
项城市| 屏东市| 阳曲县| 府谷县| 枣强县| 通榆县| 阜新市| 上杭县| 和平县| 襄樊市| 合山市| 马龙县| 永泰县| 永州市| 武陟县| 揭东县| 阜城县| 怀来县| 怀化市| 滕州市| 富民县| 四会市| 长泰县| 陕西省| 汶川县| 上栗县| 彰武县| 安溪县| 南丰县| 阳原县| 石首市| 祥云县| 镇赉县| 汤阴县| 仙桃市| 温宿县| 桑植县| 滨州市| 奉化市| 翼城县| 常山县|