近在網(wǎng)上看了篇有關(guān)百度蜘蛛的爬行代碼的解釋?zhuān)l(fā)現(xiàn)和現(xiàn)在的爬行有些改變,已至于開(kāi)始時(shí)看我的www.jianzhanzhe.com這個(gè)站的日志看不懂是什么意思,經(jīng)過(guò)多次研究終于明白其中,所以今重新整理解釋如下:
做
seo的朋友都知道,研究se爬行規(guī)律對(duì)于網(wǎng)站優(yōu)化意義重大,特別是對(duì)百度蜘蛛Baiduspider的研究。本文解釋一下百度蜘蛛爬行后返回代碼代表的具體含義:
2xx 成功
200 正常;請(qǐng)求已完成。
201 正常;緊接 POST 命令。
202 正常;已接受用于處理,但處理尚未完成。
203 正常;部分信息 — 返回的信息只是一部分。
204 正常;無(wú)響應(yīng) — 已接收請(qǐng)求,但不存在要回送的信息。
3xx 重定向
301 已移動(dòng) — 請(qǐng)求的數(shù)據(jù)具有新的位置且更改是的。
302 已找到 — 請(qǐng)求的數(shù)據(jù)臨時(shí)具有不同 URI。
303 請(qǐng)參閱其它 — 可在另一 URI 下找到對(duì)請(qǐng)求的響應(yīng),且應(yīng)使用 GET 方法檢索此響應(yīng)。
304 未修改 — 未按預(yù)期修改文檔。
305 使用代理 — 必須通過(guò)位置字段中提供的代理來(lái)訪問(wèn)請(qǐng)求的資源。
306 未使用 — 不再使用;保留此代碼以便將來(lái)使用。
4xx 客戶(hù)機(jī)中出現(xiàn)的錯(cuò)誤
400 錯(cuò)誤請(qǐng)求 — 請(qǐng)求中有語(yǔ)法問(wèn)題,或不能滿(mǎn)足請(qǐng)求。
401 未授權(quán) — 未授權(quán)客戶(hù)機(jī)訪問(wèn)數(shù)據(jù)。
402 需要付款 — 表示計(jì)費(fèi)系統(tǒng)已有效。
403 禁止 — 即使有授權(quán)也不需要訪問(wèn)。
404 找不到 — 服務(wù)器找不到給定的資源;文檔不存在。
407 代理認(rèn)證請(qǐng)求 — 客戶(hù)機(jī)首先必須使用代理認(rèn)證自身。
410 請(qǐng)求的網(wǎng)頁(yè)不存在();
415 介質(zhì)類(lèi)型不受支持 — 服務(wù)器拒絕服務(wù)請(qǐng)求,因?yàn)椴恢С终?qǐng)求實(shí)體的格式。
5xx 服務(wù)器中出現(xiàn)的錯(cuò)誤
500 內(nèi)部錯(cuò)誤 — 因?yàn)橐馔馇闆r,服務(wù)器不能完成請(qǐng)求。
501 未執(zhí)行 — 服務(wù)器不支持請(qǐng)求的工具。
502 錯(cuò)誤網(wǎng)關(guān) — 服務(wù)器接收到來(lái)自上游服務(wù)器的無(wú)效響應(yīng)。
503 無(wú)法獲得服務(wù) — 由于臨時(shí)過(guò)載或維護(hù),服務(wù)器無(wú)法處理請(qǐng)求。
比如說(shuō):
2008-05-10 00:28:03 W3SVC818374 222.214.218.36 GET /flash/1622.html - 80 - 221.10.254.26 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 21089
如果你的域名是www.jianzhanzhe.com,這就意味著百度蜘蛛在2008-05-10 00:28:03 爬過(guò)http://www.jianzhanzhe.com/flash/1622.html 這一頁(yè),200 0 0 21089中的200協(xié)議代碼代表了請(qǐng)求已完成也就是它發(fā)現(xiàn)這頁(yè)并以入庫(kù)了。根據(jù)這個(gè)我們可以多查看iis日志,研究蜘蛛爬行的路徑,找出自己網(wǎng)站存在的問(wèn)題,進(jìn)而改正。
名稱(chēng)欄目:百度優(yōu)化成都建站到底是怎么抓取到的?22
網(wǎng)頁(yè)URL:http://www.rwnh.cn/news/164639.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站收錄、軟件開(kāi)發(fā)、移動(dòng)網(wǎng)站建設(shè)、ChatGPT、電子商務(wù)、服務(wù)器托管
廣告
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話(huà):028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源:
創(chuàng)新互聯(lián)