中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

搜索引擎不抓取頁面服務(wù)器端的五個(gè)問題

2022-11-14    分類: 網(wǎng)站建設(shè)

網(wǎng)站建設(shè)- 建站教程 - 網(wǎng)站優(yōu)化 - 搜索引擎不抓取頁面 服務(wù)器端的五個(gè)問題
1、錯(cuò)誤的封禁
在百度的robots.txt的更新上,如果多次點(diǎn)擊“檢測并更新”就會(huì)出現(xiàn)時(shí)??梢愿?,但是又時(shí)常無法更新的問題。如此一來:不應(yīng)當(dāng)被收錄的東西,在robots.txt上禁止的被收錄了,又刪除就很正常了。那么它的問題是什么呢?并非服務(wù)器負(fù)載過度,而是因?yàn)榉阑饓﹀e(cuò)誤的將部分Baiduspider列入了黑名單。
成都網(wǎng)站建設(shè)

2、服務(wù)器異常
常規(guī)的服務(wù)器就不說了,大家都知道的,北上廣的一般都不錯(cuò)。不過有一些特殊服務(wù)器,想必絕大多數(shù)的站長都不知道吧?例如西部數(shù)碼的“港臺服務(wù)器”就很有趣,真的是港臺的嗎?本身機(jī)房在國內(nèi),還算什么港臺?為了逃避備案而用一個(gè)港臺的IP,數(shù)據(jù)全部在國內(nèi)。
這樣有什么不好呢?我們會(huì)發(fā)現(xiàn):站點(diǎn)的服務(wù)器是經(jīng)過CDN的,哪怕是你上傳的一張圖片,都會(huì)顯示為“302狀態(tài)碼”,訪問速度是提升上去了,可是這樣利于SEO嗎?
3、獲取不到真實(shí)IP
規(guī)模較大的網(wǎng)站,一般都會(huì)使用CDN加速,但是有些站點(diǎn)不僅僅對“設(shè)備”使用了CDN加速,而且還對Spider使用了加速功能。后的結(jié)果是什么呢?如果CDN節(jié)點(diǎn)不穩(wěn)定,那么對網(wǎng)站spider來講,這個(gè)問題將是致命的。
很多大型站點(diǎn)開放CDN的原因就是容易被攻擊,這個(gè)時(shí)候如果不做“蜘蛛回源”就可想而知了。你的站點(diǎn)做了CDN了嗎?請登錄百度站長平臺查看一下spider是否可以抓取真實(shí)IP地址吧!
4、頻繁的50X類錯(cuò)誤

這樣的鏈接其中一個(gè)共同的特點(diǎn)是:當(dāng)打開后,全部都是正常的,那么Spider為什么會(huì)報(bào)錯(cuò)提醒呢?只是因?yàn)樵谂老x發(fā)起抓取的那一刻,httpcode返回了5XX",你的站點(diǎn)是否頻繁有這樣的問題呢?有的話需要立即安排技術(shù),或者通報(bào)IDC服務(wù)商做解決了!

成都網(wǎng)站建設(shè)

5、錯(cuò)誤的抓取比例
任何網(wǎng)站都做不到100%不出問題,但是萬事有一個(gè)度:我們認(rèn)為,這個(gè)比例不超過5%,對網(wǎng)站基本上是無影響的,且這樣的錯(cuò)誤不應(yīng)當(dāng)每天都出現(xiàn)。常見的抓取錯(cuò)誤一般都是連接超時(shí):"抓取請求連接建立后,下載頁面速度過慢,導(dǎo)致超時(shí),可能原因服務(wù)器過載,帶寬不足"這種情況:
A:盡量在不影響圖片質(zhì)量的情況下,對圖片進(jìn)行壓縮,上傳的時(shí)候就進(jìn)行了壓縮。
B:減少如JS腳本文件類型的使用,或者進(jìn)行合并
C:頁面大小進(jìn)行控制,尤其是一些瀏覽量、抓取量較高的頁面,不建議超過2MB。
D:增加網(wǎng)站的帶寬,提升下載速度,或者更換服務(wù)器。
今天創(chuàng)新互聯(lián)關(guān)于網(wǎng)站收錄服務(wù)器端問題就分享到這里,更多網(wǎng)站建設(shè)、優(yōu)化等問題可咨詢創(chuàng)新互聯(lián)技術(shù)團(tuán)隊(duì)。

網(wǎng)站題目:搜索引擎不抓取頁面服務(wù)器端的五個(gè)問題
文章網(wǎng)址:http://www.rwnh.cn/news10/213560.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站排名、網(wǎng)站設(shè)計(jì)公司、Google、靜態(tài)網(wǎng)站、網(wǎng)站導(dǎo)航網(wǎng)頁設(shè)計(jì)公司

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

小程序開發(fā)
当雄县| 麦盖提县| 泗水县| 荔波县| 苍山县| 丰台区| 吉木萨尔县| 竹溪县| 兴山县| 内乡县| 武陟县| 海口市| 乌拉特中旗| 井冈山市| 西藏| 澜沧| 五河县| 九龙县| 林周县| 兴安县| 彰化县| 仙游县| 明星| 武威市| 莆田市| 无极县| 含山县| 铁力市| 建德市| 镇江市| 广东省| 西贡区| 三台县| 涞源县| 安远县| 威宁| 枣阳市| 海南省| 镇雄县| 城口县| 克东县|