2023-05-29 分類(lèi): 網(wǎng)站建設(shè)
在網(wǎng)站建設(shè)的時(shí)候,因?yàn)橐恍┎僮?,?dǎo)致正常的網(wǎng)站無(wú)法被搜索引擎爬蟲(chóng)訪(fǎng)問(wèn),進(jìn)而使搜索引擎認(rèn)為該頁(yè)面是死鏈接。除了頁(yè)面無(wú)法打開(kāi),一下的幾個(gè)點(diǎn)都可以導(dǎo)致網(wǎng)站死鏈的產(chǎn)生。
以下小編就給出一些死鏈的產(chǎn)生情況,本次文章素材來(lái)自百度公開(kāi)課搜索引擎課程,具備相對(duì)的權(quán)威性。其他搜索引擎同樣可以參考該篇文章來(lái)進(jìn)行設(shè)置。
減少死鏈的產(chǎn)生,是從事SEO工作工作者必修課。
HTTP/HTTPS設(shè)置不當(dāng)引起死鏈
問(wèn)題場(chǎng)景:
1.HTTP可訪(fǎng)問(wèn) ,HTTPS不可訪(fǎng)問(wèn)
2.HTTP不可訪(fǎng)問(wèn) ,HTTPS可訪(fǎng)問(wèn)
建議:
整站行為一致,保證所有的URL正常訪(fǎng)問(wèn),另外百度方面不建議HTTP與HTTPS共生。
封禁引起死鏈
問(wèn)題場(chǎng)景:
1.用戶(hù)可以正常訪(fǎng)問(wèn),爬蟲(chóng)不能。(爬蟲(chóng)抓取的是錯(cuò)誤的頁(yè)面)
一些網(wǎng)站因?yàn)樘厥庑?,?dǎo)致用戶(hù)可以正常訪(fǎng)問(wèn),但是當(dāng)爬蟲(chóng)訪(fǎng)問(wèn)時(shí),卻返回一個(gè)錯(cuò)誤的頁(yè)面。
2.PC端可訪(fǎng)問(wèn),搜索引擎APP不能訪(fǎng)問(wèn)
搜索引擎爬蟲(chóng)可以訪(fǎng)問(wèn)PC端頁(yè)面,但是不能訪(fǎng)問(wèn)APP。百度官方的公開(kāi)課說(shuō)到這個(gè)APP訪(fǎng)問(wèn),暗指是支持APP內(nèi)訪(fǎng)問(wèn)的一個(gè)分析,來(lái)作為一個(gè)綜合評(píng)估參考。所以,不屏蔽百度APP對(duì)網(wǎng)站的訪(fǎng)問(wèn)。
3.DNS封禁
有些特定的DNS服務(wù)商會(huì)封禁搜索引擎爬蟲(chóng)來(lái)抓取域名的內(nèi)容。這種在少數(shù),畢竟目前主流域名廠商,已經(jīng)主流的DNS廠商都沒(méi)有做DNS封禁。
4.服務(wù)器站點(diǎn)策略封禁
有些服務(wù)器自帶的安全策略會(huì)屏蔽百度蜘蛛的抓取,這種情況會(huì)產(chǎn)生死鏈(網(wǎng)頁(yè)URL鏈接,但是無(wú)內(nèi)容)。當(dāng)這種情況在整個(gè)網(wǎng)站出現(xiàn),會(huì)導(dǎo)致搜索引擎判斷網(wǎng)站為一個(gè)劣質(zhì)網(wǎng)站。會(huì)被降權(quán)。
建議:
合理的使用站長(zhǎng)資源工具,來(lái)診斷站點(diǎn)是否能正常抓取
識(shí)別百度爬蟲(chóng)(雙向DNS解析認(rèn)證)解除封禁
對(duì)spider不公開(kāi)內(nèi)容設(shè)置robots協(xié)議封禁/設(shè)置死鏈,導(dǎo)致返回404
不建議使用額外的技術(shù)手段封禁百度爬蟲(chóng)。
對(duì)百度APP可以訪(fǎng)問(wèn)
DNS變更引起死鏈
問(wèn)題場(chǎng)景:
站點(diǎn)更新DNS解析,將域名的IP變更,IP1變?yōu)镮P2,中間有時(shí)間差。
當(dāng)站點(diǎn)的更換域名解析的IP后,因?yàn)橛行〥NS并不能做到立即響應(yīng)解析(一般為24小時(shí))。我們拿24小時(shí)為例,中間有曾時(shí)間差,導(dǎo)致搜索引擎蜘蛛無(wú)法抓取,會(huì)評(píng)定為死鏈。
這個(gè)時(shí)候可以預(yù)留4-5天的緩存期,讓爬蟲(chóng)來(lái)更新這個(gè)DNS
建議:
更換DNS后,使用站長(zhǎng)資源平臺(tái)工具來(lái)抓取測(cè)試,查看網(wǎng)站是否能正常抓取。
當(dāng)前文章:這些情況可能會(huì)在網(wǎng)站建設(shè)時(shí)導(dǎo)致死鏈的產(chǎn)生
文章地址:http://www.rwnh.cn/news48/261248.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供標(biāo)簽優(yōu)化、網(wǎng)站制作、ChatGPT、軟件開(kāi)發(fā)、手機(jī)網(wǎng)站建設(shè)、品牌網(wǎng)站制作
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話(huà):028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容