爬蟲(chóng)陷阱產(chǎn)生的主要原因是網(wǎng)站建設(shè)初期設(shè)計(jì)不合理，出現(xiàn)了一些常見(jiàn)的爬蟲(chóng)陷阱。一旦網(wǎng)站上出現(xiàn)爬蟲(chóng)陷阱，對(duì)搜索引擎不友好，也不利于爬蟲(chóng)爬行和爬行。那么，我們應(yīng)該從哪些方面檢查網(wǎng)站以及如何避免爬蟲(chóng)陷阱呢?以下是一些細(xì)節(jié)：

1、 框架結(jié)構(gòu)

我只能說(shuō)，如果你還在你的網(wǎng)站上使用框架結(jié)構(gòu)，那么我建議你盡快取消它。雖然框架結(jié)構(gòu)對(duì)網(wǎng)站的維護(hù)和更新有一定的方便性。但是，這不利于搜索引擎爬蟲(chóng)爬行。這也是目前框架結(jié)構(gòu)不流行的原因之一。

2、 閃光燈

一些站長(zhǎng)為了使網(wǎng)站的視覺(jué)效果精彩，他們把網(wǎng)站作為一個(gè)整體進(jìn)行了塊的flash。但他們不知道這也造成了一個(gè)爬蟲(chóng)陷阱。因?yàn)樗阉饕媾老x(chóng)只抓取HTML代碼，只是flash文件的鏈接，而沒(méi)有文本內(nèi)容。不管你看起來(lái)多漂亮，可惜的是搜索引擎看不到它，它不能索引任何文本信息，也不能判斷它的相關(guān)性。因此，我們應(yīng)該盡量避免或減少flash的使用。

3、 JavaScript鏈接

因?yàn)镴S有很多吸引人眼球的驚人效果，很多站長(zhǎng)用JavaScript腳本做一些導(dǎo)航。事實(shí)上，JavaScript也是更嚴(yán)重的爬蟲(chóng)陷阱之一。

當(dāng)然，有些搜索引擎可以在JavaScript上獲取鏈接，甚至可以執(zhí)行腳本并跟蹤鏈接。但是，對(duì)于一些權(quán)重較低的網(wǎng)站，沒(méi)有必要浪費(fèi)時(shí)間。更新一些高質(zhì)量的文章，多做外鏈。

4、 會(huì)話ID

如果我們的網(wǎng)站使用sessionid來(lái)跟蹤用戶的訪問(wèn)量，就會(huì)出現(xiàn)這種現(xiàn)象。會(huì)出現(xiàn)什么樣的現(xiàn)象?每次搜索引擎訪問(wèn)我們的頁(yè)面時(shí)，都會(huì)出現(xiàn)一個(gè)不同的sessionid。即使訪問(wèn)同一個(gè)頁(yè)面，也會(huì)有不同的ID，但是內(nèi)容是一樣的，這就形成了大量重復(fù)內(nèi)容形成了爬蟲(chóng)陷阱，也不利于網(wǎng)站的優(yōu)化。因此，我們通常建議您使用cookies而不是生成會(huì)話id。

5、 動(dòng)態(tài)URL

所謂動(dòng)態(tài)URL是指帶有問(wèn)號(hào)、等號(hào)和一些參數(shù)的URL。一般來(lái)說(shuō)，動(dòng)態(tài)URL不利于爬蟲(chóng)爬行，我們應(yīng)該避免。

6、 各種各樣的跳躍

搜索引擎對(duì)跳轉(zhuǎn)比較敏感。不如：301跳轉(zhuǎn)、302跳轉(zhuǎn)、JavaScript跳轉(zhuǎn)、flash跳轉(zhuǎn)、metarefresh跳轉(zhuǎn)等。

如果你必須跳轉(zhuǎn)，搜索引擎仍然建議使用301轉(zhuǎn)。其他跳轉(zhuǎn)方式對(duì)搜索引擎不好，因?yàn)橐恍┖诿弊覵EO經(jīng)常用來(lái)欺騙搜索引擎和用戶。所以除非必要，否則不要使用其他跳躍動(dòng)作。

7、 要求登錄

他不會(huì)填寫(xiě)用戶名、密碼、驗(yàn)證碼。那你的內(nèi)容就不會(huì)被他發(fā)現(xiàn)了。

8、 強(qiáng)制使用Cookie

有些網(wǎng)站只想記住用戶的登錄信息、跟蹤訪問(wèn)路徑等，并強(qiáng)迫他們使用cookies。如果Internet用戶的瀏覽器未啟用cookies，則此頁(yè)面將無(wú)法正常顯示。簡(jiǎn)而言之，強(qiáng)制使用cookies只會(huì)導(dǎo)致搜索引擎爬蟲(chóng)無(wú)法正確訪問(wèn)它們。

分享標(biāo)題：如何避免SEO網(wǎng)站優(yōu)化中的爬蟲(chóng)陷阱?
標(biāo)題來(lái)源：http://www.rwnh.cn/news6/87906.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、服務(wù)器托管、外貿(mào)網(wǎng)站建設(shè)、定制開(kāi)發(fā)、網(wǎng)站收錄、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)