在SEO過(guò)程中，你是否遇到過(guò)這樣的問(wèn)題：服務(wù)器訪問(wèn)的CPU利用率接近100%，頁(yè)面加載速度特別慢，似乎受到了DDoS的攻擊。

經(jīng)過(guò)回顧，我發(fā)現(xiàn)原來(lái)的目標(biāo)網(wǎng)站經(jīng)常被大量無(wú)關(guān)的“爬蟲(chóng)”抓走，這對(duì)一個(gè)小網(wǎng)站來(lái)說(shuō)可能是一場(chǎng)災(zāi)難。

因此，在進(jìn)行網(wǎng)站優(yōu)化時(shí)，我們需要有選擇地引導(dǎo)特定的蜘蛛。

根據(jù)以往SEO經(jīng)驗(yàn)分享技術(shù)將描述如下：

對(duì)于國(guó)內(nèi)的小伙伴來(lái)說(shuō)，我們都知道在SEO的過(guò)程中，我們面對(duì)的最常見(jiàn)的爬蟲(chóng)是搜索引擎的爬蟲(chóng)，比如百度蜘蛛，還有各種搜索引擎的蜘蛛，比如：

① 360Spider、Sogoupider、Bytespider

② Googlebot、Bingbot、Slurp、Teoma、iau archiver、twiceler、MSNBot

此時(shí)，我們需要做出有選擇性、合理的指導(dǎo)，特別是一些尷尬的問(wèn)題，比如：你希望谷歌減少對(duì)網(wǎng)站的爬網(wǎng)，但不能完全屏蔽它，你可能需要一些提示，比如：對(duì)于具體的爬網(wǎng)訪問(wèn)，反饋不同的文章列表：

③ 善意的“蜘蛛陷阱”，比如flash

④ 如何調(diào)整對(duì)方的SEO管理平臺(tái)？您可以調(diào)整抓取注釋并適當(dāng)調(diào)整它們

雖然這樣的策略很可能會(huì)對(duì)頁(yè)面聲譽(yù)造成損害，但我可以想出一個(gè)相對(duì)“有效”的方法，合理控制那些不想頻繁爬行但需要不斷爬行的蜘蛛的爬行。

從目前來(lái)看，一個(gè)SEO外部鏈分析管理工具需要每天花費(fèi)大量的服務(wù)器資源來(lái)抓取和檢測(cè)每個(gè)網(wǎng)站的頁(yè)面鏈接。

對(duì)于一些資源密集型的網(wǎng)站來(lái)說(shuō)，每天爬行數(shù)千次是可能的，這種爬行動(dòng)物很常見(jiàn)。

如果你不想讓自己的網(wǎng)站參與其中，最簡(jiǎn)單的策略是在robots協(xié)議中完全關(guān)閉此類爬蟲(chóng)程序。

但當(dāng)我們面對(duì)一些惡意的內(nèi)容收集爬蟲(chóng)時(shí)，就相對(duì)尷尬了。另一方經(jīng)常采用“看不見(jiàn)”的狀態(tài)，比如：模擬一個(gè)著名搜索引擎蜘蛛的名字。

要解決這個(gè)問(wèn)題，只能手工判斷對(duì)方廬山的真?zhèn)?，比如：使用IP pan解析命令判斷真?zhèn)巍?/p>

① Linux平臺(tái)：hostip

② Windows平臺(tái)：nskupip

從而確定對(duì)方的解析地址是否為相應(yīng)的搜索引擎域名。

目前，市面上有很多人做百度蜘蛛池，其主要目的是協(xié)助更多的頁(yè)面做百度快速收錄，但由于一些隨意下載蜘蛛池的程序設(shè)計(jì)不規(guī)范。

由于沒(méi)有對(duì)不同的蜘蛛進(jìn)行合理的抓取和限制，服務(wù)器資源經(jīng)常被服務(wù)提供商占用，很容易被關(guān)閉。

如果你試圖使用這個(gè)策略來(lái)提高你的頁(yè)面包含率，那么你可能需要更多的關(guān)注。（但我們不推薦）

總結(jié)：SEO工作是一項(xiàng)細(xì)致的工作，每一個(gè)策略都會(huì)影響到整個(gè)站點(diǎn)的運(yùn)營(yíng)狀態(tài)，而以上內(nèi)容只是一個(gè)分析，適用于中小站長(zhǎng)，僅供參考！

新聞名稱：SEO人員，如何用惡意“蜘蛛”隱藏
文章出自：http://www.rwnh.cn/news/5717.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、App開(kāi)發(fā)、網(wǎng)站營(yíng)銷、搜索引擎優(yōu)化、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)