中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

SEO人員,如何用惡意“蜘蛛”隱藏

2014-01-25    分類: 網(wǎng)站建設(shè)

在SEO過程中,你是否遇到過這樣的問題:服務(wù)器訪問的CPU利用率接近100%,頁面加載速度特別慢,似乎受到了DDoS的攻擊。

經(jīng)過回顧,我發(fā)現(xiàn)原來的目標(biāo)網(wǎng)站經(jīng)常被大量無關(guān)的“爬蟲”抓走,這對一個(gè)小網(wǎng)站來說可能是一場災(zāi)難。

因此,在進(jìn)行網(wǎng)站優(yōu)化時(shí),我們需要有選擇地引導(dǎo)特定的蜘蛛。

根據(jù)以往SEO經(jīng)驗(yàn)分享技術(shù)將描述如下:

對于國內(nèi)的小伙伴來說,我們都知道在SEO的過程中,我們面對的最常見的爬蟲是搜索引擎的爬蟲,比如百度蜘蛛,還有各種搜索引擎的蜘蛛,比如:

① 360Spider、Sogoupider、Bytespider

② Googlebot、Bingbot、Slurp、Teoma、iau archiver、twiceler、MSNBot

此時(shí),我們需要做出有選擇性、合理的指導(dǎo),特別是一些尷尬的問題,比如:你希望谷歌減少對網(wǎng)站的爬網(wǎng),但不能完全屏蔽它,你可能需要一些提示,比如:對于具體的爬網(wǎng)訪問,反饋不同的文章列表:

③ 善意的“蜘蛛陷阱”,比如flash

④ 如何調(diào)整對方的SEO管理平臺(tái)?您可以調(diào)整抓取注釋并適當(dāng)調(diào)整它們

雖然這樣的策略很可能會(huì)對頁面聲譽(yù)造成損害,但我可以想出一個(gè)相對“有效”的方法,合理控制那些不想頻繁爬行但需要不斷爬行的蜘蛛的爬行。

從目前來看,一個(gè)SEO外部鏈分析管理工具需要每天花費(fèi)大量的服務(wù)器資源來抓取和檢測每個(gè)網(wǎng)站的頁面鏈接。

對于一些資源密集型的網(wǎng)站來說,每天爬行數(shù)千次是可能的,這種爬行動(dòng)物很常見。

如果你不想讓自己的網(wǎng)站參與其中,最簡單的策略是在robots協(xié)議中完全關(guān)閉此類爬蟲程序。

但當(dāng)我們面對一些惡意的內(nèi)容收集爬蟲時(shí),就相對尷尬了。另一方經(jīng)常采用“看不見”的狀態(tài),比如:模擬一個(gè)著名搜索引擎蜘蛛的名字。

要解決這個(gè)問題,只能手工判斷對方廬山的真?zhèn)?,比如:使用IP pan解析命令判斷真?zhèn)巍?/p>

① Linux平臺(tái):hostip

② Windows平臺(tái):nskupip

從而確定對方的解析地址是否為相應(yīng)的搜索引擎域名。

目前,市面上有很多人做百度蜘蛛池,其主要目的是協(xié)助更多的頁面做百度快速收錄,但由于一些隨意下載蜘蛛池的程序設(shè)計(jì)不規(guī)范。

由于沒有對不同的蜘蛛進(jìn)行合理的抓取和限制,服務(wù)器資源經(jīng)常被服務(wù)提供商占用,很容易被關(guān)閉。

如果你試圖使用這個(gè)策略來提高你的頁面包含率,那么你可能需要更多的關(guān)注。(但我們不推薦)

總結(jié):SEO工作是一項(xiàng)細(xì)致的工作,每一個(gè)策略都會(huì)影響到整個(gè)站點(diǎn)的運(yùn)營狀態(tài),而以上內(nèi)容只是一個(gè)分析,適用于中小站長,僅供參考!

本文題目:SEO人員,如何用惡意“蜘蛛”隱藏
本文來源:http://www.rwnh.cn/news17/5717.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設(shè)計(jì)、全網(wǎng)營銷推廣、網(wǎng)站營銷建站公司、ChatGPT、App設(shè)計(jì)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

網(wǎng)站托管運(yùn)營
阿荣旗| 于田县| 榆社县| 贵南县| 灵台县| 吕梁市| 邢台市| 晋中市| 时尚| 五常市| 景谷| 肥西县| 特克斯县| 汕头市| 永寿县| 梅河口市| 隆回县| 皋兰县| 柳河县| 山阴县| 宁强县| 格尔木市| 化德县| 杨浦区| 石首市| 商洛市| 湛江市| 襄樊市| 喀喇| 乌苏市| 河曲县| 西乡县| 桐庐县| 屏东县| 贺州市| 五河县| 永嘉县| 晋中市| 华蓥市| 榆中县| 虎林市|