網(wǎng)站建設(shè)好了，當(dāng)然是希望網(wǎng)頁(yè)被搜索引擎收錄的越多越好，但有時(shí)候我們也會(huì)碰到網(wǎng)站不需要被搜索引擎收錄的情況。要啟用一個(gè)新的域名做鏡像網(wǎng)站，主要用于PPC 的推廣，這個(gè)時(shí)候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網(wǎng)站的所有網(wǎng)頁(yè)。因?yàn)槿绻R像網(wǎng)站也被搜索引擎收錄的話，很有可能會(huì)影響官網(wǎng)在搜索引擎的權(quán)重。

以下列舉了屏蔽主流搜索引擎爬蟲(chóng)(蜘蛛)抓取/索引/收錄網(wǎng)頁(yè)的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲(chóng)(蜘蛛)。

　　1、通過(guò) robotstxt 文件屏蔽

可以說(shuō) robotstxt 文件是最重要的一種渠道(能和搜索引擎建立直接對(duì)話)，給出以下建議：

Useragent Baiduspider

Disallow /

Useragent Googlebot

Disallow /

Useragent GooglebotMobile

Disallow /

Useragent GooglebotImage

Disallow/

Useragent MediapartnersGoogle

Disallow /

Useragent AdsbotGoogle

Disallow /

UseragentFeedfetcherGoogle

Disallow /

Useragent Yahoo Slurp

Disallow /

Useragent Yahoo Slurp China

Disallow /

Useragent YahooAdCrawler

Disallow /

Useragent YoudaoBot

Disallow /

Useragent Sosospider

Disallow /

Useragent Sogou spider

Disallow /

Useragent Sogou web spider

Disallow /

Useragent MSNBot

Disallow /

Useragent iaarchiver

Disallow /

Useragent Tomato Bot

Disallow /

Useragent

Disallow /

　　2、通過(guò) meta tag 屏蔽

在所有的網(wǎng)頁(yè)頭部文件添加，添加如下語(yǔ)句：

<meta name='robots' content='index,follow' />：可以抓取本頁(yè)，也可以順著本頁(yè)繼續(xù)索引別的鏈接

<meta name='robots' content='noindex,follow' />：禁止抓取本頁(yè)，但可以抓取跟蹤本頁(yè)的其它鏈接

<meta name='robots' content='index,nofollow'/>：可以抓取本頁(yè)，禁止抓取和跟蹤本頁(yè)的其它鏈接

<meta name='robots' content='noindex,nofollow' />：禁止抓取本頁(yè)，禁止抓取和跟蹤本頁(yè)的其它鏈接

<meta name='robots' content='noarchive' />：禁止搜索引擎建立快照

　　3、通過(guò)服務(wù)器(如：Linux/nginx )配置文件設(shè)置

直接過(guò)濾 spider/robots 的IP 段。

以上就是《SEO優(yōu)化之如何設(shè)置讓網(wǎng)站禁止被爬蟲(chóng)收錄》的全部?jī)?nèi)容，僅供站長(zhǎng)朋友們互動(dòng)交流學(xué)習(xí)，SEO優(yōu)化是一個(gè)需要堅(jiān)持的過(guò)程，希望大家一起共同進(jìn)步。

文章題目：【SEO優(yōu)化】如何設(shè)置讓網(wǎng)站禁止被爬蟲(chóng)收錄
文章來(lái)源：http://www.rwnh.cn/news25/145325.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)、App開(kāi)發(fā)、商城網(wǎng)站、網(wǎng)站營(yíng)銷(xiāo)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)