中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

如何屏蔽蜘蛛對(duì)網(wǎng)站的抓取!

2022-06-06    分類: 網(wǎng)站建設(shè)

如何屏蔽蜘蛛對(duì)網(wǎng)站的抓??!
要知道在seo優(yōu)化的過程當(dāng)中,有時(shí)候是需要對(duì)搜索引擎蜘蛛進(jìn)行屏蔽的,就是禁止對(duì)網(wǎng)站的某個(gè)地方進(jìn)行抓取,那么我們應(yīng)該如何屏蔽搜索引擎蜘蛛呢?下面我們順德網(wǎng)站建設(shè)一起來看一看具體的操作方法。
百度蜘蛛抓取我們的網(wǎng)站,希望我們的網(wǎng)頁(yè)能被包含在它的搜索引擎中。將來,當(dāng)用戶搜索時(shí),它會(huì)給我們帶來一定量的搜索引擎優(yōu)化流量。當(dāng)然,我們不想讓搜索引擎抓取所有東西。
因此,此時(shí)我們只希望能夠抓取搜索引擎搜索到的內(nèi)容。例如,用戶的隱私和背景信息不希望搜索引擎被捕獲和包含。解決這些問題有兩種好方法,
robots協(xié)議文件屏蔽百度蜘蛛抓取
robots協(xié)議是放在網(wǎng)站根目錄下的協(xié)議文件,可以通過網(wǎng)址(網(wǎng)址: http : / / www.rwnh.cn / robots . txt )訪問,當(dāng)百度蜘蛛抓取我們的網(wǎng)站時(shí),它會(huì)先訪問這個(gè)文件。因?yàn)樗嬖V蜘蛛哪些能抓,哪些不能。
robots協(xié)議文件的設(shè)置比較簡(jiǎn)單,可以通過User-Agent、Disallow、Allow這三個(gè)參數(shù)進(jìn)行設(shè)置。
·User-Agent:對(duì)不同搜索引擎的聲明;
·Disallow:不允許抓取的目錄或頁(yè)面;
·Allow:被允許抓取的目錄或頁(yè)面通常可以省略或不寫,因?yàn)槿绻悴粚懭魏尾荒茏ト〉臇|西,它就可以被抓取。
順德網(wǎng)站建設(shè)
下面我們順德網(wǎng)站建設(shè)來看一個(gè)示例,場(chǎng)景是我不希望百度抓取我網(wǎng)站所有的css文件,data目錄、seo-tag.html頁(yè)面
User-Agent: BaidusppiderDisallow: /*.cssDisallow: /data/Disallow: /seo/seo-tag.html
如上所述,user-agent聲明了蜘蛛的名稱,這意味著它針對(duì)的是百度蜘蛛。以下內(nèi)容無法獲?。uot;/*。css",首先/指的是根目錄,這是您的域名。 *是代表任何內(nèi)容的通配符。這意味著無法抓取以.css結(jié)尾的所有文件。這是你自己的兩個(gè)經(jīng)歷。邏輯是一樣的。
如果要檢測(cè)上次設(shè)置的漫游器文件,可以訪問本文《檢查robots是否正確的工具介紹》并獲取詳細(xì)的工具來檢測(cè)您的設(shè)置。
通過403狀態(tài)碼,限制內(nèi)容輸出,屏蔽蜘蛛抓取。
順德網(wǎng)站建設(shè)
403狀態(tài)代碼是http協(xié)議中的網(wǎng)頁(yè)返回狀態(tài)代碼。當(dāng)搜索引擎遇到403狀態(tài)代碼時(shí),它知道這些頁(yè)面受權(quán)限限制。我無法訪問它。例如,如果您需要登錄才能查看內(nèi)容,搜索引擎本身將無法登錄。如果您返回403,他也知道這是權(quán)限設(shè)置頁(yè)面,無法讀取內(nèi)容。當(dāng)然,它不會(huì)被包括在內(nèi)。
返回403狀態(tài)代碼時(shí),應(yīng)該有一個(gè)類似于404頁(yè)面的頁(yè)面。提示用戶或蜘蛛執(zhí)行他們想要訪問的內(nèi)容。兩者都是不可或缺的。您只有提示頁(yè)面,狀態(tài)代碼返回200,這是百度蜘蛛的大量重復(fù)頁(yè)面。有403個(gè)狀態(tài)代碼但返回不同的內(nèi)容。這也不是很友好。
最后,對(duì)于機(jī)器人協(xié)議,我想補(bǔ)充一點(diǎn):“現(xiàn)在,搜索引擎將通過網(wǎng)頁(yè)的布局和布局來識(shí)別網(wǎng)頁(yè)的用戶友好性。如果阻止css文件和js文件相關(guān)到布局,然后搜索引擎我不知道你的網(wǎng)頁(yè)布局是好是壞。因此不建議阻止這些內(nèi)容來自蜘蛛。

分享文章:如何屏蔽蜘蛛對(duì)網(wǎng)站的抓??!
網(wǎng)頁(yè)地址:http://www.rwnh.cn/news/164252.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供虛擬主機(jī)、網(wǎng)站營(yíng)銷、動(dòng)態(tài)網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、建站公司、全網(wǎng)營(yíng)銷推廣

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站制作
马边| 土默特右旗| 乡宁县| 东安县| 阿拉尔市| 杂多县| 东港市| 上饶县| 庄河市| 巩义市| 莱西市| 类乌齐县| 南宁市| 白沙| 察隅县| 马公市| 乡宁县| 张家港市| 烟台市| 惠东县| 伊吾县| 房产| 广水市| 百色市| 云安县| 寿光市| 天门市| 永善县| 合水县| 浑源县| 沁水县| 莱西市| 娄烦县| 大同市| 陈巴尔虎旗| 贺州市| 习水县| 沾益县| 绥宁县| 乐业县| 海兴县|