中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

robots文件代表了什么樣的含義呢?

2021-09-24    分類: 網(wǎng)站建設(shè)

很對站長朋友在對網(wǎng)站開始進行優(yōu)化之前,會忽略非常重要的一點,就是網(wǎng)站上的robots文件,robots文件的作用是告訴搜索引擎蜘蛛,這個網(wǎng)站上什么內(nèi)容是可以抓取的,哪些內(nèi)容是禁止抓取的。當robots文件制作完成之后,放在網(wǎng)站ftp的跟目錄之下,就搞定了。那么,robots文件里寫的各種內(nèi)容,都是代表了什么樣的含義呢?下面我們就來了解一下吧!

User-agent禁止訪問抓取系列:

User-agent: *

這里的*好是通配符,意指所有的搜索引擎都可以抓取,包括百度、搜狗、360等等

Disallow: /

意思是禁止蜘蛛抓取該網(wǎng)站的任何目錄

Disallow:/123

意思是禁止蜘蛛抓取該網(wǎng)站的123以及123層級之下的所有內(nèi)容

Disallow:/123/

意思是禁止蜘蛛抓取123層級之下的所有內(nèi)容,但是可以抓取123頁面的內(nèi)容

Disallow:/*.png



意思是禁止蜘蛛抓取網(wǎng)站上所有png格式的圖片,想要禁止抓取其它格式也是這樣書寫,比如想要禁止抓取網(wǎng)站jpg格式的圖片,書寫方式為Disallow:/*.jpg

Disallow:/123/*.png

禁止蜘蛛訪問123層次下的png圖片,其他格式也是同樣的書寫方式

Disallow:/*?*

禁止蜘蛛抓取網(wǎng)站上所有的動態(tài)url頁面

Disallow:/123/*?*

禁止蜘蛛抓取網(wǎng)站上123目錄下的所有動態(tài)頁面,不影響抓取網(wǎng)站123目錄中的其它內(nèi)容

allow允許抓取訪問系列:

allow的意思是允許蜘蛛訪問抓取的意思,在寫robots文件的時候一定要注意一件事,就是在書寫的時候,一定要將allow放在disallow前面,才能不受disallow的影響,其它的寫法參考disallow的書寫方式,這里就不湊字數(shù)了。

有一點注意事項,大家在使用的時候一定要注意,robots.txt文件名稱一定要小寫的,不要大寫。有了完整的robots文件,搜索引擎在抓取的時候才會更加的方便,利于對網(wǎng)站的提升。

文章名稱:robots文件代表了什么樣的含義呢?
URL地址:http://www.rwnh.cn/news44/128244.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供企業(yè)建站網(wǎng)站設(shè)計、移動網(wǎng)站建設(shè)網(wǎng)站制作、營銷型網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都網(wǎng)頁設(shè)計公司
嘉荫县| 鞍山市| 信丰县| 玉龙| 志丹县| 驻马店市| 邵东县| 鱼台县| 阿鲁科尔沁旗| 临沭县| 永和县| 深州市| 石河子市| 巫溪县| 铁岭县| 米林县| 兴海县| 化德县| 漳平市| 新田县| 榆树市| 江北区| 根河市| 新巴尔虎右旗| 廊坊市| 曲水县| 利辛县| 普安县| 得荣县| 怀安县| 锦屏县| 尤溪县| 凤冈县| 梓潼县| 定襄县| 沁水县| 清镇市| 靖远县| 道真| 尖扎县| 镇原县|