中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

robots文件

2022-06-16    分類: 網(wǎng)站建設(shè)

搜索引擎蜘蛛訪問(wèn)網(wǎng)站時(shí)會(huì)先看網(wǎng)站根目錄下有沒(méi)有一個(gè)命名為robots的純文本文件,robots.txt用于指令搜索引擎蜘蛛禁止抓取網(wǎng)站某些內(nèi)容或者指定允許搜索引擎抓取某些內(nèi)容,如百度的robots文件位于: www.baidu.com/robots.txt
深圳網(wǎng)站制作認(rèn)為,只有在需要禁止某些內(nèi)容時(shí),寫robots.txt才有意義。robots文件不存在或者空文件都默認(rèn)意味著允許搜索引擎抓取所有內(nèi)容。有的服務(wù)器設(shè)置有問(wèn)題,robots文件不存在時(shí)會(huì)返回200狀態(tài)碼及一些錯(cuò)誤信息。而不是404狀態(tài)碼,還有可能會(huì)使搜索引擎錯(cuò)誤解讀robots文件信息,所以建議就算允許抓取所有內(nèi)容,也要建一個(gè)空的robots.txt文件,放在根目錄下。
深圳做網(wǎng)站實(shí)踐得出結(jié)論,主流搜索引擎都遵守robots文件指令,robots.txt禁止抓取的文件搜索引擎將不再訪問(wèn)或者不抓取。但要注意,被robots文件禁止抓取的URL還是可能會(huì)出現(xiàn)在搜索結(jié)果中,只要有導(dǎo)入鏈接指向這個(gè)URL,成都建網(wǎng)站認(rèn)為搜索引擎就知道這個(gè)URL的存在,雖然不會(huì)抓取頁(yè)面內(nèi)容,但是可能一下幾種形式還是會(huì)顯示在搜索結(jié)果中:
1.只顯示URL,沒(méi)有標(biāo)題,描述。谷歌通常這么處理。
2.只顯示開(kāi)放目錄或者雅虎等重要目錄收錄的標(biāo)題和描述。
3.導(dǎo)入鏈接的錨文字顯示為標(biāo)題和描述。百度通常這樣處理。
總之,只要想讓URL完全不出現(xiàn)在搜索結(jié)果中,需要使用頁(yè)面上的meta robots標(biāo)簽。

網(wǎng)頁(yè)名稱:robots文件
轉(zhuǎn)載來(lái)于:http://www.rwnh.cn/news/167759.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站設(shè)計(jì)、網(wǎng)站營(yíng)銷品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站維護(hù)、靜態(tài)網(wǎng)站、外貿(mào)建站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

h5響應(yīng)式網(wǎng)站建設(shè)
许昌县| 景泰县| 金溪县| 凤冈县| 互助| 双桥区| 翁源县| 湛江市| 芮城县| 赞皇县| 锦州市| 平乐县| 广河县| 慈溪市| 双桥区| 屏东县| 南江县| 肥东县| 工布江达县| 探索| 鹿邑县| 会同县| 昆山市| 绥滨县| 扬州市| 曲沃县| 体育| 诸暨市| 汕尾市| 岐山县| 绵阳市| 祁阳县| 宁化县| 新丰县| 石棉县| 湄潭县| 青龙| 都昌县| 宁晋县| 柞水县| 伊金霍洛旗|