中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

如何使用Robots避免蜘蛛黑洞?

2022-11-13    分類: 網(wǎng)站建設(shè)

蜘蛛黑洞:

蜘蛛黑洞指的是網(wǎng)站通過極低的成本運營,制造出大量和內(nèi)容相識但參數(shù)不同的動態(tài)URL ,像一個無限循環(huán)的“黑洞”將蜘蛛困住,蜘蛛花費太多的時間在網(wǎng)站,浪費了大量資源抓取的網(wǎng)頁為無效網(wǎng)頁。

如果你的網(wǎng)站存在蜘蛛黑洞現(xiàn)象,盡快的處理好,蜘蛛黑洞不利于網(wǎng)站的收錄,也會影響搜索引擎對網(wǎng)站的評分。

如何使用Robots避免蜘蛛黑洞?

如何利用Robots避免蜘蛛黑洞操作:

普通的篩選結(jié)果頁基本都是使用靜態(tài)鏈接,比如:

http:// bj.XXXXX. com/category/zizhucan/weigongcun

當用戶選擇不同排序后,會自動生成帶有不同參數(shù)的動態(tài)鏈接,即使選擇是同一種排序條件,生成的參數(shù)也有不同的,比如:

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把帶有不同參數(shù)的結(jié)果排序頁面使用robots規(guī)則拒絕,告知搜索引擎,讓搜索引擎只抓取篩選結(jié)果頁,為用戶和搜索引擎節(jié)省時間。

Robots文件寫法中Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址,通過這種方式,如果網(wǎng)站的無效頁面不希望被搜索引擎收錄,可以屏蔽掉低質(zhì)量的頁面,告訴搜索引擎哪些頁面可以抓取,有效的避免黑洞的形成。

網(wǎng)站題目:如何使用Robots避免蜘蛛黑洞?
網(wǎng)站地址:http://www.rwnh.cn/news/212999.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站策劃、外貿(mào)網(wǎng)站建設(shè)響應(yīng)式網(wǎng)站、做網(wǎng)站、網(wǎng)站設(shè)計公司電子商務(wù)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

商城網(wǎng)站建設(shè)
宜君县| 河北省| 利津县| 河池市| 云龙县| 五寨县| 明水县| 都兰县| 喜德县| 乌鲁木齐县| 旅游| 辰溪县| 肇庆市| 庄河市| 成武县| 唐海县| 乌拉特前旗| 襄汾县| 大名县| 丽水市| 通辽市| 江阴市| 万载县| 迁安市| 远安县| 青浦区| 北海市| 洪泽县| 福安市| 中江县| 西安市| 额敏县| 资源县| 上虞市| 萨迦县| 革吉县| 柳江县| 沙湾县| 方正县| 洛阳市| 水城县|