中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

識(shí)別百度蜘蛛的正確方法

創(chuàng)新互聯(lián)建站導(dǎo)讀:本文給出了識(shí)別百度蜘蛛的正確方法,大家在整理完百度蜘蛛以以后,對(duì)于那些有疑問的ip可以按照這些方法去查詢!網(wǎng)上也有很多“大神”給出的總結(jié),但這些十有八九是不靠譜的,建議大家還是嚴(yán)格按照百度的方法來。另外,不要相信那些所謂的權(quán)重蜘蛛、降權(quán)蜘蛛等等,這些都是忽悠。

我們提供的服務(wù)有:成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、微信公眾號(hào)開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、鹿邑ssl等。為1000多家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù),是有科學(xué)管理、有技術(shù)的鹿邑網(wǎng)站制作公司

很多朋友提到在分析網(wǎng)站日志的時(shí)候,不知道到底哪些才是真正的百度蜘蛛!我們應(yīng)該怎么去區(qū)分呢?這里創(chuàng)新互聯(lián)給出百度官方的答案,大家可以根據(jù)這份指南和操作方法去鑒別。

一、查看UA信息

如果UA信息不對(duì),可以直接判斷該蜘蛛為非百度搜索的蜘蛛。

目前UA分為移動(dòng)、PC、和小程序三個(gè)應(yīng)用場景,分別如下:

【移動(dòng)UA】

1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html) 

【PC UA】

1、Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

2、Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

【小程序UA】

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

二、雙向DNS解析認(rèn)證

第一步:DNS反查IP

開發(fā)者可以對(duì)日志中訪問服務(wù)器的IP地址進(jìn)行反向DNS查找,判斷某只spider是否來自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即為冒充。

在Linux/Windows/OS三種平臺(tái)下,驗(yàn)證方法分別如下:

1) 在Linux平臺(tái)下,可以使用host IP命令反解IP來判斷該抓取是否來自Baiduspider。

2) 在Windows平臺(tái)或者IBM OS/2平臺(tái)下,可以使用nslookup IP命令反解IP:打開命令處理器,輸入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,判斷該抓取是否來自Baiduspider。

3) 在macOS平臺(tái)下,可以使用dig命令反解IP:打開命令處理器輸入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析IP,判斷該抓取是否來自Baiduspider。

第二步:對(duì)域名運(yùn)行正向DNS查找

對(duì)第一步中通過命令檢索到的域名運(yùn)行正向DNS查找,驗(yàn)證該域名與日志中訪問服務(wù)器的原始IP地址是否一致,IP地址一致可確認(rèn)spider來自百度搜索引擎,IP地址不一致即為冒充。

【示例】

> host 111.206.198.69 

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com. 

>hostbaiduspider-111-206-198-69.crawl.baidu.com 

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

以上就是百度官方給出的方法,大家在整理完百度蜘蛛以以后,對(duì)于那些有疑問的ip可以按照上述方法去查詢!網(wǎng)上也有很多“大神”給出的總結(jié),但這些十有八九是不靠譜的,建議大家還是嚴(yán)格按照百度的方法來。另外,不要相信那些所謂的權(quán)重蜘蛛、降權(quán)蜘蛛等等,這些都是忽悠。

本文題目:識(shí)別百度蜘蛛的正確方法
轉(zhuǎn)載來于:http://www.rwnh.cn/article8/sociip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)頁設(shè)計(jì)公司、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站內(nèi)鏈、外貿(mào)建站自適應(yīng)網(wǎng)站、網(wǎng)站制作

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

網(wǎng)站優(yōu)化排名
明溪县| 西乡县| 水富县| 台安县| 登封市| 榆中县| 湘阴县| 招远市| 高尔夫| 前郭尔| 汤原县| 南宁市| 开封县| 邵阳县| 闸北区| 太保市| 偃师市| 马尔康县| 罗山县| 奉节县| 阜康市| 翁源县| 微山县| 凉山| 丰原市| 乳源| 盐城市| 涪陵区| 永福县| 长海县| 吐鲁番市| 漳平市| 岑巩县| 彭山县| 博野县| 婺源县| 保山市| 土默特右旗| 宁远县| 鹰潭市| 三亚市|