創(chuàng)新互聯(lián)建站導(dǎo)讀:本文給出了識(shí)別百度蜘蛛的正確方法,大家在整理完百度蜘蛛以以后,對(duì)于那些有疑問的ip可以按照這些方法去查詢!網(wǎng)上也有很多“大神”給出的總結(jié),但這些十有八九是不靠譜的,建議大家還是嚴(yán)格按照百度的方法來。另外,不要相信那些所謂的權(quán)重蜘蛛、降權(quán)蜘蛛等等,這些都是忽悠。
我們提供的服務(wù)有:成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、微信公眾號(hào)開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、鹿邑ssl等。為1000多家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù),是有科學(xué)管理、有技術(shù)的鹿邑網(wǎng)站制作公司
很多朋友提到在分析網(wǎng)站日志的時(shí)候,不知道到底哪些才是真正的百度蜘蛛!我們應(yīng)該怎么去區(qū)分呢?這里創(chuàng)新互聯(lián)給出百度官方的答案,大家可以根據(jù)這份指南和操作方法去鑒別。
如果UA信息不對(duì),可以直接判斷該蜘蛛為非百度搜索的蜘蛛。
目前UA分為移動(dòng)、PC、和小程序三個(gè)應(yīng)用場景,分別如下:
1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
1、Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
2、Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
開發(fā)者可以對(duì)日志中訪問服務(wù)器的IP地址進(jìn)行反向DNS查找,判斷某只spider是否來自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即為冒充。
在Linux/Windows/OS三種平臺(tái)下,驗(yàn)證方法分別如下:
1) 在Linux平臺(tái)下,可以使用host IP命令反解IP來判斷該抓取是否來自Baiduspider。
2) 在Windows平臺(tái)或者IBM OS/2平臺(tái)下,可以使用nslookup IP命令反解IP:打開命令處理器,輸入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,判斷該抓取是否來自Baiduspider。
3) 在macOS平臺(tái)下,可以使用dig命令反解IP:打開命令處理器輸入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析IP,判斷該抓取是否來自Baiduspider。
對(duì)第一步中通過命令檢索到的域名運(yùn)行正向DNS查找,驗(yàn)證該域名與日志中訪問服務(wù)器的原始IP地址是否一致,IP地址一致可確認(rèn)spider來自百度搜索引擎,IP地址不一致即為冒充。
【示例】
> host 111.206.198.69
69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.
>hostbaiduspider-111-206-198-69.crawl.baidu.com
baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69
以上就是百度官方給出的方法,大家在整理完百度蜘蛛以以后,對(duì)于那些有疑問的ip可以按照上述方法去查詢!網(wǎng)上也有很多“大神”給出的總結(jié),但這些十有八九是不靠譜的,建議大家還是嚴(yán)格按照百度的方法來。另外,不要相信那些所謂的權(quán)重蜘蛛、降權(quán)蜘蛛等等,這些都是忽悠。
本文題目:識(shí)別百度蜘蛛的正確方法
轉(zhuǎn)載來于:http://www.rwnh.cn/article8/sociip.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)頁設(shè)計(jì)公司、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站內(nèi)鏈、外貿(mào)建站、自適應(yīng)網(wǎng)站、網(wǎng)站制作
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)