判斷搜索引擎真假蜘蛛訪問
2023-06-11 分類： 網(wǎng)站建設
主流搜索引擎蜘蛛抓取網(wǎng)站，都會自帶UA特征，比如百度蜘蛛UA（Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。
在網(wǎng)站的訪問日志中也會相應記錄，但UA是可以偽造的，目前越來越多偽造UA的掃描器或采集器都在偽造搜索引擎UA來迷惑管理員，造成無法判斷是否是正規(guī)搜索引擎蜘蛛。
我們在不知道蜘蛛IP段的情況下，可以通過運行命令：nslookup 來判斷真假蜘蛛。
首先以百度蜘蛛為例，在訪問日志中找到帶有UA記錄的IP，如：220.181.108.* 在運行cmd命令輸入 nslookup 220.181.108.* ，運行后結(jié)果中帶有： baiduspider-220-181-108-*.crawl.baidu.com 字樣，說明是真百度蜘蛛，反之如果沒有則為假。
本文名稱：判斷搜索引擎真假蜘蛛訪問
網(wǎng)頁鏈接：http://www.rwnh.cn/news/264442.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供建站公司、品牌網(wǎng)站建設、用戶體驗、App開發(fā)、域名注冊、網(wǎng)站建設
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- Linux系統(tǒng)里怎么徹底的清空屏幕 2023-06-11
- Nginx PHP 錯誤日志輸出到log文件的設置方法 2023-06-11
- localhost不能訪問127.0.0.1可以訪問的原因及解決方法 2023-06-11
- 云服務器對網(wǎng)站SEO優(yōu)化有影響嗎？ 2023-06-11
- 云服務器比傳統(tǒng)服務器優(yōu)勢有哪些？ 2023-06-11
- 【重要】關于網(wǎng)站建設違法違禁內(nèi)容禁止和處理辦法通告 2023-06-11
- 為什么選擇香港云服務器的10個理由 2023-06-11
- Azure Redis緩存部署需要注意什么 2023-06-11
- Linux終端上怎么統(tǒng)計指定類型文件的數(shù)目 2023-06-11
- Linux能Ping通卻訪問不了網(wǎng)站，但在服務器里能wget成功 2023-06-11
- 云服務器的這些優(yōu)勢你一定要知道 2023-06-11
- 云服務器和虛擬主機這兩個哪個網(wǎng)站建設過程中效果好些？ 2023-06-11
- 中小企業(yè)使用香港云服務器的5個理由 2023-06-11
- 云服務器租用企業(yè)想要做好云計算優(yōu)化應該如何做？ 2023-06-11
- 建站用服務器還是虛擬主機的選擇 2023-06-11
- 托管服務器和云服務器有哪些區(qū)別？ 2023-06-11
- 四川高防服務器租用的優(yōu)勢 2023-06-11
- 網(wǎng)站空間云服務器跑滿帶寬常見的原因分析 2023-06-11
- 四川服務器托管上架流程，24小時是上架 2023-06-11