蜘蛛爬行抓取的地址庫和文件存儲

2022-04-12 分類：網(wǎng)站建設(shè)

地址庫
為了避免重復(fù)爬行和抓取網(wǎng)址，搜索引擎會建立一個地址庫，記錄已經(jīng)被發(fā)現(xiàn)還沒有抓取的頁面，以及已經(jīng)被抓取的頁面地址庫中的URL有幾個來源:

(1)人工錄入的種子網(wǎng)站。
(2)蜘蛛抓取頁面后，從HTML中解析出新的鏈接URL與地址庫中的數(shù)據(jù)進(jìn)行對比，如果是地址庫中沒有的網(wǎng)址，就存入待訪問地址庫。
(3)站長通過搜索引擎網(wǎng)頁提交表格提交進(jìn)來的網(wǎng)址。
蜘蛛按重要性從待訪問地址庫中提取URL，訪問并抓取頁面，然后把這個URL，從待訪問地址庫中刪除，放進(jìn)已訪問地址庫中。
大部分主流搜索引擎都提供一個表格，讓站長提交網(wǎng)址。不過這些提交來的網(wǎng)址都只是存入地址庫而已，是否收錄還要看頁面重要性如何。搜索引擎所收錄的絕大部分頁面是蜘蛛自己跟蹤鏈接得到的。可以說提交頁面基本上是毫無用處的，搜索引擎更喜歡自己沿著鏈接發(fā)現(xiàn)新頁面。
文件存儲
搜索引擎蜘蛛抓取的數(shù)據(jù)存入原始頁面蕪湖網(wǎng)站設(shè)計數(shù)據(jù)庫。其中的頁面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的，每個URL都有一個獨特的文件編號。

網(wǎng)頁名稱：蜘蛛爬行抓取的地址庫和文件存儲
標(biāo)題網(wǎng)址：http://www.rwnh.cn/news/145525.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、用戶體驗、移動網(wǎng)站建設(shè)、云服務(wù)器、App設(shè)計、面包屑導(dǎo)航

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

蜘蛛爬行抓取的地址庫和文件存儲