搜索引擎的蜘蛛抓取頁(yè)面的一般過(guò)程是這樣的。

首先，收集待索引網(wǎng)頁(yè)的url。

搜索引擎的蜘蛛一般分為兩類(lèi)，這一類(lèi)的主要工作就是收集網(wǎng)頁(yè)的中有效的URL。它們的任務(wù)是一刻不停地掃描Internet資源，以隨時(shí)更新其搜索引擎龐大的url列表以供它的第二類(lèi)蜘蛛使用。也就是說(shuō)，當(dāng)這一類(lèi)蜘蛛訪問(wèn)我們網(wǎng)頁(yè)的時(shí)候，并不在于索引我們的網(wǎng)頁(yè)，而是在尋找網(wǎng)頁(yè)中的所有有效鏈接。

關(guān)于有的站長(zhǎng)在自己的訪問(wèn)日志中發(fā)現(xiàn)多個(gè)蜘蛛IP爬自己站的情況。

我們常用的搜索引擎每天要處理數(shù)以?xún)|計(jì)的信息，沒(méi)有一個(gè)大型的搜索引擎公司（GOOGLE或百度之類(lèi)）不配備上萬(wàn)臺(tái)服務(wù)器來(lái)共同執(zhí)行這個(gè)工作，因此搜索引擎都擁有不同的數(shù)據(jù)中心，也就是說(shuō)有多個(gè)robots來(lái)檢索你的站是很正常的事情。

不過(guò)這也僅限于一類(lèi)蜘蛛，在索引頁(yè)面的時(shí)候，搜索引擎會(huì)限制某個(gè)特定的數(shù)據(jù)中心來(lái)讓專(zhuān)門(mén)索引頁(yè)面的蜘蛛檢索你的站。

因此朋友們從服務(wù)器訪問(wèn)日志中時(shí)常可以看到源自不同IP的蜘蛛，在很短的時(shí)間內(nèi)頻繁訪問(wèn)網(wǎng)站。不過(guò)千萬(wàn)不要高興得太早，也許其根本不是在索引你的網(wǎng)頁(yè)而只是在掃描url。

網(wǎng)站標(biāo)題：蜘蛛是如何抓取頁(yè)面的?
網(wǎng)頁(yè)URL：http://www.rwnh.cn/news20/60270.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、軟件開(kāi)發(fā)、小程序開(kāi)發(fā)、App設(shè)計(jì)、虛擬主機(jī)、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)