"網(wǎng)絡(luò)蜘蛛" 學(xué)名Spider,又叫"網(wǎng)絡(luò)爬蟲(chóng)"! 關(guān)于網(wǎng)絡(luò)蜘蛛的概述這里就不多講了，今天我主要想說(shuō)的是關(guān)于蜘蛛的爬行設(shè)計(jì)的方式與方法。

我們可以分為2種：

那么什么是深度優(yōu)先? 什么是廣度優(yōu)先?有什么用? 上海SEO (SWJ) 下面為大家講解！本人學(xué)知淺薄只會(huì)用通俗的話與道理與大家分析，如有錯(cuò)誤請(qǐng)及時(shí)聯(lián)系我 所以還請(qǐng)大家多多見(jiàn)諒包含！

一種是深度優(yōu)先策略，一種是廣度優(yōu)先策略! 以下我們就圍繞這2點(diǎn)進(jìn)行分析SWJ非常歡迎大家一起交流、學(xué)習(xí)與探討!

深度優(yōu)先顧名思義就是讓網(wǎng)絡(luò)蜘蛛盡量的在抓取網(wǎng)頁(yè)時(shí)往網(wǎng)頁(yè)更深層次的挖掘進(jìn)去 講究的是深度!也泛指: 網(wǎng)絡(luò)蜘蛛將會(huì)從起始頁(yè)開(kāi)始，一個(gè)鏈接一個(gè)鏈接跟蹤下去，處理完這條線路之后再轉(zhuǎn)入下一個(gè)起始頁(yè)，繼續(xù)跟蹤鏈接!

以下我發(fā)張圖 大家看下: (下面這張是 簡(jiǎn)單化的網(wǎng)頁(yè)連接模型圖 其中A為起點(diǎn) 也就是蜘蛛索引的起點(diǎn)!)

總共分了5條路徑 供蜘蛛爬行! 講究的是深度!

(下面這張是 經(jīng)過(guò)優(yōu)化的網(wǎng)頁(yè)連接模型圖! 也就是改進(jìn)過(guò)的蜘蛛深度爬行策略圖!)

根據(jù)以上2個(gè)表格 我們可以得出以下結(jié)論:

圖1:路徑1 ==> A --> B --> E --> H 路徑2 ==> A --> B --> E --> i

路徑3 ==> A --> C 路徑4 ==> A --> D --> F --> K --> L

路徑5 ==> A --> D --> G --> K --> L

經(jīng)過(guò)優(yōu)化后

圖2: (圖片已經(jīng)幫大家標(biāo)上方向了!)

路徑1 ==> A --> B --> E --> H 路徑2 ==> i

路徑3 ==> C 路徑4 ==> D --> F --> K --> L 路徑5 ==> G

深度爬行的優(yōu)點(diǎn)是:網(wǎng)絡(luò)蜘蛛程序在設(shè)計(jì)的時(shí)候相對(duì)比較容易些把 其他我也沒(méi)發(fā)覺(jué)有什么優(yōu)點(diǎn)... 還有就是 蜘蛛的這種 "勇往直前"的精神 值得學(xué)習(xí)下! ^_^

深度爬行的缺點(diǎn)是：缺點(diǎn)么多了一點(diǎn)點(diǎn) 呵呵! 每次爬行一層總要向"蜘蛛老家" 數(shù)據(jù)庫(kù)訪問(wèn)一下。問(wèn)問(wèn)老總有必要還要爬下一層嗎! 爬一層 問(wèn)一次.... 引用一句高人的話 如果一個(gè)蜘蛛不管3721不斷往下爬 很可能迷路更有可能爬到國(guó)外的網(wǎng)站去.. 本來(lái)目標(biāo)是中文網(wǎng)站 因?yàn)镮p的問(wèn)題 國(guó)外Ip做了中文站的話.... 就容易去別人"老家"了..這樣不僅增加了系統(tǒng)數(shù)據(jù)的復(fù)雜度更是增加的服務(wù)器的負(fù)擔(dān) 我想沒(méi)有一家搜索公司會(huì)愿意則樣的把,...除非腦子"秀"了 .. ^_^

接下來(lái) 我們介紹下普遍使用的 廣度優(yōu)先策略 大家休息下 喝杯咖啡 看的也累把 我寫的也累.... ^^

廣度優(yōu)先在這里的定義就是層爬行。什么叫蜘蛛層爬行?就是一層一層的爬行 按照層的分布與布局 去索引處理與抓取網(wǎng)頁(yè)! 當(dāng)然SE不會(huì)派一個(gè)蜘蛛去的 每層會(huì)派一個(gè)或多個(gè)蜘蛛Spider去抓取內(nèi)容!

(下面這張就是 廣度優(yōu)先策略圖(層爬行圖))

大家一看就明白了把 聰明的人 下面的文章也不需要看了 答案已經(jīng)告訴你了 ^ ^

根據(jù)以上表格 我們可以得出以下結(jié)論路徑圖:

路徑1 ==> A 路徑2 ==> B --> C --> D 路徑3 ==> E --> F --> G

路徑4 ==> H --> i --> K 路徑5 ==> L

廣度爬行的優(yōu)點(diǎn)是:廣度相對(duì)深度 對(duì)數(shù)據(jù)抓取更容易控制些! 對(duì)服務(wù)器的負(fù)栽相應(yīng)也明顯減輕了許多! 爬蟲(chóng)的分布式處理 使的速度明顯提高! 其他的想也可以想到拉!

廣度爬行的缺點(diǎn)是:暫時(shí)還沒(méi)觀察到有什么缺點(diǎn) 呵呵 就好比 p+CSS樣式表(層布局)一樣道理 你覺(jué)得有什么缺點(diǎn)嗎?難道是新人不會(huì)這個(gè)問(wèn)題? ^ ^不會(huì)不要緊 下載這本電子書去看看 <> 下載地址: http://www.seo-sh.cn/zl/seoqita/122.html

其他還有什么建議意見(jiàn) 請(qǐng)多多指教與批評(píng) 上海SEO負(fù)責(zé)人SWJ 非常歡迎各位SEO愛(ài)好者 一起交流 學(xué)習(xí)與探討SEO優(yōu)化技術(shù),網(wǎng)站策劃也可以 ^_^ 聯(lián)系方式見(jiàn)首頁(yè)底部!

轉(zhuǎn)自上海SEO http://www.seo-sh.cn

文章標(biāo)題：網(wǎng)絡(luò)蜘蛛：深度優(yōu)先還是廣度優(yōu)先
鏈接分享：http://www.rwnh.cn/news13/182813.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、手機(jī)網(wǎng)站建設(shè)、全網(wǎng)營(yíng)銷推廣、網(wǎng)站排名、標(biāo)簽優(yōu)化、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)