中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

網(wǎng)站優(yōu)化之防止網(wǎng)站被采集

2016-08-09    分類: 網(wǎng)站建設(shè)

采集就是使用程序通過自動(dòng)化操作復(fù)制數(shù)據(jù)。
首先說明,只要是能讓瀏覽器訪問的,就沒有不能采集的。
但是可以通過一定的手段讓采集變得非常麻煩,進(jìn)而在大量數(shù)據(jù)的情況下延遲采集完成時(shí)間,加大采集難度。
一般的情況略過不說,幾種情況比較特別的:
1、驗(yàn)證來路,cookie,session這些,比如PHP可以用fsockopen自定義HTTPHeader,基本上這些方法沒什么效果。
2、限速,限制某段時(shí)間內(nèi)打開頁(yè)面數(shù)量。這個(gè)只是推遲了下,大部分時(shí)間效果一般。比如某站限制一分鐘之內(nèi)只能打開30個(gè)網(wǎng)頁(yè),頁(yè)面大小平均30K,則用迅雷批量下載就OK了,設(shè)置限速為2K,一覺醒來什么都好了。這個(gè)方法效果也基本沒有。
3、比較特別的方法,設(shè)置一個(gè)數(shù)量級(jí)的閥值,達(dá)到這樣數(shù)量后,必須驗(yàn)證方能繼續(xù),比如打開10個(gè)頁(yè)面需要輸入驗(yàn)證碼,這個(gè)時(shí)候只需要保證驗(yàn)證碼不可識(shí)別,分配一個(gè)session,以后的瀏覽過程中用session保證用戶合法性,這樣不影響后續(xù)訪問,同時(shí)可以有效防止采集。
4、第三條對(duì)蜘蛛是致命的,此時(shí)可通過手機(jī)蜘蛛IP段,放行,其它的按照嚴(yán)格規(guī)則來。
5、3+4真是無敵的嗎?遠(yuǎn)非可以高枕無憂,比如此站有10萬個(gè)頁(yè)面,則設(shè)置100個(gè)代理,在閥值前循環(huán)使用代理,這樣實(shí)際上繞過了3的限制。
6、還有別的辦法嗎?不能,因?yàn)槟愕木W(wǎng)站能用瀏覽器打開。

本文名稱:網(wǎng)站優(yōu)化之防止網(wǎng)站被采集
網(wǎng)頁(yè)地址:http://www.rwnh.cn/news19/41719.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供微信公眾號(hào)、網(wǎng)站設(shè)計(jì)網(wǎng)站策劃、建站公司、品牌網(wǎng)站建設(shè)、定制開發(fā)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

營(yíng)銷型網(wǎng)站建設(shè)
大余县| 新疆| 扶沟县| 梅州市| 林口县| 鄂伦春自治旗| 库车县| 阳春市| 漯河市| 新安县| 白水县| 佛学| 高碑店市| 东城区| 建始县| 望奎县| 大石桥市| 睢宁县| 镇原县| 龙岩市| 榆社县| 驻马店市| 鹿邑县| 海淀区| 泰来县| 辽阳市| 阳朔县| 郓城县| 罗江县| 商丘市| 安塞县| 襄樊市| 普定县| 津市市| 自治县| 南开区| 陈巴尔虎旗| 隆林| 嘉黎县| 南投县| 剑河县|