内射老阿姨1区2区3区4区_久久精品人人做人人爽电影蜜月_久久国产精品亚洲77777_99精品又大又爽又粗少妇毛片

網(wǎng)站優(yōu)化之防止網(wǎng)站被采集

2016-08-09    分類: 網(wǎng)站建設(shè)

采集就是使用程序通過自動化操作復(fù)制數(shù)據(jù)。
首先說明,只要是能讓瀏覽器訪問的,就沒有不能采集的。
但是可以通過一定的手段讓采集變得非常麻煩,進而在大量數(shù)據(jù)的情況下延遲采集完成時間,加大采集難度。
一般的情況略過不說,幾種情況比較特別的:
1、驗證來路,cookie,session這些,比如PHP可以用fsockopen自定義HTTPHeader,基本上這些方法沒什么效果。
2、限速,限制某段時間內(nèi)打開頁面數(shù)量。這個只是推遲了下,大部分時間效果一般。比如某站限制一分鐘之內(nèi)只能打開30個網(wǎng)頁,頁面大小平均30K,則用迅雷批量下載就OK了,設(shè)置限速為2K,一覺醒來什么都好了。這個方法效果也基本沒有。
3、比較特別的方法,設(shè)置一個數(shù)量級的閥值,達(dá)到這樣數(shù)量后,必須驗證方能繼續(xù),比如打開10個頁面需要輸入驗證碼,這個時候只需要保證驗證碼不可識別,分配一個session,以后的瀏覽過程中用session保證用戶合法性,這樣不影響后續(xù)訪問,同時可以有效防止采集。
4、第三條對蜘蛛是致命的,此時可通過手機蜘蛛IP段,放行,其它的按照嚴(yán)格規(guī)則來。
5、3+4真是無敵的嗎?遠(yuǎn)非可以高枕無憂,比如此站有10萬個頁面,則設(shè)置100個代理,在閥值前循環(huán)使用代理,這樣實際上繞過了3的限制。
6、還有別的辦法嗎?不能,因為你的網(wǎng)站能用瀏覽器打開。

網(wǎng)頁標(biāo)題:網(wǎng)站優(yōu)化之防止網(wǎng)站被采集
轉(zhuǎn)載源于:http://www.rwnh.cn/news/41719.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供搜索引擎優(yōu)化、App設(shè)計、面包屑導(dǎo)航企業(yè)建站、商城網(wǎng)站云服務(wù)器

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

綿陽服務(wù)器托管
枝江市| 寻甸| 洞口县| 甘洛县| 汝州市| 泸定县| 通城县| 武清区| 富蕴县| 崇义县| 孟州市| 建阳市| 永仁县| 临潭县| 怀集县| 襄樊市| 大庆市| 玉龙| 墨脱县| 嘉峪关市| 额尔古纳市| 曲松县| 台前县| 上高县| 乌拉特后旗| 克什克腾旗| 涪陵区| 神木县| 麻栗坡县| 镇沅| 合江县| 土默特左旗| 顺义区| 偃师市| 文昌市| 称多县| 海宁市| 伊金霍洛旗| 武功县| 晋宁县| 西充县|