本篇文章為大家展示了在Python爬蟲中如何將PhantomJS偽裝成Chrome瀏覽器，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

10年積累的成都網(wǎng)站設計、做網(wǎng)站經(jīng)驗，可以快速應對客戶對網(wǎng)站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡服務。我雖然不認識你，你也不認識我。但先網(wǎng)站制作后付款的網(wǎng)站建設流程，更有伊金霍洛免費網(wǎng)站建設讓你可以放心的選擇與我們合作。

前言

在寫爬蟲的過程中，出于系統(tǒng)環(huán)境或是效率的問題，我們經(jīng)常使用PhantomJS作為Selenium操縱的瀏覽器webdriver，而不是直接使用Chrome或FireFox的webdriver，盡管后者更加直觀。

PhantomJS的優(yōu)點雖然很多，但是缺點卻也不少，有一個不能稱之為缺點的缺點就是，PhantomJS的瀏覽器標識是“PhantomJS”（勇敢的做自己竟然有錯……：））

PhantomJS的標識本沒有什么問題，但是在現(xiàn)在越來越多的網(wǎng)站不斷升級自己的反爬蟲技術(shù)的情況下，PhantomJS顯然成為了一個和“requests”一樣的靶子。

只要服務器后臺識別到訪問者的User-Agent為PhantomJS，就有可能被服務器判定為爬蟲行為，而導致爬蟲失效。

如同在requests中修改header頭域以偽裝成瀏覽器一樣，我們可以在Selenium中將PhantomJS的瀏覽器標識修改為任意瀏覽器的標識。

PhantomJS的瀏覽器標識

首先來看看PhantomJS的瀏覽器標識是怎樣的。

http://service.spiritsoft.cn/ua.html是一個獲取瀏覽器標識User-Agent的網(wǎng)站，訪問它就會顯示當前使用的瀏覽器的標識：

我們使用Selunium操縱PhantomJS訪問http://service.spiritsoft.cn/ua.html，看看返回的結(jié)果：

很明顯的有PhantomJS的痕跡。接下來，我們對PhantomJS的瀏覽器標識進行修改。

偽裝成Chrome

引入一個關鍵的模塊——DesiredCapabilities：

這個模塊是干什么用的呢？我們看看源碼的解釋：

描述了一系列封裝的瀏覽器屬性的鍵值對，大致就是用來設置webdriverde的屬性。我們使用它來設置PhantomJS的User-Agent。

首先將DesiredCapabilities轉(zhuǎn)換為一個字典，方便添加鍵值對：

然后添加一個瀏覽器標識的鍵值對：

最后，在實例化PhantomJS中設為參數(shù)：

完整的代碼如下：

我們運行一下代碼：

成功地將PhantomJS標識為了Chrome瀏覽器。

上述內(nèi)容就是在Python爬蟲中如何將PhantomJS偽裝成Chrome瀏覽器，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當前文章：在Python爬蟲中如何將PhantomJS偽裝成Chrome瀏覽器
本文鏈接：http://www.rwnh.cn/article30/igjhso.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、關鍵詞優(yōu)化、品牌網(wǎng)站建設、域名注冊、網(wǎng)站制作、自適應網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)