這篇文章給大家分享的是有關(guān)Selenium+PhantomJS+python如何實現(xiàn)爬蟲功能的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

目前成都創(chuàng)新互聯(lián)公司已為近千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、雅安服務(wù)器托管、網(wǎng)站托管、服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計、湖南網(wǎng)站維護(hù)等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

Selenium

一、簡介

selenium是一個用于Web應(yīng)用自動化程序測試的工具，測試直接運(yùn)行在瀏覽器中，就像真正的用戶在操作一樣

selenium2支持通過驅(qū)動真實瀏覽器（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）

selenium2支持通過驅(qū)動無界面瀏覽器（HtmlUnit，PhantomJs）

二、安裝

Windows

第一種方法是：下載源碼安裝，下載地址（https://pypi.python.org/pypi/selenium）解壓并把整個目錄放到C:\Python27\Lib\site-packages下面

第二種方法是：可以直接在C:\Python27\Scripts 下輸入命令安裝 pip install -U selenium

sudo pip install selenium

PhantomJS

一、簡介

PhantomJS 是一個基于 WebKit（WebKit是一個開源的瀏覽器引擎，Chrome，Safari就是用的這個瀏覽器引擎） 的服務(wù)器端 JavaScript API，主要應(yīng)用場景是：無需瀏覽器的 Web 測試，頁面訪問自動化，屏幕捕獲，網(wǎng)絡(luò)監(jiān)控

二、安裝

Windows

下載源碼安裝，下載地址（http://phantomjs.org/download.html）解壓并把解壓縮的路徑添加到環(huán)境變量中即可，我自己的放到了C:\Python27\Scripts 下面

Linux

sudo apt-get install PhantomJS

Selenium + PhantomJS + python 簡單實現(xiàn)爬蟲的功能

python可以使用selenium執(zhí)行javascript，selenium可以讓瀏覽器自動加載頁面，獲取需要的數(shù)據(jù)。selenium自己不帶瀏覽器，可以使用第三方瀏覽器如Firefox，Chrome等，也可以使用headless瀏覽器如PhantomJS在后臺執(zhí)行。
在工作用遇到一個問題,當(dāng)加載一個手機(jī)端的URL時候，會加載不上，需要我們在請求頭中設(shè)置一個User-Agent，設(shè)置完以后就可以打開了（Windows下執(zhí)行，linux下執(zhí)行的話就不用加executable_path='C:\Python27\Scripts\phantomjs.exe'）

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
 
dcap = dict(DesiredCapabilities.PHANTOMJS) #設(shè)置userAgent
dcap["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 ")
 
obj = webdriver.PhantomJS(executable_path='C:\Python27\Scripts\phantomjs.exe',desired_capabilities=dcap) #加載網(wǎng)址
obj.get('http://wap.95533pc.com')#打開網(wǎng)址
obj.save_screenshot("1.png") #截圖保存
obj.quit() # 關(guān)閉瀏覽器。當(dāng)出現(xiàn)異常時記得在任務(wù)瀏覽器中關(guān)閉PhantomJS，因為會有多個PhantomJS在運(yùn)行狀態(tài)，影響電腦性能

一、超時設(shè)置

webdriver類中有三個和時間相關(guān)的方法：

1.pageLoadTimeout    設(shè)置頁面完全加載的超時時間，完全加載即完全渲染完成，同步和異步腳本都執(zhí)行完
2.setScriptTimeout    設(shè)置異步腳本的超時時間
3.implicitlyWait         識別對象的智能等待時間

下面我們以獲取?；ňW(wǎng)title為例來驗證效果，因為?；ňW(wǎng)中圖片比較多，所以加載的時間比較長，更能時間我們的效果（另一原因我就不說了，這樣才能讓我們學(xué)起來帶勁，哈哈?。。。?/p>

from selenium import webdriver
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
 obj.get('http://www.xiaohuar.com')
 print obj.title
except Exception as e:
 print e

二、元素的定位

對象的定位是通過屬性定位來實現(xiàn)的，這種屬性就像人的身份證信息一樣，或是其他的一些信息來找到這個對象，那我們下面就介紹下Webdriver提供的幾個常用的定位方法

<input id="kw" name="wd" class="s_ipt" value="" maxlength="255" autocomplete="off">

上面這個是百度的輸入框，我們可以發(fā)現(xiàn)我們可以用id來定位這個標(biāo)簽，然后就可以進(jìn)行后面的操作了

from selenium import webdriver
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
 obj.get('http://www.baidu.com')
 obj.find_element_by_id('kw')     #通過ID定位
 obj.find_element_by_class_name('s_ipt')   #通過class屬性定位
 obj.find_element_by_name('wd')     #通過標(biāo)簽name屬性定位
 obj.find_element_by_tag_name('input')   #通過標(biāo)簽屬性定位
 obj.find_element_by_css_selector('#kw')   #通過css方式定位
 obj.find_element_by_xpath("//input[@id='kw']") #通過xpath方式定位
 obj.find_element_by_link_text("貼吧")   #通過xpath方式定位
 
 print obj.find_element_by_id('kw').tag_name #獲取標(biāo)簽的類型
except Exception as e:
 print e　　

 三、瀏覽器的操作

1、調(diào)用啟動的瀏覽器不是全屏的，有時候會影響我們的某些操作，所以我們可以設(shè)置全屏

from selenium import webdriver
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
obj.maximize_window() #設(shè)置全屏
try:
 obj.get('http://www.baidu.com')
 obj.save_screenshot('11.png') # 截取全屏，并保存
except Exception as e:
 print e

2、設(shè)置瀏覽器寬、高

from selenium import webdriver
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
obj.set_window_size('480','800') #設(shè)置瀏覽器寬480，高800
try:
 obj.get('http://www.baidu.com')
 obj.save_screenshot('12.png') # 截取全屏，并保存
except Exception as e:
 print e

3、操作瀏覽器前進(jìn)、后退

 from selenium import webdriver
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
try:
 obj.get('http://www.baidu.com') #訪問百度首頁
 obj.save_screenshot('1.png')
 obj.get('http://www.sina.com.cn') #訪問新浪首頁
 obj.save_screenshot('2.png')
 obj.back()       #回退到百度首頁
 obj.save_screenshot('3.png')
 obj.forward()      #前進(jìn)到新浪首頁
 obj.save_screenshot('4.png')
except Exception as e:
 print e

四、操作測試對象

定位到元素以后，我們就應(yīng)該對相應(yīng)的對象進(jìn)行某些操作，以達(dá)到我們某些特定的目的，那我們下面就介紹下Webdriver提供的幾個常用的操作方法

from selenium import webdriver
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
 obj.get('http://www.baidu.com')
 print obj.find_element_by_id("cp").text # 獲取元素的文本信息
 obj.find_element_by_id('kw').clear()    #用于清除輸入框的內(nèi)容
 obj.find_element_by_id('kw').send_keys('Hello') #在輸入框內(nèi)輸入Hello
 obj.find_element_by_id('su').click()    #用于點擊按鈕
 obj.find_element_by_id('su').submit()    #用于提交表單內(nèi)容
 
except Exception as e:
 print e

五、鍵盤事件

1、鍵盤按鍵用法

from selenium.webdriver.common.keys import Keys
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
 obj.get('http://www.baidu.com')
 obj.find_element_by_id('kw').send_keys(Keys.TAB) #用于清除輸入框的內(nèi)容,相當(dāng)于clear()
 obj.find_element_by_id('kw').send_keys('Hello') #在輸入框內(nèi)輸入Hello
 obj.find_element_by_id('su').send_keys(Keys.ENTER) #通過定位按鈕，通過enter（回車）代替click()
 
except Exception as e:
 print e

2、鍵盤組合鍵使用

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
 obj.get('http://www.baidu.com')
 obj.find_element_by_id('kw').send_keys(Keys.TAB) #用于清除輸入框的內(nèi)容,相當(dāng)于clear()
 obj.find_element_by_id('kw').send_keys('Hello') #在輸入框內(nèi)輸入Hello
 obj.find_element_by_id('kw').send_keys(Keys.CONTROL,'a') #ctrl + a 全選輸入框內(nèi)容
 obj.find_element_by_id('kw').send_keys(Keys.CONTROL,'x') #ctrl + x 剪切輸入框內(nèi)容
 
except Exception as e:
 print e

六、中文亂碼問題

selenium2 在python的send_keys（）中輸入中文會報錯，其實在中文前面加一個u變成unicode就能搞定了

七、鼠標(biāo)事件

1、鼠標(biāo)右擊

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
try:
 obj.get("http://pan.baidu.com")
 obj.find_element_by_id('TANGRAM__PSP_4__userName').send_keys('13201392325') #定位并輸入用戶名
 obj.find_element_by_id('TANGRAM__PSP_4__password').send_keys('18399565576lu') #定位并輸入密碼
 obj.find_element_by_id('TANGRAM__PSP_4__submit').submit()      #提交表單內(nèi)容
 f = obj.find_element_by_xpath('/html/body/div/div[2]/div[2]/....')    #定位到要點擊的標(biāo)簽
 ActionChains(obj).context_click(f).perform()          #對定位到的元素進(jìn)行右鍵點擊操作
 
except Exception as e:
 print e

2、鼠標(biāo)雙擊　

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
obj = webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
try:
 obj.get("http://pan.baidu.com")
 obj.find_element_by_id('TANGRAM__PSP_4__userName').send_keys('13201392325') #定位并輸入用戶名
 obj.find_element_by_id('TANGRAM__PSP_4__password').send_keys('18399565576lu') #定位并輸入密碼
 obj.find_element_by_id('TANGRAM__PSP_4__submit').submit()      #提交表單內(nèi)容
 f = obj.find_element_by_xpath('/html/body/div/div[2]/div[2]/....')    #定位到要點擊的標(biāo)簽
 ActionChains(obj).double_click(f).perform()          #對定位到的元素進(jìn)行雙擊操作
 
except Exception as e:
 print e

感謝各位的閱讀！關(guān)于“Selenium+PhantomJS+python如何實現(xiàn)爬蟲功能”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

當(dāng)前文章：Selenium+PhantomJS+python如何實現(xiàn)爬蟲功能-創(chuàng)新互聯(lián)
網(wǎng)頁路徑：http://www.rwnh.cn/article10/cssgdo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動態(tài)網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、服務(wù)器托管、標(biāo)簽優(yōu)化、營銷型網(wǎng)站建設(shè)、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)