這篇文章主要介紹了python爬蟲中requests和selenium有什么區(qū)別，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)公司主要從事網(wǎng)站設計制作、成都網(wǎng)站設計、網(wǎng)頁設計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務。立足成都服務甘州,10余年網(wǎng)站建設經(jīng)驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:13518219792

requests代碼：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import requests
 
r = requests.get('https://api.github.com', auth=('user', 'pass'))
 
print r.status_code
print r.headers['content-type']

requests代碼部分簡單易懂。

selenium它是用于自動化Web應用程序的測試目的，但肯定不僅限于此。

對于一般網(wǎng)站來說scrapy、requests、beautifulsoup等都可以爬取，但是有些信息需要執(zhí)行js才能顯現(xiàn)，而且你肉眼所能看到的基本都能爬取下來，在學習中遇到了，就記錄下來方便以后查看。

webdrive是selenium中一個函數(shù)：

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('網(wǎng)址')

其中PhantomJS同時可以換成Chrome、Firefox、Ie等等，但是PhantomJS是一個無頭的瀏覽器，運行是不會跳出相應的瀏覽器，運行相對效率較高。在調(diào)試中可以先換成Chrome，方便調(diào)試，最后再換成PhantomJS即可。

說一說 Selenium 的缺點：

1、速度慢。每次運行爬蟲都打開一個瀏覽器，如果沒有設置，還會加載圖片、JS等等一大堆東西；

2、占用資源太多。有人說，把Chrome換成無頭瀏覽器PhantomJS，原理都是一樣的，都是打開瀏覽器，而且很多網(wǎng)站會驗證參數(shù)，如果對方看到你是以PhantomJS去訪問，會BAN掉你的請求，然后你又要考慮更換請求頭的事情，事情復雜程度不知道多了多少，為啥學Python？因為Python簡單啊，如果有更快、更簡單的庫可以實現(xiàn)同樣的功能，為什么不去使用呢？

3、對網(wǎng)絡的要求會更高。 Selenium 加載了很多可能對您沒有價值的補充文件（如css，js和圖像文件）。 與僅僅請求您真正需要的資源（使用單獨的HTTP請求）相比，這可能會產(chǎn)生更多的流量。

4、爬取規(guī)模不能太大。

5、難。學習Selenium的成本太高，

通過比較我們可以看出，requests在代碼方面簡潔而且操作難度不大，相信很多小伙伴已經(jīng)上手requests，而selenium的不足之處比較多，所以不推薦大家用來爬取數(shù)據(jù)。

感謝你能夠認真閱讀完這篇文章，希望小編分享python爬蟲中requests和selenium有什么區(qū)別內(nèi)容對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)網(wǎng)站建設公司，，關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，遇到問題就找創(chuàng)新互聯(lián)網(wǎng)站建設公司，，詳細的解決方法等著你來學習!

分享題目：python爬蟲中requests和selenium有什么區(qū)別-創(chuàng)新互聯(lián)
文章轉(zhuǎn)載：http://www.rwnh.cn/article44/dhheee.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、面包屑導航、微信公眾號、云服務器、App設計、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)