這篇文章給大家分享的是有關(guān)requests模塊怎么用的內(nèi)容。小編覺得挺實(shí)用的,因此分享給大家做個(gè)參考。一起跟隨小編過來看看吧。
一、安裝
第一步:pip安裝
/tupian/20230522/>python setup.py install
D:\envi\python2.7\Scripts添加到環(huán)境變量新打開一個(gè)命令行窗口,執(zhí)行
pip list
第二步:requests安裝命令
pip install requests
二、使用:爬取百度網(wǎng)站內(nèi)容
導(dǎo)入模塊
#導(dǎo)入requests模塊 import requests
指定url
#1:指定url url='https://www.baidu.com/'
發(fā)起請(qǐng)求
#2:發(fā)起請(qǐng)求(get方法會(huì)返回一個(gè)響應(yīng)對(duì)象) response = requests.get(url=url)
獲取響應(yīng)數(shù)據(jù)
#3:獲取響應(yīng)數(shù)據(jù) page_text = response.text
持久化存儲(chǔ)
#4:持久化存儲(chǔ) with open('./baidu.html','w',encoding='utf-8') as fp: fp.write(page_text) print('爬完了')
三:requests異常處理
異常:比如網(wǎng)絡(luò)連接錯(cuò)誤、http錯(cuò)誤異常、重定向異常、請(qǐng)求url超時(shí)異常等等。
處理:可以利用 response.raise_for_status()
語句去捕捉異常,該語句在方法內(nèi)部判斷r.status_code是否等于200,如果不等于,則拋出異常。
爬取網(wǎng)頁的通用代碼框架:
try: response=requests.get(url) response.raise_for_status() #如果狀態(tài)不是200,則引發(fā)異常 except: print("產(chǎn)生異常")
requests 會(huì)自動(dòng)實(shí)現(xiàn)持久連接keep-alive,requests 支持 HTTP 連接保持和連接池,支持使用 cookie 保持會(huì)話,支持文件上傳,支持自動(dòng)確定響應(yīng)內(nèi)容的編碼,支持國際化的 URL 和 POST 數(shù)據(jù)自動(dòng)編碼,現(xiàn)代、國際化、人性化。
感謝各位的閱讀!關(guān)于requests模塊怎么用就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,讓大家可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到吧!
分享標(biāo)題:requests模塊怎么用-創(chuàng)新互聯(lián)
網(wǎng)頁網(wǎng)址:http://www.rwnh.cn/article34/hojse.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、面包屑導(dǎo)航、企業(yè)網(wǎng)站制作、虛擬主機(jī)、網(wǎng)站改版
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容