今天就跟大家聊聊有關如何使用Python爬蟲抓取網(wǎng)頁圖片,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內(nèi)容,希望大家根據(jù)這篇文章可以有所收獲。
創(chuàng)新互聯(lián)公司主要從事成都網(wǎng)站建設、做網(wǎng)站、網(wǎng)頁設計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務。立足成都服務南木林,10年網(wǎng)站建設經(jīng)驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:13518219792代碼
__author__ = "JentZhang" import urllib.request import os import random import re def url_open(url): ''' 打開網(wǎng)頁 :param url: :return: ''' req = urllib.request.Request(url) req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36') # 應用代理 ''' proxyies = ["111.155.116.237:8123","101.236.23.202:8866","122.114.31.177:808"] proxy = random.choice(proxyies) proxy_support = urllib.request.ProxyHandler({"http": proxy}) opener = urllib.request.build_opener(proxy_support) urllib.request.install_opener(opener) ''' response = urllib.request.urlopen(url) html = response.read() return html def save_img(folder, img_addrs): ''' 保存圖片 :param folder: 要保存的文件夾 :param img_addrs: 圖片地址(列表) :return: ''' # 創(chuàng)建文件夾用來存放圖片 if not os.path.exists(folder): os.mkdir(folder) os.chdir(folder) for each in img_addrs: filename = each.split('/')[-1] try: with open(filename, 'wb') as f: img = url_open("http:" + each) f.write(img) except urllib.error.HTTPError as e: # print(e.reason) pass print('完畢!') def find_imgs(url): ''' 獲取全部的圖片鏈接 :param url: 連接地址 :return: 圖片地址的列表 ''' html = url_open(url).decode("utf-8") img_addrs = re.findall(r'src="(.+?\.gif)', html) return img_addrs def get_page(url): ''' 獲取當前一共有多少頁的圖片 :param url: 網(wǎng)頁地址 :return: ''' html = url_open(url).decode('utf-8') a = html.find("current-comment-page") + 23 b = html.find("]</span>", a) return html[a:b] def download_mm(url="http://jandan.net/ooxx/", folder="OOXX", pages=1): ''' 主程序(下載圖片) :param folder:默認存放的文件夾 :param pages: 下載的頁數(shù) :return: ''' page_num = int(get_page(url)) for i in range(pages): page_num -= i page_url = url + "page-" + str(page_num) + "#comments" img_addrs = find_imgs(page_url) save_img(folder, img_addrs) if __name__ == "__main__": download_mm()
看完上述內(nèi)容,你們對如何使用Python爬蟲抓取網(wǎng)頁圖片有進一步的了解嗎?如果還想了解更多知識或者相關內(nèi)容,請關注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝大家的支持。
網(wǎng)頁標題:如何使用Python爬蟲抓取網(wǎng)頁圖片-創(chuàng)新互聯(lián)
當前URL:http://www.rwnh.cn/article20/dhhcco.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供用戶體驗、電子商務、網(wǎng)站維護、網(wǎng)站改版、服務器托管、定制開發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容