本篇內(nèi)容介紹了“怎么用Python爬蟲獲取網(wǎng)址美圖”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡(jiǎn)單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：空間域名、虛擬主機(jī)、營(yíng)銷軟件、網(wǎng)站建設(shè)、青陽(yáng)網(wǎng)站維護(hù)、網(wǎng)站推廣。

Python學(xué)習(xí)教程之爬蟲：爬取街拍美圖

1. 抓包

2. 查看參數(shù)信息

多看幾頁(yè)即可看見規(guī)律，主要改變的項(xiàng)無非是offset，timestamp，這里的stamp是13位的時(shí)間戳，再根據(jù)keyword改變搜索項(xiàng)，可以改變offset值實(shí)現(xiàn)翻頁(yè)操作，其他的都是固定項(xiàng)

3. 數(shù)據(jù)解析

返回的數(shù)據(jù)中可以得到具體的欄目，image_list中是所有的圖片鏈接，我們解析這個(gè)欄目，然后根據(jù)title下載圖片即可

4. 流程分析

構(gòu)建url發(fā)起請(qǐng)求，改變offset的值執(zhí)行便利操作，對(duì)返回的json數(shù)據(jù)進(jìn)行解析，根據(jù)title名稱建立文件夾，如果欄目含有圖片，則以title_num的格式下載圖片

import requests
import os
import time
headers = {
 'authority': 'www.toutiao.com',
 'method': 'GET',
 'path': '/api/search/content/?aid=24&app_name=web_search&offset=100&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp=1556892118295',
 'scheme': 'https',
 'accept': 'application/json, text/javascript',
 'accept-encoding': 'gzip, deflate, br',
 'accept-language': 'zh-CN,zh;q=0.9',
 'content-type': 'application/x-www-form-urlencoded',
 'referer': 'https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D',
 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
 'x-requested-with': 'XMLHttpRequest',
}
def get_html(url):
 return requests.get(url, headers=headers).json()
def get_values_in_dict(list):
 result = []
 for data in list:
 result.append(data['url'])
 return result
def parse_data(url):
 text = get_html(url)
 for data in text['data']:
 if 'image_list' in data.keys():
 title = data['title'].replace('|', '')
 img_list = get_values_in_dict(data['image_list'])
 else:
 continue
 if not os.path.exists('街拍/' + title):
 os.makedirs('街拍/' + title)
 for index, pic in enumerate(img_list):
 with open('街拍/{}/{}.jpg'.format(title, index + 1), 'wb') as f:
 f.write(requests.get(pic).content)
 print("Download {} Successful".format(title))
def get_num(num):
 if isinstance(num, int) and num % 20 == 0:
 return num
 else:
 return 0
def main(num):
 for i in range(0, get_num(num) + 1, 20):
 url = 'https://www.toutiao.com/api/search/content/?aid={}&app_name={}&offset={}&format={}&keyword={}&' \
 'autoload={}&count={}&en_qc={}&cur_tab={}&from={}&pd={}&timestamp={}'.format(24, 'web_search', i,
 'json', '街拍', 'true', 20, 1, 1, 'search_tab', 'synthesis', str(time.time())[:14].replace('.', ''))
 parse_data(url)
if __name__ == '__main__':
 main(40)

“怎么用Python爬蟲獲取網(wǎng)址美圖”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

分享文章：怎么用Python爬蟲獲取網(wǎng)址美圖-創(chuàng)新互聯(lián)
本文來源：http://www.rwnh.cn/article28/csicjp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站、用戶體驗(yàn)、建站公司、響應(yīng)式網(wǎng)站、虛擬主機(jī)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)