前言

? 在這一篇博客中，我會用python來實現(xiàn)一個簡單的網(wǎng)絡(luò)爬蟲。簡單的爬取一下一些音樂網(wǎng)站、小說網(wǎng)站的標題、關(guān)鍵字還有摘要！所以這個爬蟲并不是萬能爬，只針對符合特定規(guī)則的網(wǎng)站使用。（只使用于爬標題、關(guān)鍵字和摘要的，所以只能爬在head標簽中這三個信息都有的且meta標簽中name參數(shù)在本文信息前面的網(wǎng)站。）希望大家看了這篇博客，能對大家學(xué)習(xí)爬蟲有些幫助?。ú⒉皇呛芨呱畹呐老x，很基礎(chǔ)?。。。?/p>成都創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都做網(wǎng)站、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的海滄網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！要用到的知識

? 要用到的知識都是比較簡單的啦，基本上花點時間都能學(xué)會。

? 首先就是python的基礎(chǔ)語法啦，會用能看懂就好。（會有一些文件讀取的操作）

? 還有就是關(guān)于爬蟲的一些知識了：貪婪匹配和惰性匹配（re解析方式解析網(wǎng)頁源代碼）

? 還需要一丟丟前端的知識：只需要大概看得懂html源代碼就行（知道是在干嘛的）

? 這些就差不多了（b站是最好的大學(xué)（主要是我懶，也沒時間寫這些））

爬蟲的具體實現(xiàn)

? 先拿一個網(wǎng)站做例子分析，打開酷狗官網(wǎng)，右鍵點擊檢查：

紅框中的就是我們需要提取的信息啦。這還是很容易提取出來的。使用re模塊里面的貪婪匹配與惰性匹配，將想要的數(shù)據(jù)提取出來就好。例如：

obj = re.compile(r'(?P.*?'
                  r'.*?)".*?>'
                  r'.*?)".*?>', re.S)

在上面我們只用了一次compile函數(shù)就完成了匹配。

? 但是我，我們需要提取的并不止是酷狗官網(wǎng)，還有其他一些網(wǎng)站。上面代碼寫的規(guī)則并不適合一些網(wǎng)站，比如，一些網(wǎng)站把標題放在最后面，關(guān)鍵字和摘要放在前面，那么我們就匹配不到想要的信息。這個也比較好解決，將一條compile拆成多條compile就行。

obj1 = re.compile(r'(?P', re.S)
    obj2 = re.compile(r'.*?)".*?>', re.S)
    obj3 = re.compile(r'.*?)".*?>', re.S)

? 下面是整個python源代碼（在源代碼里面使用了文件讀取將提取到的信息保存到文件里面）：

import requests
import re
import csv

urls = []

# 分別是酷狗音樂、酷我音樂、網(wǎng)易云音樂、起點中文網(wǎng)、咪咕音樂、bilibili、qq音樂
urls.append("https://www.kugou.com/")
urls.append("http://www.kuwo.cn/")
urls.append("https://music.163.com/")
urls.append("https://www.qidian.com/")
urls.append("https://www.migu.cn/index.html")
urls.append("https://www.bilibili.com/")
urls.append("https://y.qq.com/")

# 打開csv文件
f = open("test.csv", mode="w", encoding="utf-8")
csvwriter = csv.writer(f)
csvwriter.writerow(["標題","關(guān)鍵字","摘要"])

# 對所有網(wǎng)站進行g(shù)et訪問，獲取源代碼后用re模塊將想要提取的內(nèi)容提取出來
for url in urls:
    # 向網(wǎng)頁發(fā)出請求
    resp = requests.get(url)
    # 設(shè)置字符編碼
    resp.encoding = 'utf-8'
    # 使用非貪婪匹配.*?（惰性匹配），re.S用來匹配換行符
    obj1 = re.compile(r'(?P', re.S)
    obj2 = re.compile(r'.*?)".*?>', re.S)
    obj3 = re.compile(r'.*?)".*?>', re.S)
    # 對網(wǎng)頁源代碼進行匹配
    result1 = obj1.finditer(resp.text)
    result2 = obj2.finditer(resp.text)
    result3 = obj3.finditer(resp.text)
    # 創(chuàng)建一個隊列來將數(shù)據(jù)保存，方便寫入csv文件中
    lis = []
    for it in result1:
        #print("標題：",it.group("title"))
        lis.append(it.group("title"))
    for it in result2:
        #print("關(guān)鍵字：",it.group("keywords"))
        lis.append(it.group("keywords"))
    for it in result3:
        #print("摘要：",it.group("description"))
        lis.append(it.group("description"))
    print(lis)
    print()
    # 將隊列寫入csv文件
    csvwriter.writerow(lis)
    # 關(guān)閉請求
    resp.close()
print('over!')
# 關(guān)閉文件指針
f.close()

? 下面是運行結(jié)果圖：

用WPS打開這個csv文件進行查看：?

在pycharm中打開csv文件查看是否將數(shù)據(jù)寫入文件中：

結(jié)語

? 好矛盾好糾結(jié)，又想把思路寫清楚又感覺沒必要。。。。。。

? 感謝瀏覽這篇博客，希望這篇博客的內(nèi)容能對你有幫助。

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

本文標題：python簡單實現(xiàn)網(wǎng)絡(luò)爬蟲-創(chuàng)新互聯(lián)
文章URL：http://www.rwnh.cn/article4/cspcoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設(shè)、商城網(wǎng)站、移動網(wǎng)站建設(shè)、網(wǎng)站制作、網(wǎng)站導(dǎo)航、軟件開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)