本篇文章給大家分享的是有關(guān)python爬取免費或付費小說的示例分析,小編覺得挺實用的,因此分享給大家學(xué)習(xí),希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。
為公安等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù),及公安網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為網(wǎng)站制作、做網(wǎng)站、公安網(wǎng)站設(shè)計,以傳統(tǒng)方式定制建設(shè)網(wǎng)站,并提供域名空間備案等一條龍服務(wù),秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達到每一位用戶的要求,就會得到認可,從而選擇與我們長期合作。這樣,我們也可以走得更遠!
小說相信大家都愛看吧一章接一章具有極大的吸引力 看了還想看,當(dāng)然付費小說價格也不便宜 看到一半突然收費 猝不及防!在我們程序員這里 收費是不存在的 萬物皆可爬
什么是網(wǎng)絡(luò)爬蟲
網(wǎng)絡(luò)爬蟲(又被稱為網(wǎng)頁蜘蛛,網(wǎng)絡(luò)機器人,在FOAF社區(qū)中間,更經(jīng)常的稱為網(wǎng)頁追逐者),是一種按照一定的規(guī)則,自動地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
環(huán)境:Python3.6+Windows
開發(fā)工具:你喜歡用哪個就用哪個,你開心就好!
主要思路:
1 獲取主頁源代碼
2 獲取章節(jié)超鏈接
3 獲取章節(jié)超鏈接源碼
4 獲取小說內(nèi)容
5 下載,文件操作
Python代碼了解一下
import urllib.request
import re
# 1 獲取主頁源代碼
# 2 獲取章節(jié)超鏈接
# 3 獲取章節(jié)超鏈接源碼
# 4 獲取小說內(nèi)容
# 5 下載,文件操作
# 駝峰命名法
# 獲取小說內(nèi)容
def getNovertContent():
# <http.client.HTTPResponse object at 0x000001DFD017F400>
html = urllib.request.urlopen("http://www.quanshuwang.com/book/0/269").read()
html = html.decode("gbk")
# 不加括號 不匹配
# 正則表達式 .*? 匹配所有
reg = r'<li><a href="(.*?)" title=".*?">(.*?)</a></li>'
# 增加效率的
reg = re.compile(reg)
urls = re.findall(reg,html)
# print(urls)
# 列表
# [(http://www.quanshuwang.com/book/0/269/78850.html,第一章 山邊小村),
# (http://www.quanshuwang.com/book/0/269/78854.html,第二章 青牛鎮(zhèn))]
for url in urls:
# 章節(jié)的URL地址
novel_url = url[0]
# 章節(jié)標(biāo)題
novel_title = url[1]
chapt = urllib.request.urlopen(novel_url).read()
chapt_html = chapt.decode("gbk")
# r 表示原生字符串 \ \\d r"\d"
reg = r'</script> (.*?)<script type="text/javascript">'
# S 代表多行匹配
reg = re.compile(reg,re.S)
chapt_content = re.findall(reg,chapt_html)
# print(chapt_content)
# 列表["  二愣子睜大著雙眼,直直望著茅草和爛泥糊成的<br />"]
# 第一個參數(shù) 要替換的字符串 替換后的字符串
chapt_content = chapt_content[0].replace(" ","")
# print(chapt_content) 字符串 二愣子睜大著雙眼,直直望著茅草和爛泥糊成的<br />
chapt_content = chapt_content.replace("<br />","")
print("正在保存 %s"%novel_title)
# w 讀寫模式 wb
# f = open("{}.txt".format(novel_title),'w')
# f.write(chapt_content)
with open("{}.txt".format(novel_title),'w') as f:
f.write(chapt_content)
# f.close()
getNovertContent()
運行結(jié)果:
以上就是python爬取免費或付費小說的示例分析,小編相信有部分知識點可能是我們?nèi)粘9ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
新聞名稱:python爬取免費或付費小說的示例分析
路徑分享:http://www.rwnh.cn/article36/jsdcsg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供自適應(yīng)網(wǎng)站、網(wǎng)站設(shè)計、App設(shè)計、電子商務(wù)、商城網(wǎng)站、搜索引擎優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)