PythonHTML解析模塊HTMLParser用法分析【爬蟲工具】-創(chuàng)新互聯(lián)

本文實例講述了Python HTML解析模塊HTMLParser用法。分享給大家供大家參考，具體如下：

在西峽等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站建設(shè)、成都網(wǎng)站制作網(wǎng)站設(shè)計制作定制網(wǎng)站建設(shè),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站制作,成都全網(wǎng)營銷,成都外貿(mào)網(wǎng)站制作,西峽網(wǎng)站建設(shè)費用合理。

簡介

先簡略介紹一下。實際上，HTMLParser是python用來解析HTML的內(nèi)置模塊。它可以分析出HTML里面的標簽、數(shù)據(jù)等等，是一種處理HTML的簡便途徑。HTMLParser采用的是一種事件驅(qū)動的模式，當HTMLParser找到一個特定的標記時，它會去調(diào)用一個用戶定義的函數(shù)，以此來通知程序處理。它主要的用戶回調(diào)函數(shù)的命名都是以"handle_"開頭的，都是HTMLParser的成員函數(shù)。當我們使用時，就從HTMLParser派生出新的類，然后重新定義這幾個以"handle_"開頭的函數(shù)即可。這幾個函數(shù)包括：

（1）handle_startendtag 　　處理開始標簽和結(jié)束標簽（即單標簽）
（2）handle_starttag     　　   處理開始標簽，比如<xx>
（3）handle_endtag       　　處理結(jié)束標簽，比如</xx>
（4）handle_charref      　　   處理特殊字符串，就是以&#開頭的，一般是內(nèi)碼表示的字符
（5）handle_entityref   　　   處理一些特殊字符，以&開頭的，比如  
（6）handle_data         　　   處理數(shù)據(jù)，就是<xx>data</xx>中間的那些數(shù)據(jù)
（7）handle_comment          處理注釋
（8）handle_decl         　　    處理<!開頭的，比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
（9）handle_pi           　　      處理形如<?instruction>的東西

實例

OK，廢話少說，直接上手，來一個簡單的爬蟲實例——抓取貼吧圖片。

from html.parser import HTMLParser
from urllib import request
class MyHTMLParser(HTMLParser):   # 創(chuàng)建HTML解析類
  def __init__(self):
    HTMLParser.__init__(self)
    self.gifs_urls = []     # 創(chuàng)建列表，保存gif
    self.jpgs_urls = []     # 創(chuàng)建列表，保存jpg
  # 重寫HTMLParser中的內(nèi)置方法
  def handle_starttag(self, tags, attrs): # 處理起始標記
    if tags == 'img':  # 處理圖片
      for attr in attrs:
        for t in attr:
          if 'gif' in t and 'https' in t:
            self.gifs_urls.append(t)  # 添加到gif列表
          elif 'jpg' in t and 'https' in t:
            self.jpgs_urls.append(t)  # 添加到j(luò)pg列表
          else:
            pass
  # 自定義的方法
  def get_gifs(self):   # 返回gif列表
    return self.gifs_urls
  def get_jpgs(self):   # 返回jpg列表
    return self.jpgs_urls
  # 自定義的方法，獲取頁面
  def getHTML(self,url):
    req=request.Request(url,method='GET')
    html=request.urlopen(req,timeout=30)
    return html.read()
  # 自定義的方法，批量下載圖片
  def downImgs(self,img_urls,n=10,path='Image/'):
    count=1
    for url in img_urls:
      request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))
      count=count+1
      if count == n + 1:
        print('共下載%d張圖片' %(n))
        return
if __name__ == '__main__':
  Url = 'http://tieba.baidu.com/p/2256306796'
  HtmlParser=MyHTMLParser()
  Html=HtmlParser.getHTML(Url)
  # print(Html)
  HtmlParser.feed(str(Html))   #開始解析HTML，自動調(diào)用HTMLParser中的內(nèi)置方法
  HtmlParser.downImgs(HtmlParser.get_jpgs())

分享題目：PythonHTML解析模塊HTMLParser用法分析【爬蟲工具】-創(chuàng)新互聯(lián)
分享地址：http://www.rwnh.cn/article8/jdoop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、網(wǎng)站營銷、手機網(wǎng)站建設(shè)、微信公眾號、搜索引擎優(yōu)化、Google

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

内射老阿姨1区2区3区4区_久久精品人人做人人爽电影蜜月_久久国产精品亚洲77777_99精品又大又爽又粗少妇毛片

PythonHTML解析模塊HTMLParser用法分析【爬蟲工具】-創(chuàng)新互聯(lián)