如何使用Java抓取網(wǎng)頁(yè)上指定部分的內(nèi)容

1. 你可以選擇用Java代碼來(lái)找到整個(gè)網(wǎng)頁(yè)的html代碼，如下

創(chuàng)新互聯(lián)主營(yíng)徐州網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,成都app軟件開(kāi)發(fā)公司,徐州h5小程序制作搭建,徐州網(wǎng)站營(yíng)銷推廣歡迎徐州等地區(qū)企業(yè)咨詢

(注意在處理網(wǎng)頁(yè)方面的內(nèi)容時(shí)，需要導(dǎo)入htmlparser包來(lái)支持)

import org.htmlparser.util.ParserException;

import org.htmlparser.visitors.HtmlPage;

import org.htmlparser.Parser;

import org.htmlparser.filters.HasAttributeFilter;

import org.htmlparser.util.NodeList;

public class htmlmover {

public static void main(String[] args){

NodeList rt= getNodeList("");

System.out.println(rt.toHtml());

}

public static NodeList getNodeList(String url){

Parser parser = null;

HtmlPage visitor = null;

try {

parser = new Parser(url);

parser.setEncoding("GBK");

visitor = new HtmlPage(parser);

parser.visitAllNodesWith(visitor);

} catch (ParserException e) {

e.printStackTrace();

}

NodeList nodeList = visitor.getBody();

return nodeList;

}

}

以上代碼，public static NodeList getNodeList(String url) 為主體

傳入需要分析網(wǎng)頁(yè)的 url(String類型)，返回值是網(wǎng)頁(yè)Html節(jié)點(diǎn)List(Nodelist類型)

這個(gè)方法我沒(méi)有什么要說(shuō)的，剛開(kāi)始的時(shí)候沒(méi)看懂（沒(méi)接觸過(guò)），后來(lái)用了幾次也懂點(diǎn)皮毛了

注意： parser.setEncoding("GBK"); 可能你的工程編碼格式是UTF-8,有錯(cuò)誤的話需要改動(dòng)

運(yùn)行該程序

2.通過(guò)瀏覽器工具直接查看 IE是按F12 （剛開(kāi)始沒(méi)發(fā)現(xiàn)這個(gè)方法，于是傻乎乎地找上面的代碼）

分析你所獲得的html代碼讓人眼花繚亂，不要緊，找到自己需要趴取的內(nèi)容，找到它上下文有特征的節(jié)點(diǎn)

!--中行牌價(jià) 開(kāi)始--

div id="sw01_con1"

table width="655" border="0" cellspacing="0" cellpadding="0" class="hgtab"

thead

tr

th width="85" align="center" class="th_l"交易幣種/th

th width="80" align="center"交易單位/th

th width="130" align="center"現(xiàn)價(jià)(人民幣)/th

th width="80" align="center"賣出價(jià)/th

th width="100" align="center"現(xiàn)匯買入價(jià)/th

th width="95" align="center"現(xiàn)鈔買入價(jià)/th

/tr

/thead

tbody

tr align="center"

td 英鎊/td

td100/td

td992.7/td

td1001.24/td

td993.26/td

td class="no"962.6/td

/tr

tr align="center" bgcolor="#f2f3f4"

td 港幣/td

td100/td

td81.54/td

td82.13/td

td81.81/td

td class="no"81.16/td

/tr

tr align="center"

td 美元/td

td100/td

td635.49/td

td639.35/td

td636.8/td

td class="no"631.69/td

/tr

tr align="center" bgcolor="#f2f3f4"

td 瑞士法郎/td

td100/td

td710.89/td

td707.78/td

td702.14/td

td class="no"680.46/td

/tr

tr align="center"

td 新加坡元/td

td100/td

td492.45/td

td490.17/td

td486.27/td

td class="no"471.25/td

/tr

tr align="center" bgcolor="#f2f3f4"

td 瑞典克朗/td

td100/td

td93.66/td

td93.79/td

td93.04/td

td class="no"90.17/td

/tr

tr align="center"

td 丹麥克朗/td

td100/td

td116.43/td

td115.59/td

td114.67/td

td class="no"111.13/td

/tr

tr align="center" bgcolor="#f2f3f4"

td 挪威克朗/td

td100/td

td110.01/td

td109.6/td

td108.73/td

td class="no"105.37/td

/tr

!--{2011-10-01 23:16:00}--

/tbody

/table

/div

!--中行牌價(jià) 結(jié)束--

大家可以看到這是一段很有規(guī)律，書寫非常規(guī)范的Html代碼（這只是第一部分，中行牌價(jià)，可以想像，接下來(lái)還會(huì)有并列的 相似的3部分）

大家想截取這些節(jié)點(diǎn)中的數(shù)據(jù)

以下代碼仍需導(dǎo)入htmlparser Java支持包

import java.util.ArrayList;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

import org.htmlparser.Node;

import org.htmlparser.NodeFilter;

import org.htmlparser.Parser;

import org.htmlparser.util.NodeList;

import org.htmlparser.util.ParserException;

public class Currencyrate {

public static void main(String[] args){

String url="";

ArrayListString rt= getNodeList(url);

for (int i = 0; i rt.size(); i++){

System.out.println(rt.get(i));

}

}

public static ArrayListString getNodeList(String url){

final ArrayListString result=new ArrayListString();

Parser parser = null;

NodeList nodeList=null;

try {

parser = new Parser(url);

parser.setEncoding("GBK");

nodeList = parser.parse(

new NodeFilter(){

@Override

public boolean accept(Node node){

Node need=node;

if(getStringsByRegex(node.getText())){

for(int i=0;i6;i++){

result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();

}

return true;

}

return false;

}

}

);

}catch (ParserException e) {

e.printStackTrace();

}

return result;

}

public static boolean getStringsByRegex(String txt) {

String regex="td class=\"no\"";

Pattern p = Pattern.compile(regex);

Matcher m = p.matcher(txt);

if (m.find()){

return true;

}

return false;

}

}

廢話不多說(shuō)，

public static ArrayListString getNodeList(String url) 主要方法

parser.setEncoding("GBK"); 需要注意，代碼編碼格式

nodeList = parser.parse(

new NodeFilter(){

@Override

public boolean accept(Node node){

}

｝

);

nodelist是html節(jié)點(diǎn)的列表，現(xiàn)在使用NodeFilter ( 節(jié)點(diǎn)過(guò)濾器 )實(shí)例， 重載NodeFilter類中的accept()方法

在parser這個(gè)Parser類訪問(wèn)整個(gè)html頁(yè)面的時(shí)候，每遇到一個(gè)html節(jié)點(diǎn)，就會(huì)訪問(wèn)這個(gè)

accept()方法，返回True的話就會(huì)將這個(gè)節(jié)點(diǎn) 放進(jìn)nodelist中，否則就不會(huì)將這個(gè)節(jié)點(diǎn)放進(jìn)去。這個(gè)就是NodeFilter功能。

代碼段一獲取整個(gè)html頁(yè)面時(shí)候 parser.visitAllNodesWith(visitor); 就是獲取所有節(jié)點(diǎn)

所以現(xiàn)在我們要趴取網(wǎng)頁(yè)上的內(nèi)容，只要告訴accept()這個(gè)方法，哪些節(jié)點(diǎn)要放進(jìn)nodelist去，即 遇到哪些節(jié)點(diǎn)需要返回true。

于是

public boolean accept(Node node){

Node need=node;

if(getStringsByRegex(node.getText())){

for(int i=0;i6;i++){

result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();

}

return true;

}

return false;

}

Parser類在遇到節(jié)點(diǎn)，就把這個(gè)節(jié)點(diǎn)拿過(guò)去問(wèn)accept()，于是accept()方法分析，如果滿足getStringsByRegex(node.getText())就要了

接下來(lái)分析getStringsByRegex()，只剩下最后一步了，大家堅(jiān)持啊！

String regex="td class=\"no\"";

Pattern p = Pattern.compile(regex);

Matcher m = p.matcher(txt);

if (m.find()){

return true;

}

return false;

}

大家可以發(fā)現(xiàn)我們索要的每一段都是

tr align="center"

td 英鎊/td

td100/td

td992.7/td

td1001.24/td

td993.26/td

td class="no"962.6/td

/tr

所以只要找到td class="no"這個(gè)節(jié)點(diǎn)就行了，我們用正則表達(dá)式去比較

String regex="td class=\"no\""; 這個(gè)是比較標(biāo)準(zhǔn)（正則表達(dá)式 td class=”no” 其中兩個(gè)引號(hào)需要作為轉(zhuǎn)義字符來(lái)表示 成\“ ）

變量txt是我們傳過(guò)去的需要比較的節(jié)點(diǎn)的node.getText()，如果符合的話m.find就是true,于是getStringsByRegex()返回true，說(shuō)明這個(gè)節(jié)點(diǎn)就是我們所需要的哪些節(jié)點(diǎn)，于是

for(int i=0;i6;i++){

result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();

}

每一段html，6個(gè)為一組，先是962.6，然后是993.26，1001.24，992.7，100，英鎊分別被add進(jìn)result這個(gè)ArrayListString中去，返回，這個(gè)ArrayList裝的就是我們需要抓取的數(shù)據(jù)

大家可以把我們所獲得的String數(shù)據(jù)數(shù)出來(lái)試試看，是不是我們需要的順序，main()函數(shù)獲得ArrayListString，就可以顯示到我們所需要的Java widget上去了

如何用Java抓取網(wǎng)頁(yè)的具體內(nèi)容

一般情況下，我們獲取到的是服務(wù)器處理過(guò)的頁(yè)面，

是一個(gè)單純的HTML頁(yè)面，獲取語(yǔ)法是

public?static?void?main(String[]?args)?{

String?url?=?"";??

String?str=new?User().getPageContent(""" target="_blank"",?"post",?100500);

System.out.println("頁(yè)面內(nèi)容："+str);

}

???public?String?getPageContent(String?strUrl,?String?strPostRequest,??

int?maxLength)?{??

//?讀取結(jié)果網(wǎng)頁(yè)??

StringBuffer?buffer?=?new?StringBuffer();??

System.setProperty("sun.net.client.defaultConnectTimeout",?"5000");??

System.setProperty("sun.net.client.defaultReadTimeout",?"5000");??

try?{??

URL?newUrl?=?new?URL(strUrl);??

HttpURLConnection?hConnect?=?(HttpURLConnection)?newUrl??

.openConnection();??

//?POST方式的額外數(shù)據(jù)??

if?(strPostRequest.length()??0)?{??

hConnect.setDoOutput(true);??

OutputStreamWriter?out?=?new?OutputStreamWriter(hConnect??

.getOutputStream());??

out.write(strPostRequest);??

out.flush();??

out.close();??

}??

//?讀取內(nèi)容??

??

BufferedReader?rd?=?new?BufferedReader(new?InputStreamReader(??

hConnect.getInputStream()));??

int?ch;??

for?(int?length?=?0;?(ch?=?rd.read())??-1??

?(maxLength?=?0?||?length??maxLength);?length++)??

buffer.append((char)?ch);??

String?s?=?buffer.toString();??

s.replaceAll("\\[a-zA-Z]{1,10};",?"").replaceAll("[^]*",?"");??

System.out.println(s);??

??

rd.close();??

hConnect.disconnect();??

return?buffer.toString().trim();??

}?catch?(Exception?e)?{??

//?return?"錯(cuò)誤:讀取網(wǎng)頁(yè)失??！";??

//??

return?null;??

??

???

}??

}

java jsoup怎樣爬取特定網(wǎng)頁(yè)內(nèi)的數(shù)據(jù)

1、Jsoup簡(jiǎn)述

Java中支持的爬蟲框架有很多，比如WebMagic、Spider、Jsoup等。

Jsoup擁有十分方便的api來(lái)處理html文檔，比如參考了DOM對(duì)象的文檔遍歷方法，參考了CSS選擇器的用法等等，因此我們可以使用Jsoup快速地掌握爬取頁(yè)面數(shù)據(jù)的技巧。

2、快速開(kāi)始

1)分析HTML頁(yè)面，明確哪些數(shù)據(jù)是需要抓取的

2)使用HttpClient讀取HTML頁(yè)面

HttpClient是一個(gè)處理Http協(xié)議數(shù)據(jù)的工具，使用它可以將HTML頁(yè)面作為輸入流讀進(jìn)java程序中.

3)使用Jsoup解析html字符串

通過(guò)引入Jsoup工具，直接調(diào)用parse方法來(lái)解析一個(gè)描述html頁(yè)面內(nèi)容的字符串來(lái)獲得一個(gè)Document對(duì)象。該Document對(duì)象以操作DOM樹的方式來(lái)獲得html頁(yè)面上指定的內(nèi)容。

3、保存爬取的頁(yè)面數(shù)據(jù)

1)保存普通數(shù)據(jù)到數(shù)據(jù)庫(kù)中

將爬取的數(shù)據(jù)封裝進(jìn)實(shí)體Bean中，并存到數(shù)據(jù)庫(kù)內(nèi)。

2)保存圖片到服務(wù)器上

直接通過(guò)下載圖片的方式將圖片保存到服務(wù)器本地。

java爬蟲抓取指定數(shù)據(jù)

根據(jù)java網(wǎng)絡(luò)編程相關(guān)的內(nèi)容，使用jdk提供的相關(guān)類可以得到url對(duì)應(yīng)網(wǎng)頁(yè)的html頁(yè)面代碼。

針對(duì)得到的html代碼，通過(guò)使用正則表達(dá)式即可得到我們想要的內(nèi)容。

比如，我們?nèi)绻氲玫揭粋€(gè)網(wǎng)頁(yè)上所有包括“java”關(guān)鍵字的文本內(nèi)容，就可以逐行對(duì)網(wǎng)頁(yè)代碼進(jìn)行正則表達(dá)式的匹配。最后達(dá)到去除html標(biāo)簽和不相關(guān)的內(nèi)容，只得到包括“java”這個(gè)關(guān)鍵字的內(nèi)容的效果。

從網(wǎng)頁(yè)上爬取圖片的流程和爬取內(nèi)容的流程基本相同，但是爬取圖片的步驟會(huì)多一步。

需要先用img標(biāo)簽的正則表達(dá)式匹配獲取到img標(biāo)簽，再用src屬性的正則表達(dá)式獲取這個(gè)img標(biāo)簽中的src屬性的圖片url，然后再通過(guò)緩沖輸入流對(duì)象讀取到這個(gè)圖片url的圖片信息，配合文件輸出流將讀到的圖片信息寫入到本地即可。

網(wǎng)站題目：java代碼抓網(wǎng)頁(yè)數(shù)據(jù) java如何抓取網(wǎng)絡(luò)數(shù)據(jù)包
標(biāo)題路徑：http://www.rwnh.cn/article20/dosigco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、定制網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)公司、、移動(dòng)網(wǎng)站建設(shè)、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)