怎么在PHP中利用curl對(duì)跳轉(zhuǎn)后的頁面進(jìn)行抓?。亢芏嘈率謱?duì)此不是很清楚,為了幫助大家解決這個(gè)難題,下面小編將為大家詳細(xì)講解,有這方面需求的人可以來學(xué)習(xí)下,希望你能有所收獲。
PHP的CURL正常抓取頁面程序如下:
$url = 'http://www.baidu.com'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_VERBOSE, true); curl_setopt($ch, CURLOPT_HEADER, true); curl_setopt($ch, CURLOPT_NOBODY, true); curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_TIMEOUT, 20); curl_setopt($ch, CURLOPT_AUTOREFERER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); $ret = curl_exec($ch); $info = curl_getinfo($ch); curl_close($ch);
如果你抓取到的是302狀態(tài),是因?yàn)樵僮ト〉倪^程中,有的跳轉(zhuǎn)需要給下一個(gè)鏈接傳遞參數(shù),而下一個(gè)鏈接同時(shí)也設(shè)置了如果沒接收到相應(yīng)的參數(shù)是為非法訪問。
curl_setopt($curl, CURLOPT_CUSTOMREQUEST, 'GET');
顯示就應(yīng)該正常了。
上面用來抓取功能,幾乎應(yīng)該沒問題的。你可以查一下CURLOPT_CUSTOMREQUEST相關(guān)資料。
使用一個(gè)自定義的請(qǐng)求信息來代替”GET”或”HEAD”作為HTTP請(qǐng)求。這對(duì)于執(zhí)行”DELETE” 或者其他更隱蔽的HTTP請(qǐng)求。有效值如”GET”,”POST”,”CONNECT”等等。也就是說,不要在這里輸入整個(gè)HTTP請(qǐng)求。例如輸入”GET /index.html HTTP/1.0\r\n\r\n”是不正確的。
看完上述內(nèi)容是否對(duì)您有幫助呢?如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章,請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝您對(duì)創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司,的支持。
文章名稱:怎么在PHP中利用curl對(duì)跳轉(zhuǎn)后的頁面進(jìn)行抓取-創(chuàng)新互聯(lián)
路徑分享:http://www.rwnh.cn/article36/dohgsg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站制作、定制開發(fā)、搜索引擎優(yōu)化、微信小程序、定制網(wǎng)站、標(biāo)簽優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)