要提取google搜索的部分?jǐn)?shù)據(jù)，發(fā)現(xiàn)google對(duì)于軟件抓取它的數(shù)據(jù)屏蔽的厲害，以前偽造下 USER-AGENT 就可以抓數(shù)據(jù)，但是現(xiàn)在卻不行了。利用抓包數(shù)據(jù)發(fā)現(xiàn)，Google 判斷了 cookies，當(dāng)你沒(méi)有cookies的時(shí)候，直接返回 302 跳轉(zhuǎn)，而且是連續(xù)幾十個(gè)302跳轉(zhuǎn)，根本抓不了數(shù)據(jù)。

目前創(chuàng)新互聯(lián)公司已為1000多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬空間、網(wǎng)站托管、服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計(jì)、徐州網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

因此，在發(fā)送搜索命令時(shí)，需要先提取 cookies 并保存，然后利用保存下來(lái)的這個(gè)cookies再次發(fā)送搜索命令即可正常抓數(shù)據(jù)了。這其實(shí)和論壇的模擬登錄一個(gè)道理，先POST登錄，獲取cookies并保存，然后利用這個(gè)cookies訪問(wèn)就可以了。

PHP 代碼如下：

$login_url = 'XXX';  

   

 $post_fields['email'] = 'XXXX';  

 $post_fields['password'] = 'XXXX';  

 $post_fields['origURL'] = 'XXX';  

 $post_fields['domain'] = 'xxx.com';  

 //cookie文件存放在網(wǎng)站根目錄的temp文件夾下  

 $cookie_file = tempnam('./temp','cookie');  

   

 $ch = curl_init($login_url);  

 curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5');  

 curl_setopt($ch, CURLOPT_HEADER, 0);  

 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  

 curl_setopt($ch, CURLOPT_MAXREDIRS, 1);  

 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);  

 curl_setopt($ch, CURLOPT_AUTOREFERER, 1);  

 curl_setopt($ch, CURLOPT_POST, 1);  

 curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields);  

 curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);  

 curl_exec($ch);  

 curl_close($ch);  

   

 //帶上cookie文件，訪問(wèn)需要訪問(wèn)的頁(yè)面  

 $send_url='xxx.com';  

 $ch = curl_init($send_url);  

 curl_setopt($ch, CURLOPT_HEADER, 0);  

 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  

 curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);  

 $contents = curl_exec($ch);  

 curl_close($ch);  

   

 //清理cookie文件  

unlink($cookie_file);  

   

 //輸出網(wǎng)頁(yè)內(nèi)容  

print_r($contents);

在temp文件夾下保存一個(gè)cookie前綴的臨時(shí)文件,例如:coo3A98.tmp文件

打開(kāi)這個(gè)文件得到如下代碼:

要使用php來(lái)格式化該文件,使用以下代碼就能實(shí)現(xiàn)

<?php   

 $cookie_folder = dirname(__FILE__)."/temp";  

 $lines = file($cookie_folder.'/coo3A98.tmp');  

   

 $trows = '';  

   

 foreach($lines as $line) {  

     if($line[0] != '#' && substr_count($line, "\t") == 6) {  

         $tokens = explode("\t", $line);  

         $tokens = array_map('trim', $tokens);  

         $tokens[4] = date('Y-m-d h:i:s', $tokens[4]);  

         $trows .= '<tr><td>' . implode('</td><td>', $tokens) . '</td></tr>' . PHP_EOL;  

     }  

 }  

 echo '<table>'.PHP_EOL.'<tbody>'.PHP_EOL.$trows.'</tbody>'.PHP_EOL.'</table>';  

 ?>

運(yùn)行之后就如下圖所示,已經(jīng)被寫(xiě)入到table當(dāng)中

大功告成,如果只讀取其中字段可自行修改即可。

文章名稱：PHPCURL獲取cookies模擬登錄的方法
鏈接分享：http://www.rwnh.cn/article38/jgjspp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、品牌網(wǎng)站制作、響應(yīng)式網(wǎng)站、靜態(tài)網(wǎng)站、全網(wǎng)營(yíng)銷(xiāo)推廣、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)