要提取google搜索的部分数据，发现google对于软件抓取它的数据屏蔽的厉害，以前伪造下 USER-AGENT 就可以抓数据，但是现在却不行了。利用抓包数据发现，Google 判断了 cookies，当你没有cookies的时候，直接返回 302 跳转，而且是连续几十个302跳转，根本抓不了数据。
因此，在发送搜索命令时，需要先提取 cookies 并保存，然后利用保存下来的这个cookies再次发送搜索命令即可正常抓数据了。这其实和论坛的模拟登录一个道理，先POST登录，获取cookies并保存，然后利用这个cookies访问就可以了。
一、定义Cookie存储路径
必须使用绝对路径
1.$cookie_jar= dirname(__FILE__)."/pic.cookie";二、获取Cookie
将cookie存入文件
1.$url= "http://1.2.3.4/";2.$ch= curl_init();3.curl_setopt($ch, CURLOPT_URL, $url);4.curl_setopt($ch, CURLOPT_HEADER, 0);5.curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);6.curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_jar);7.$content= curl_exec($ch);8.curl_close($ch);三、模拟浏览器获取验证码
该服务器验证码有漏洞，可以自己指定
取出cookie，一起提交给服务器，让服务器以为是浏览器打开登陆页面
1.$ch= curl_init();2.curl_setopt($ch, CURLOPT_URL, 'http://1.2.3.4/getCheckpic.action?rand=6836.185874812305');3.curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_jar);4.curl_setopt($ch, CURLOPT_HEADER, 0);5.curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);6.$ret= curl_exec($ch);7.curl_close($ch);四、POST提交
01.$post= "name=2&userType=1&passwd=asdf&loginType=1&rand=6836&imageField.x=25&imageField.y=7"; 02.$ch= curl_init();03.curl_setopt($ch, CURLOPT_URL, "http://1.2.3.4/loginstudent.action");04.curl_setopt($ch, CURLOPT_HEADER, false);05.curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);06.curl_setopt($ch, CURLOPT_POSTFIELDS, $post);07.curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_jar);08.$result=curl_exec($ch);09.curl_close($ch);五、到指定页面获取数据
01.$ch= curl_init();02.curl_setopt($ch, CURLOPT_URL, "http://1.2.3.4/accountcardUser.action");03.curl_setopt($ch, CURLOPT_HEADER, false);04.curl_setopt($ch, CURLOPT_HEADER, 0);05.curl_setopt($ch, CURLOPT_RETURNTRANSFER,0); 06.curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_jar);07.$html=curl_exec($ch);08.// var_dump($html);09.curl_close($ch);除非特别声明，PHP100新闻均为原创或投稿报道，转载请注明作者及原文链接
原文地址：http://www.php100.com/html/php/lei/2013/0912/6164.html
滇公网安备 53230102000482号