PHP通过CURL模拟登录并获取数据

2018-04-28编程教程
70

<?php
/*通过CURL模拟登录并获取数据
一些网站需要权限认证,必须登录网站后,才能有效地抓取网页并采集内容,
这就需要curl来设置cookie完成模拟登录网页,php的curl在抓取网页内容方
面效率是比较高的,而且支持多线程,而file_get_contents()效率就要稍低
些。模拟登录的代码如下所示:
*/
function login_post($url, $cookie, $post){
$ch = curl_init(); //初始化curl模块
curl_setopt($ch, CURLOPT_URL, $url); //登录提交的地址
curl_setopt($ch, CURLOPT_HEADER, 0); //是否显示头信息
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0); //是否自动显示返回的信息
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //设置cookie信息保存在指定的文件夹中
curl_setopt($ch, CURLOPT_POST, 1); //以POST方式提交
curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($post));//要执行的信息
curl_exec($ch); //执行CURL
curl_close($ch);
}
/*
上例中声明的函数login_post(),需要提供一个url地址,一个保存cookie文
件,以及post的数据(用户名和密码等信息),注意php自带的http_build_query()
函数可以将数组转换成相连接的字符串,如果通过该函数登录成功后,我们要获取
登录成功个页面信息。声明函数的代码如下所示:
*/
function get_content($url, $cookie){
$ch = curl_init(); //初始化curl模块
curl_setopt($ch, CURLOPT_URL, $url); //登录提交的地址
curl_setopt($ch, CURLOPT_HEADER, 0); //是否显示头信息
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //是否自动显示返回的信息
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);//设置cookie信息保存在指定的文件夹中
$rs = curl_exec($ch); //执行curl转去页面内容
curl_close($ch);
return $rs; //返回字符串
}
/*
get_content()中用curlopt_cookiefile可以读取到登录保存的cookie信
息 最后讲页面内容返回.我们的目的是获取到模拟登录后的信息,也就是
只有正常登录成功后菜能获取的有用的信息,下面举例代码
*/
$post = array(
'_username' => 'g@ydma.cn',
'_password' => '123456', 
'_submit' => '登录'
);
$url = "http://www.genban.org/login/check"; //登录地址, 和原网站一致
$cookie = dirname(__FILE__).'/cookie_ydma.txt'; //设置cookie保存的路径
$url2 = "http://www.genban.org/course/59"; //登录后要获取信息的地址

login_post($url, $cookie, $post); //调用模拟登录
$content = get_content($url2, $cookie); //登录后,调用get_content()函数获取登录后指定的页面信息

@unlik($cookie); //删除cookie文件
file_put_contents('save.txt', $content); //保存抓取的页面内容

The End

相关推荐

百度UEditor编辑器如何禁止过滤div等网页html标签
将设计排版好的页面html代码上传到数据库,再读取出来的时候发现所有的div都被替换成了p标签。 解决方法: 首先在ueditor.all.js文件内搜索allowDivTransToP,找到如下的代码,将true设置为false me.setOpt({ 'allowDivTransToP':false, 'disabledTableInTable'...
2022-11-23 编程教程
495

Ajax中文传值出现乱码的解决办法
Ajax技术的核心为Javascript,而javascript使用的是UTF-8编码,因此在页面采用GBK或者其他编码,同时没有进行编码转换时,就会出现中文乱码的问题。 以下是分别使用GET和POST方式传值,并且页面采用GBK和UTF-8编码在IE和FF下的不同测试结果和出现乱码时的解...
2022-11-19 编程教程
364

PHP错误Warning: Cannot modify header information - headers alr
今天在用php进行图片保存输出时候,图片一直显示错误,后面用调试模式下提示:Warning: Cannot modify header information - headers already sent by... 看了一些网上的方法也没解决,最后在php.ini配置output_buffering默认为4096就没有遇到这个错误了: o...
2022-05-18 编程教程
69

Parse error: syntax error, unexpected '&'解决办法
在使用PHP5.4及以上版本时,在调用函数时,使用引用符号时,会出现Parse error: syntax error, unexpected 或PHP Fatal error: Call-time pass-by-reference has been removed者,这是由于在函数调用时通过引用传递参数已被弃用,因为它影响了代码的整洁,如...
2022-05-11 编程教程
295

解析PHP中ob_start()函数的用法
ob_start()函数用于打开缓冲区,比如header()函数之前如果就有输出,包括回车/空格/换行/都会有Header had all ready send by的错误,这时可以先用ob_start()打开缓冲区PHP代码的数据块和echo()输出都会进入缓冲区而不会立刻输出.当然打开缓冲区的作用很多,只要...
2022-05-11 编程教程
106

php中判断一个字符串包含另一个字符串的方法
第一种方法:用php的strpos() 函数判断字符串中是否包含某字符串的方法 if(strpos(www.genban.org,genban) !== false){ echo 包含genban; }else{ echo 不包含genban; } 第二种 使用了explode 用explode进行判断PHP判断字符串的包含代码如下: ?php $name = 00...
2020-03-28 编程教程
403