phpcurl采集站外内容示例代码

2. <?php
3. // 初始化一个 cURL 对象
4. $curl = curl_init();
5. // 设置你需要抓取的URL
6. curl_setopt($curl, CURLOPT_URL, 'http://bbs.it-home.org');
7. // 设置header
8. curl_setopt($curl, CURLOPT_HEADER, 1);
9. // 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。
10. curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
11. // 运行cURL，请求网页
12. $data = curl_exec($curl);
13. // 关闭URL请求
14. curl_close($curl);

3、通过正则匹配找到关键数据

2. <?php
3. //$data是curl_exec返回的的值，即采集的目标内容
4. preg_match_all("/
5. (.*?)<\/li>/",$data, $out, PREG_SET_ORDER);
6. foreach($out as $key => $value){
7. //此处$value是数组，同时记录找到带匹配字符的整句和单独匹配的字符
8. echo '匹配到的整句：'.$value[0].'
9. ';
10. echo '单独匹配到的：'.$value[1].'
11. ';
12. }

PHP curl的技巧 1、超时的相关设置 通过curl_setopt($ch, opt) 可以设置一些超时的设置，主要包括： CURLOPT_TIMEOUT 设置cURL允许执行的最长秒数。 CURLOPT_TIMEOUT_MS 设置cURL允许执行的最长毫秒数。 (在cURL 7.16.2中被加入。从PHP 5.2.3起可使用。 ) CURLOPT_CONNECTTIMEOUT 在发起连接前等待的时间，如果设置为0，则无限等待。 CURLOPT_CONNECTTIMEOUT_MS 尝试连接等待的时间，以毫秒为单位。如果设置为0，则无限等待。 在cURL 7.16.2中被加入。从PHP 5.2.3开始可用。 CURLOPT_DNS_CACHE_TIMEOUT 设置在内存中保存DNS信息的时间，默认为120秒。 <?php curl_setopt($ch, CURLOPT_TIMEOUT, 60); //只需要设置一个秒的数量就可以 curl_setopt($ch, CURLOPT_NOSIGNAL, 1); //注意，毫秒超时一定要设置这个 curl_setopt($ch, CURLOPT_TIMEOUT_MS, 200); //超时毫秒，cURL 7.16.2中被加入。从PHP 5.2.3起可使用

2、通过post提交数据，保留cookie

3. <?php

4. //Curl 模拟登录 discuz 程序,适合DZ7.0

5. !extension_loaded('curl') && die('The curl extension is not loaded.');

6. $discuz_url = 'http://bbs.it-home.org';//论坛地址

7. $login_url = $discuz_url .'/logging.php?action=login';//登录页地址
8. $get_url = $discuz_url .'/my.php?item=threads'; //我的帖子

9. $post_fields = array();

10. //以下两项不需要修改
11. $post_fields['loginfield'] = 'username';
12. $post_fields['loginsubmit'] = 'true';
13. //用户名和密码，必须填写
14. $post_fields['username'] = 'jbxue';
15. $post_fields['password'] = '88888888';
16. //安全提问
17. $post_fields['questionid'] = 0;
18. $post_fields['answer'] = '';
19. //@todo验证码
20. $post_fields['seccodeverify'] = '';

21. //获取表单FORMHASH

22. $ch = curl_init($login_url);
23. curl_setopt($ch, CURLOPT_HEADER, 0);
24. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
25. $contents = curl_exec($ch);
26. curl_close($ch);
27. preg_match('/<input\s*type="hidden"\s*name="formhash"\s*value="(.*?)"\s*\/>/i', $contents, $matches);
28. if(!empty($matches)) {
29. $formhash = $matches[1];
30. } else {
31. die('Not found the forumhash.');
32. }

33. //POST数据，获取COOKIE

34. $cookie_file = dirname(__FILE__) . '/cookie.txt';
35. //$cookie_file = tempnam('/tmp');
36. $ch = curl_init($login_url);
37. curl_setopt($ch, CURLOPT_HEADER, 0);
38. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
39. curl_setopt($ch, CURLOPT_POST, 1);
40. curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields);
41. curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
42. curl_exec($ch);
43. curl_close($ch);

44. //带着上面得到的COOKIE获取需要登录后才能查看的页面内容

45. $ch = curl_init($get_url);
46. curl_setopt($ch, CURLOPT_HEADER, 0);
47. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);
48. curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
49. $contents = curl_exec($ch);
50. curl_close($ch);

51. var_dump($contents);