怎么模拟IP
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了怎么模拟IP,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2220字,纯文字阅读大概需要4分钟。
内容图文
![怎么模拟IP](/upload/InfoBanner/zyjiaocheng/239/774aa5015b63461c8fbaebe3d4f64d54.jpg)
回复内容:
如果被封IP了,怎么模拟其它IP?
基本两个种情况吧
1.http header
考虑一下对方是如何取IP并封禁的。网上很多取IP的方法是先考虑陛 x-forward-for, x-real-ip 这些代理http头,取不到才会取 remote_addr这个tcp建连的真实IP。所以如果对方是一个懒散的程序员,可以手工设置这些头来试一试,看是否能够突破。
2.http proxy
当然,很多被搞过的站都有过类似经历,封禁用的IP大多会用tcp建连的IP,这时候你就需要找一些代理来用了。当然网上有一大堆免费代理,只是寿命都不长,而且稳定性堪忧。如果你是长期干这个事,推荐你自己维护一个代理库。
方法:
抓取:找一些提供免费代理的站点,写爬虫去抓上面的代理IP和端口。检测可用性然后入库。
过滤:另一个独立进程定时遍历这些代理,发现有不可用的就踢出库。
这样两个线程一起协同工作,一个抓取,一个过滤。基本就能给你提供一个相对稳定的代理IP库。
我现在就这样搞的,只跑了两个单线程,抓了四五个站,目前基本可用的代理大概在2000个左右。
php
这是之前抓取别人数据时候写的,你可以参考一下,就是获取用户IP,然后伪造用户的IP去访问站点抓取数据,成功突破限制
- 用代理服务器,最好是使用VPN的代理(socks5, open VPN),而HTTP的代理依然会有被发现你的IP可能性
- 修改你的爬虫所在的电脑的IP(一般不好搞,因为大多用的是私网IP,得修改公网IP才行)
function curlPost($url, $post='', $autoFollow=0){
$ch = curl_init();
$user_agent = 'Safari Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.73.11 (KHTML, like Gecko) Version/7.0.1 Safari/5
curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
// 2. 设置选项,包括URL
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:61.135.169.125', 'CLIENT-IP:61.135.169.125')); //构造IP
curl_setopt($ch, CURLOPT_REFERER, "http://www.baidu.com/"); //构造来路
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET');
if($autoFollow){
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); //启动跳转链接
curl_setopt($ch, CURLOPT_AUTOREFERER, true); //多级自动跳转
}
//
if($post!=''){
curl_setopt($ch, CURLOPT_POST, 1);//post提交方式
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
}
// 3. 执行并获取HTML文档内容
$output = curl_exec($ch);
curl_close($ch);
return $output;
}
CURLOPT_HTTPHEADER,
写爬虫必备,百试不爽
唉,就是你们这些人啊,我们每天被广告的东西烦死,真心防不胜防
内容总结
以上是互联网集市为您收集整理的怎么模拟IP全部内容,希望文章能够帮你解决怎么模拟IP所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。