windows系统中，本地向自身发送数据包没有经过真实的网络接口，而是通过环路（loopback interface）接口发送，所以使用基于只能从真实网络接口中抓数据的winpcap是无法抓取本地数据包，需要使用npcap，npcap是基于winpcap 4.1.3开发的，api兼容WinPcap，并且提供“npcap loopback adapter”用于抓取本地向自身发送的数据包。 使用方法：1.下载安装WireShark，版本号必须是高于 1.12.8和 1.99.9，已安装就不用装了，再装npcap前请先...
这篇文章主要介绍了node.js 抓取代理ip实例代码的相关资料,需要的朋友可以参考下node.js实现抓取代理ip 主要文件：index.js/* * 支持：node.js v7.9.0 */ const cheerio=require(cheerio); const fetch =require(node-fetch); const Promise=require(bluebird); let mongoose=require(mongoose);Promise.promisifyAll(mongoose); let Schema=mongoose.Schema; mongoose.connect(mongodb://localhost:27017/ipproxypool); let IPpoo...
<%@ page contentType="text/html;charset=gb2312"%> <% String sCurrentLine; String sTotalString; sCurrentLine=""; sTotalString=""; java.io.InputStream l_urlStream; java.net.URL l_url = new java.net.URL("http://www.baidu.com/"); java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection(); l_connection.connect(); l_urlStream = l_connection.getInputStream(); ...
由于平时使用的网页文件基本上都是gb2312编码方式，如果通过xmlhttp控件读取的话，肯定会出现乱码问题，但是要把所有文件都改成utf-8编码，操作上比较麻烦。经过反复比较，我找到了相对实用的解决方法。 ff提供了overrideMimeType方法，可以指定返回值的编码，所以解决起来比较简单，只要把这个方法指向gb2312就可以了。对于IE，可以用vbs配合来作编码转换，用gb2utf8来转换接收到的二进制数据，其中利用到execScript方法来调用...
1.通过ele.setCapture();设置鼠标事件的抓取。 2，应用可以通过单、双击文字来获取时间。 代码如下： 鼠标事件的抓取 // 鼠标事件的抓取 function mouseCapture(){ ele.setCapture(); } // 鼠标事件的释放 function showAction(){ if (event.srcElement.id != "ele") ele.style.background = "pink"; else ele.releaseCapture(); } 鼠标事件的抓取 接收鼠标事件的HTML元素 [Ctrl+A 全选 注:如需引入外部Js需刷新才能执行...
效果图:实现代码: 代码如下: 无标题文档 标题时间 正在加载数据。。。 $(function(){ var html=""; var bgcolor=""; $.ajax({ url:"http://www.cnblogs.com/rss", type:"get", //dataType:($.browser.msie) ? "text" : "xml", success:function(data){ $("item",data).each(function(index,element){ bgcolor=index%2==0 ?" bgcolor='#F1F1F1' ":" bgcolor='#FFFFFF' "; html+=""+FormatContent($(this).find("title")...
利用PhantomJS做网页截图经济适用，但其API较少，做其他功能就比较吃力了。例如，其自带的Web Server Mongoose最高只能同时支持10个请求，指望他能独立成为一个服务是不怎么实际的。所以这里需要另一个语言来支撑服务，这里选用NodeJS来完成。安装PhantomJS 首先，去PhantomJS官网下载对应平台的版本，或者下载源代码自行编译。然后将PhantomJS配置进环境变量，输入$ phantomjs 如果有反应，那么就可以进行下一步了。利用PhantomJ...
phantomjs因为是无头浏览器可以跑js，所以同样可以跑dom节点，用来进行网页抓取是再好不过了。 比如我们要批量抓取网页 “历史上的今天” 的内容。网站对dom结构的观察发现，我们只需要取到 .list li a的title值即可。因此我们利用高级选择器构建dom片段var d= '' var c = document.querySelectorAll('.list li a') var l = c.length; for(var i =0;i之后只需要让js代码在phantomjs里跑起来即可~var page = require('webpage').cre...
现今，网页抓取已经是一种人所共知的技术了，然而依然存在着诸多复杂性， 简单的网页爬虫依然难以胜任Ajax轮训、XMLHttpRequest，WebSockets，Flash Sockets等各种复杂技术所开发出来的现代化网站。 我们以我们在Hubdoc这个项目上的基础需求为例，在这个项目中，我们从银行，公共事业和信用卡公司的网站上抓取帐单金额，到期日期，账户号码，以及最重要的：近期账单的pdf。对于这个项目，我一开始采用了很简单的方案（暂时并没有使...
Node.js 抓取非 utf-8 的中文网页时会出现乱码问题，比如网易的首页编码是 gb2312，抓取时会出现乱码代码如下: var request = require(request) var url = http://www.163.com request(url, function (err, res, body) { console.log(body) })可以使用 iconv-lite 来解决 安装代码如下: npm install iconv-lite 同时我们顺带把 user-agent 修改一下，以防网站屏蔽：代码如下: var originRequest = require(request) var icon...
之前看了很多个版本，自己也搞一个。1. 支持指定保存到哪个目录 2. 按文章进行分目录存放 3. 支持设置并行下载上限 下次有空再搞个整站下载的。 package.json{"name": "me2sex-images","version": "0.0.1","description": "Batch download images from http://me2-sex.lofter.com","main": "index.js","author": "Fay","license": "MIT","dependencies": {"async": "^0.9.0","cheerio": "^0.18.0","mkdirp": "^0.5.0","request": "...
nodejs获取网页内容绑定data事件，获取到的数据会分几次相应，如果想全局内容匹配，需要等待请求结束，在end结束事件里把累积起来的全局数据进行操作！举个例子，比如要在页面中找有没有www.baidu.com，不多说了，直接放代码：//引入模块 var http = require("http"), fs = require('fs'), url = require('url'); //写入文件，把结果写入不同的文件 var writeRes = function(p, r) {fs.appendFile(p , r, function(err) {if(err)co...
大家在浏览Facebook的相册时有没有发现，页面局部刷新的同时地址栏的地址也改变了，而且不是hash的方式。它使用的就是HTML5 history新增的几个API，作为window的一个全局变量，在HTML4的时代history已不是什么新鲜的事物了。我们经常使用的就有 history.back()以及history.go() 。 我一直以为没有办法做到，直到前两天看到了Discourse创始人之一的Robin Ward的解决方法，不禁拍案叫绝。Discourse是一个论坛程序，严重依赖Ajax，但是...
效果如图使用了高德地图API：https://lbs.amap.com/api/javascript-api/example/marker/massmarksjs代码如下： function MapOperate() {}MapOperate.prototype.listensubmit = function () {var self = this;var submitBut = $(".submit-btn");var time_id = $("#time-id");var time_now = new Date(time_id.html());submitBut.click(function () {var btn = $(this);var data_id = btn.attr(data-id);var datas = self.format(tim...
前言 写了一个抓取图片的小玩意，分享一下。Github地址：https://github.com/focalhot/node.js-crawler （本地下载） 示例代码//依赖模块var fs = require(fs);var request = require("request");var cheerio = require("cheerio");var mkdirp = require(mkdirp);//目标网址var url = http://me2-sex.lofter.com/tag/美女摄影?page=;//本地存储目录var dir = ./images;//创建目录mkdirp(dir, function(err) {if(err){console.log(e...