爬前叨叨 缘由 今天本来没有打算抓取这个网站的，无意中看到某个微信群有人问了一嘴这个网站，想看一下有什么特别复杂的地方，一顿操作下来，发现这个网站除了卡慢，经常自己宕机以外，好像还真没有什么特殊的....爬取网址 http://cgk.kxjs.tj.gov.cn/navigation.do有很明显的分页表示 列表如下 Request URL: http://cgk.kxjs.tj.gov.cn/navigation.do Request Method: POST 参数说明,里面两个比较重要的 pageNum 页码，numPerPage...
这篇文章紧接着《使用Python来分离或者直接抓取pcap抓包文件中的HTTP流》展开，那篇文章是昨天写的，今天早上突然又想实现一个直接抓包的程序，于是天没亮就又爬起来了... 本文的代码以及前文的代码在github的地址：https://github.com/marywangran/Python-Http-cap-demux/tree/master ??????? Python有很多库可以实现抓包和分析包，典型就是pypcap用来抓包，dpkt用来分析，关于这两个库的安装，我有一些随笔，虽然这些对于一个Pyt...
Python是世界上最好的语言！它使用不可见的制表键作为其语法的一部分！Vim和Emacs的区别在于，它可以帮助乌干达的儿童...不讨论哲学，不看第一印象，也没有KPI相逼，但是Python真的做到了”你不用操心语言本身，只需要关注你自己的业务逻辑需求“！我的需求比较简单，那就是：使用tcpdump/tshark抓取且仅抓取一类TCP流，该TCP流是HTTP流，访问特定的URL，如果用我们熟悉的tcpdump命令来表示，它可能是以下的样子：tcpdump -i eth0 ...
Python 3.X 要使用urllib.request 来抓取网络资源。 最简单的方式：#coding=utf-8 import urllib.request response = urllib.request.urlopen(http://python.org/) buff = response.read() #显示 html = buff.decode("utf8") response.close() print(html) 使用Request的方式：#coding=utf-8 import urllib.request req = urllib.request.Request(http://www.voidspace.org.uk) response = urllib.request.urlopen(req) buff = ...
分析ajax请求格式，模拟发送http请求，从而获取网页代码，进而分析取出需要的数据和图片。这里分析ajax请求，获取cosplay美女图片。 登陆今日头条，点击搜索，输入cosplay 下面查看浏览器F12，点击XHR，这里能截取ajax请求，由于已经请求过该页面，所以点击F5，刷新，如下图下面我们点击name下的链接，查看headers看到请求信息可以看到请求的url为https://www.toutiao.com/search_content/?offset=0&format=json&keyword=cosplay&a...
抓取文章的链接，访问量保存到本地 1 #coding=utf-82 import requests as req3 import re4 import urllib5 from bs4 import BeautifulSoup6 import sys7 import codecs8 import time9 10 11 r=req.get(https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000, 12 headers={User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.32...
requests+正则表达式抓取猫眼电影top100 一.首先我们先分析下网页结构 可以看到第一页的URL和第二页的URL的区别在于offset的值，第一页为0，第二页为10，以此类推。 二.<dd>标签的结构（含有电影相关信息） 三、源代码import requests import re import json from requests.exceptions import RequestException#获取页面源代码 def get_one_page(url,headers):try:response = requests.get(url,headers=headers)if resp...
在面对登陆问题的网站例如向拉钩，大街网，直聘等需要进行模拟登陆的问题， 这里我才用的selenium+chrome的方式，进行获取cookies 然后转化成requests中的cookie 再进行具体的内容的抓取 这里里面遇到问题如下： 1.登陆时候的验证码识别，这里我遇到的是滑块验证码与点击式验证码主要的解决方式借助第三方的平台识别，后面上传具体的代码 以及识别的原理 2.在进行requests访问的抓取的时候，需要...
我主要是用了两个方法来抽去正文内容，第一个方法，诸如xpath，css，正则表达式，beautifulsoup来解析新闻页面的时候，总是会遇到这样那样各种奇奇怪怪的问题，让人很头疼。第二个方法是后面标红的，主要推荐用newspaper库 在导师公司，需要利用重度搜索引擎来最快的获取想要的内容，再建立语料库，于是我用python 的 beautifulsoup 和urllib 来抓取一些网页内容来做训练语料。 搜索关键词是 “人名 公司 说”，其实只要三步就可以...
newspaper用于爬取各式各样的新闻网站 1，安装newspaperpip install newspaper3k2,直接上代码from newspaper import Article url = 你想要爬取的网站url news = Article(url, language=zh) news .download() #先下载 news .parse() #再解析 print(news.text) #新闻正文 print(news.title) #新闻标题 print(news.html) #未修改的原始HTML print(news.authors) #新闻作者 print(news.top_image) #本文的“最佳图像”的URL pri...
通过前面的文章已经学习了基本的爬虫知识，通过这个例子进行一下练习，毕竟前面文章的知识点只是一个 一个单独的散知识点，需要通过实际的例子进行融合。 分析网站 其实爬虫最重要的是前面的分析网站，只有对要爬取的数据页面分析清楚，才能更方便后面爬取数据 目标站和目标数据目标地址：http://www.hshfy.sh.cn/shfy/gweb/ktgg_search.jsp目标数据：目标地址页面的中间的案开庭公告数据 对数据页面分析从打开页面后可以看到默认的...
之前在公司处理过18年的所有机器交付进度的信息，要将所有未交付的机器过滤出来并做统一处理，用Python爬下来并写入Excel表格确实是个好办法。 首先介绍一个处理这个问题最笨的办法：用浏览器打开每个季度的剩余未交付的机器列表，挨行复制粘贴到Excel表格里。。然后每处理完一台就删掉记录。。。这种方法对于小学生确实比较好使，也仅限于小学生了。。当然得升级一下。 然后升级版就是：直接request模块爬下来未交付的机器然...
之前在公司处理过18年的所有机器交付进度的信息，要将所有未交付的机器过滤出来并做统一处理，用Python爬下来并写入Excel表格确实是个好办法。 首先介绍一个处理这个问题最笨的办法：用浏览器打开每个季度的剩余未交付的机器列表，挨行复制粘贴到Excel表格里。。然后每处理完一台就删掉记录。。。这种方法对于小学生确实比较好使，也仅限于小学生了。。当然得升级一下。 然后升级版就是：直接request模块爬下来未交付的机器...
能打开浏览器的模块webbrowser，它的open函数可以做一些有意思的事情。例如从sys.argv或者剪切板读入地址，然后直接在Google地图打开相应的地图页面。 import webbrowser #python模块，非第三方模块，不需要下载，直接使用 import pyperclip #第三方模块 #启用电脑默认的浏览器打开网页 address = pyperclip.paste() webbrowser.open(http://www.google.cn/maps/place/+address)这个模块平时使用的不多，只是在书上看到了才试了试。...
JavaScript 动态渲染的页面不止 Ajax 这一种 另外有的ajax渲染接口含有很多加密参数，难以直接找出其规律 通过模拟浏览器运行的方式来实现，Selenium、Splash、PyV8、Ghost 等 7.1 Selenium的使用 自动化测试工具，支持多种浏览器。爬虫中主要用来解决js渲染问题 用 Selenium 来驱动浏览器加载网页的话，可以直接拿到JavaScript 渲染的结果了，加密不用再担心。 1- 声明浏览器对象browser = webdriver.Chrome()2- 访问页面browser....