获取豆瓣https://movie.douban.com/top250的，第一页前25个电影名字我的答案：import requestsfrom bs4 import BeautifulSouphead={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36"}res=requests.get("https://movie.douban.com/top250",headers=head)soup=BeautifulSoup(res.content,"html.parser")for i in range(1,26):get=soup.select...
0 介绍 在互联网这个复杂的环境中，搜索引擎本身的爬虫，出于个人目的的爬虫，商业爬虫肆意横行，肆意掠夺网上的或者公共或者私人的资源。显然数据的收集并不是为所欲为，有一些协议或者原则还是需要每一个人注意。本文主要介绍关于爬虫的一些理论和约定协议，然后相对完整完成一个爬虫的基本功能。 1 协议 一般情况下网站的根目录下存在着一个robots.txt的文件，用于告诉爬虫那些文件夹或者哪些文件是网站的拥有者或者管理员不希望...
原文链接https://cuiqingcai.com/2621.html 前言 前面我们介绍了 BeautifulSoup 的用法，这个已经是非常强大的库了，不过还有一些比较流行的解析库，例如 lxml，使用的是 Xpath 语法，同样是效率比较高的解析方法。如果大家对 BeautifulSoup 使用不太习惯的话，可以尝试下 Xpath。 参考来源 lxml 用法源自 lxml python 官方文档，更多内容请直接参阅官方文档，本文对其进行翻译与整理。 lxml XPath 语法参考 w3school w3school 视频...
便捷地获取网站中的动态加载数据便捷实现模拟登录 selenium 基于浏览器自动化的一个模块pip install selenium下载一个谷歌浏览器的驱动程序：http://npm.taobao.org/mirrors/chromedriver/87.0.4280.88/ http://chromedriver.storage.googleapis.com/index.html （要翻墙）谷歌浏览器查看方法：打开谷歌浏览器，在地址栏输入chrome://version/通过selenium实例化一个浏览器对象： from selenium import webdriver #实例化一个浏览器...
Python爬虫之数据存储数据爬取后，如何存储呢，本文将讲解数据存储到excel、txt、数据库的常用操作结果展示这里的结果是直接print出来，如何持久化存储呢for title,actor,time,score,count,comment in zip(titles,actors,times,scores,counts,comments):actor = actor.strip()time = time.strip().split()[0]print(title,actor,time,score,count,comment)2. 数据存储 模式描述w打开一个文件只用于写入。如果该文件已存在则打开文件...
写在前言 爬虫简介 协议以及相关信息 requests模块 实战案例写者有话说 本博客仅供学习交流使用，一些具体步骤操作代码中每一步都有详细注释，因为避免进入法律红线，所以一些具体步骤没有截图，敬请谅解。尊请各位遵守法律法规，谢谢支持！！！ 如果需求可访问GitHub查看源项目：PythonRetiple关于爬虫 在法律中是不被禁止、具有违法风险爬虫不能干扰被访问网站的正常运营爬虫不能抓取收到法律保护的特定类型的数据或信息如何在使...
上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫 Beautiful Soup，有了它我们可以很方便地提取出 HTML 或 XML 标签中的内容，实在是方便，这一节就让我们一起来感受一下 Beautiful Soup 的强大吧。 1. Beautiful Soup 的简介 简单来说，Beautiful Soup 是 python 的一个...
1.使用Web框架 了解了WSGI框架，我们发现：其实一个Web App，就是写一个WSGI的处理函数，针对每个HTTP请求进行响应。 但是如何处理HTTP请求不是问题，问题是如何处理100个不同的URL。 每一个URL可以对应GET和POST请求，当然还有PUT、DELETE等请求，但是我们通常只考虑最常见的GET和POST请求。 一个最简单的想法是从environ变量里取出HTTP请求的信息，然后逐个判断： def application(environ, start_response):method = environ['R...
写在前面 咸鱼的第二次自费赠书活动已经完美落幕，谢谢大家的支持。本次获奖的幸运儿是：请以上三位朋友在72小时内联系我选书，逾期没有联系我的，就只好送给其他小伙伴了。 赞赏送书活动也完美落幕了，感谢28位小伙伴的打赏，希望你们能喜欢咸鱼送出的铁粉福利。下次送书，你懂得~赞赏送书截图 通用爬虫套路 在刚刚接触Python爬虫的时候常常会有无从下手的感觉，于是咸鱼整理了简单爬虫的通用套路，没有思路的时候看一下吧。准备u...
在开发Python应用程序的时候，系统安装的Python3只有一个版本：3.4。所有第三方的包都会被pip安装到Python3的site-packages目录下。 如果我们要同时开发多个应用程序，那这些应用程序都会共用一个Python，就是安装在系统的Python 3。如果应用A需要jinja 2.7，而应用B需要jinja 2.6怎么办？ 这种情况下，每个应用可能需要各自拥有一套“独立”的Python运行环境。virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。 首...
1 数据源 知乎 话题『美女』下所有问题中回答所出现的图片 2 抓取工具 Python 3，并使用第三方库 Requests、lxml、AipFace，代码共 100 + 行 3 必要环境 Mac / Linux / Windows （Linux 没测过，理论上可以。Windows 之前较多反应出现异常，后查是 windows 对本地文件名中的字符做了限制，已使用正则过滤），无需登录知乎（即无需提供知乎帐号密码），人脸检测服务需要一个百度云帐号（即百度网盘 / 贴吧帐号） 4 人脸检测库 AipFa...
1.datetime datetime是Python处理日期和时间的标准库。 获取当前日期和时间 我们先看如何获取当前日期和时间： >>> from datetime import datetime >>> now = datetime.now() # 获取当前datetime >>> print(now) 2015-05-18 16:28:07.198690 >>> print(type(now)) <class 'datetime.datetime'>注意到datetime是模块，datetime模块还包含一个datetime类，通过from datetime import datetime导入的才是datetime这个类。 如果仅导入im...
今日网站： aHR0cHM6Ly9zZWFyY2guZG91YmFuLmNvbS9ib29rL3N1YmplY3Rfc2VhcmNoP3NlYXJjaF90ZXh0PSVFNCVCOCU5QyVFOSU4NyU4RSVFNSU5QyVBRCVFNSU5MCVCRSZjYXQ9MTAwMQ== 抓包与定位加密位置 上面就是这次需要分析的网站了，先简单看看抓包的结果。【图1-1】图1-1 抓包很清楚没什么幺蛾子，这次分析的网站加密的地方其实是他的搜索结果。 通过查看网页源码可以看到加密的地方。【图1-2】图1-2 这里的 window._ _DATA 的值就是搜索的结果。...
这次把咸鱼遇到的 RSA 的案例做了汇总，这个汇总系列会持续更新，攒到一定数量的网站就发一次，关于 RSA 的加解密可以参考之前的文章，这里不做赘述。 实战案例浅析JS加密 - 基础总结篇 XX 门户 aHR0cHM6Ly9sb2dpbi4xMDA4Ni5jbi9odG1sL2xvZ2luL3RvdWNoLmh0bWw= 请求分析 分析加密参数 password加密定位 搜索参数 password通过全局搜索找到一系列有关的文件，向下翻可以看到有类似 encrypt 这里加密的字样，我们追进去看看。 打上断...
今日份网站( 由读者提供网址 ) aHR0cDovL2FjLnNjbW9yLmNvbS8= 抓包分析与加密定位 先来看看加密的内容密文【图1-1】图1-1 看过前面文章的朋友就会说，这个和 Base64 的加密结果很像，有猜想就直接搞起呗。【图1-2】 图1-2 解密的结果是一串乱码，说明不是 Base64 ，继续找找有没有别的点可以分析。 我们可以看到这里所有的加密字符串都是 autourl 数组的一个元素，那我们搜索 autourl 试试。【图1-3】 图1-3 只有两个搜索结果，和现...