5.1 文件存储 先用request把源码获取，再用解析库解析，保存到文本 1- txt 文本打开方式：file = open(explore.txt, a, encoding=utf-8) #a代表以追加的方式写入文本file.write(\n.join([question, author, answer]))file.write(\n + = * 50 + \n)file.close()r 只读rb 二进制只读r+ 读写rb+ 二进制读写w 只用于写入wb 二进制写入w+ 读写，存在覆盖，不存在新建a?追加a+ 追加读写 2- Json JavaScript 对象标记，通过对象和数组的组...
写在前面 本篇博客只是为练习pyppeteer的用法，其中的实践案例用其他的更简单方法也可以实现。 最近也是看完了崔庆才爬虫52讲里面pyppeteer的部分，就想着实战演练一遍（主要是里面的案例无法使用，哭唧唧），找了一下经常爬取的网站，例如淘宝，知网什么的，但是这些网站都需要登录，难度偏大一点，就给否决掉了，最后选到了纵横小说排行榜这个网站，因为这个网站没有什么反爬，不需要登录而且比较符合初始页加详情页这样常用的抓...
MySQL什么是MySQLMySQL 的一些特性安装Mysqlwindows 安装数据库的启动基础操作数据库操作表操作数据操作查询操作什么是MySQL MySQL是一个关系型数据库管理系统，在 WEB 应用方面，MySQL是一个好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。 MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 My...
爬虫第一步：新建项目选择合适的位置，执行命令：scrapy startproje xxxx（我的项目名：douban）爬虫第二步：明确目标豆瓣电影排行url：https://movie.douban.com/top250?start=0， 分析url后发现srart=后面的数字，以25的步长递增，最大为225，所以可以利用这个条件来发Request请求 本文只取了三个字段，电影名、评分和介绍，当然你想去更多信息也是可以的item["name"]:电影名 item["rating_num"]:评分 item["inq"]:介绍用xpath提...
常用数据库 mongoDB4.0: 下载:https://www.mongodb.com/ windows安装、Linux安装见: https://www.runoob.com/mongodb/mongodb-tutorial.html 注意:使用前修改bin目录下配置文件mongodb.cfg,删除最后一行的mp字段 1. 启动服务与终止服务 net start mongodb net stop mongodb 2.创建管理员用户 use admin db.createUser({user:"root",pwd:"123456",roles:["root"]}) 3.使用账户密码连接mongodb mongo -u admin root -p user 123456 -...
Python爬虫可以说是好玩又好用了。现想利用Python爬取网页股票数据保存到本地csv数据文件中，同时想把股票数据保存到MySQL数据库中。需求有了，剩下的就是实现了。 在开始之前，保证已经安装好了MySQL并需要启动本地MySQL数据库服务。提到安装MySQL数据库，前两天在一台电脑上安装MySQL5.7时，死活装不上，总是提示缺少Visual Studio 2013 Redistributable，但是很疑惑，明明已经安装了呀，原来问题出在版本上，更换一个版本后就可...
Python对HTML正文抽取后存储为两种格式：JSON和CSV 一、存储为JSON： Python对JSON文件的操作分为编码和解码，通过JSON模块来实现。编码过程是把Python对象转换成JSON对象的一个过程，常用的两个函数是dumps和dump函数。两个函数的唯一区别就是dump把Python对象转换成JSON对象，并将JSON对象通过fp文件流写入文件中，而dumps则是生成了一个字符串。 dumps(obj, skipkeys=False, ensure_ascii=True, check_circular=True,allow_nan=...
1.连接MongoDB 连接 MongoDB 我们需要使用 PyMongo 库里面的 MongoClient，一般来说传入 MongoDB 的 IP 及端口即可，第一个参数为地址 host，第二个参数为端口 port，端口如果不传默认是 27017。import pymongo client = pymongo.MongoClient(host=localhost, port=27017) # client = MongoClient(mongodb://localhost:27017/)2.指定数据库import pymongo client = pymongo.MongoClient(host=localhost, port=27017) # client = Mo...
登录 目前新浪微博登录修改登录加密方法，使用rsa进行加密。 以下为个人实现登录的过程，不过得到cookie出现了问题，使用urllib2可以有效抓取 但是httplib2对cookie操作很恶心需要自己处理 终于搞定了用httplib2抓取新浪微博，不知道其他微博是否适用，，， 下面就是登录的介绍： 1，安装rsa模块 下载地址：https://pypi.python.org/pypi/rsa/3.1.1 rsa模块文档地址：http://stuvel.eu/files/python-rsa-doc/index.html 2，获得...
爬虫数据存储——安装docker和ElasticSearch(基于Centos7) 先决条件 操作系统要求 要安装Docker Engine-Community，您需要一个CentOS 7的维护版本。不支持或未测试存档版本。 该centos-extras库必须启用。默认情况下，此存储库是启用的，但是如果已禁用它，则需要 重新启用它。 overlay2建议使用存储驱动程序。 卸载旧版本 较旧的Docker版本称为docker或docker-engine。如果已安装这些程序，请卸载它们以及相关的依赖项。 $ sudo y...