Tidy 和 HTML 解析 Beautiful Soup 屏幕抓取：是通过程序下载网页并从中提取信息的过程。 简单来见：下载数据并对其进行分析 思路：可使用urllib来获取网页的HTML代码，再使用正则表达式从中提取信息。 例如：假设要从python Job Board（http://python.org/jobs）提取招聘单位的名称和网站。 通过查看该网站的源代码，可发现类似于下面的链接中找到名称和URL：<a href="/jobs/1970/">Python Engineer</a> 如下：简单的...
微信：一个提供即时通讯服务的应用程序，更是一种生活方式，超过数十亿的使用者，越来越多的人选择使用它来沟通交流。 不知从何时起，我们的生活离不开微信，每天睁开眼的第一件事就是打开微信，关注着朋友圈里好友的动态，而朋友圈中或虚或实的状态更新，似乎都在证明自己的“有趣”，寻找那份或有或无的存在感。有人选择在朋友圈记录生活的点滴，有人选择在朋友圈展示自己的观点。有时我们想去展示自己，有时又想去窥探着别人的生...
写在前面 本篇博客只是为练习pyppeteer的用法，其中的实践案例用其他的更简单方法也可以实现。 最近也是看完了崔庆才爬虫52讲里面pyppeteer的部分，就想着实战演练一遍（主要是里面的案例无法使用，哭唧唧），找了一下经常爬取的网站，例如淘宝，知网什么的，但是这些网站都需要登录，难度偏大一点，就给否决掉了，最后选到了纵横小说排行榜这个网站，因为这个网站没有什么反爬，不需要登录而且比较符合初始页加详情页这样常用的抓...
Python爬虫可以说是好玩又好用了。现想利用Python爬取网页股票数据保存到本地csv数据文件中，同时想把股票数据保存到MySQL数据库中。需求有了，剩下的就是实现了。 在开始之前，保证已经安装好了MySQL并需要启动本地MySQL数据库服务。提到安装MySQL数据库，前两天在一台电脑上安装MySQL5.7时，死活装不上，总是提示缺少Visual Studio 2013 Redistributable，但是很疑惑，明明已经安装了呀，原来问题出在版本上，更换一个版本后就可...
python抓取jenkins slave总数、online数、offline数写道mysql并展现到grafana： mysql -u root -pxxxxcreate database jenkins default character set utf8;create table slaves(time datetime,online float,offline float,total float);grant all on ming.* to aa@10.0.0.2 identified by xxxx;exitapt-get install python-jenkins apt-get install python-pymysql vi aa.py #!/usr/bin/python #coding:utf-8 import jenkinsimpor...
redis是一个key-value存储结构。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set 有序集合)和hash（哈希类型），数据存储如下图分析为了分别为ID存入多个键值对，此次仅对Hash数据进行操作，例子如下import os,sys import requests import bs4 import redis#连接Redis r = redis.Redis(host=127.0.0.1,password=123456,port=6379)html = https://www.dongmanmanhua....
用途定期抓取淘宝数据库月报 发送邮件，保存到本地，最好是git中 发送元数据到mysql中，后期可以做成接口集成到运维平台中，便于查询使用方式 # 下载（必须） cd ~ && git clone https://github.com/naughtyGitCat/spider_taobao_mysql.git# 修改配置（必须） vim config.py# 安装crontab（可选） "0 10 8 * * source ~/.bashrc && python3 ~/spider_taobao_mysql/main.py" # 安装依赖 pip3 install logbook pip3 install html2tex...
每一个穷人都有一个发财的梦想。 于是彩票这个东西，诞生了。 随之而来 各种预测方式千奇百怪 十二生肖说，星座说，图象说，等等 今天，我摸了摸干瘪的口袋，怀揣着一颗求富的心，试着抓取了2004年到2018年所有的七星彩数据。 最后，用MATLAB最简单的BP神经网络（SGD），进行了预测。 结果 嘿嘿嘿，让我先放几张图片讲讲过程，等会儿再说结果。 为了大家的阅读体验，先放图片。 这是我想爬取的页面： ...
通过open cv 实现抓取摄像头图片,或录像 1, 抓取图片 import cv2 import numpy as np import sys import time #import datetime as d #c=time.time() #t=time.ctime(c) #获得当前系统时间1 t=time.strftime("%Y%m%d%H%M%S",time.localtime())#获得当前系统时间2 videoname=str(t)+.avi #fourcc=cv2.VideoWriter_fourcc(M,P,4,2) fourcc = cv2.cv.CV_FOURCC(*XVID) out=cv2.VideoWriter(videoname,fourcc,10,(1280,...