网上看到一个python练习题，要随机生成8位数的优惠券，并希望能保存到mysql数据库中。自己查资料写了下面的一段代码完成这个小作业#!/usr/bin/env python # -*- coding: utf-8 -*- #author qingmiao import MySQLdb as mdb import sys import random,stringdef random_code(code_length,code_long): i=1 result = [] while i<=code_length: salt = .join(random.sample(string.ascii_letters + string.digits,...
用途定期抓取淘宝数据库月报 发送邮件，保存到本地，最好是git中 发送元数据到mysql中，后期可以做成接口集成到运维平台中，便于查询使用方式 # 下载（必须） cd ~ && git clone https://github.com/naughtyGitCat/spider_taobao_mysql.git# 修改配置（必须） vim config.py# 安装crontab（可选） "0 10 8 * * source ~/.bashrc && python3 ~/spider_taobao_mysql/main.py" # 安装依赖 pip3 install logbook pip3 install html2tex...
1.首先，下载需要的模块requests, BeautifulSoup, datetime, pymysql（注意，因为我用的python3.7，不支持mysqldb了），具体的下载方法有pip下载，或者使用Anaconda版本python的童鞋可以使用conda下载。2.创建conndb,py，包含数据库的连接断开，增删改查等操作：#!/usr/bin/env python # -*- coding:utf-8 -*- import pymysqldef conn_db(): # 连接数据库函数conn = pymysql.connect(host=‘localhost‘,user=‘数据库用户名‘,p...
csdn博客部分截图博客链接：https://blog.csdn.net/kevinelstri/article/list/1? 此次目的是要爬取文章标题，发表文章时间以及阅读数量 1.浏览器打开网址，选择一个右击标题，审查元素。如图通过观察可以发现每篇文章有一个div，格式大多相同，就可以写爬取代码了 2.爬取文章标题，时间，阅读数的网页定位代码： count=driver.find_elements_by_xpath("//div[@class=‘article-list‘]/div[position()>1]/div/p[3]/span/span") ...
mysql -u root -p 以root权限登录，默认密码为空2 show databases; 列出所有数据库3 drop table if exists hst; 如果存在表hst则先删除4 create database hst; 创建数据库5 use hst; 进入数据库6 create table student(7 id int auto_increment primary key,8 name varchar(50),9 sex varchar(20), 10 date varchar(50), 1...
1.爬取豆瓣top 250电影名字、演员列表、评分和简介 2.设置随机UserAgent和Proxy 3.爬取到的数据保存到MongoDB数据库 items.py# -*- coding: utf-8 -*-import scrapyclass DoubanItem(scrapy.Item):# define the fields for your item here like:# 标题title = scrapy.Field()# 信息bd = scrapy.Field()# 评分star = scrapy.Field()# 简介quote = scrapy.Field()doubanmovie.py# -*- coding: utf-8 -*- import scrapy from douban.i...
coding: utf-8import pymssql import csv import datetime from file2zip import * # from send_email import * import plugs.FileHelper as fileHelper from file2zip import FileToZip #类名 from send_email import SendMail #类名class TestCSVInfo(fileHelper.BaseCheck, SendMail,FileToZip):report = ‘‘def __init__(self, month):SendMail.__init__(self, month)def get_sel_excel(self):print(" 开始链接数据库！")#...
文章目录 1、环境准备2、源代码1、环境准备 pip install requests pip install re pip install openpyxl2、源代码 import requests import re import openpyxl# 要爬取的网页 baseurl = 'https://zhuanlan.zhihu.com/p/357510629'# 创建Excel表并写入数据 wb = openpyxl.Workbook() # 创建Excel对象 ws = wb.active # 获取当前正在操作的表对象 # 往表中写入标题行,以列表形式写入！ ws.append(['事件名称', '时间', '地点名称'...
需求：有时候我们从数据文本中读入数据贮存在一个变量中会花很长时间，而这个变量我们又需要多次用到，为了避免重复读取数据浪费时间，我们可以在第一次读入数据后就把这个变量以文件的形式贮存在本地，以后我们需要用到的时候可以直接在读这个文件。 本文转自：https://www.jb51.net/article/199622.htm 操作： 1.在使用之前首先需要导入包：import pickle2.导入包后即可开始实质性操作，我们定义保存变量和读取变量的函数。 保存...
# Encoding: utf-8 author: yhwu version: 2021-04-19 function: numpy array write in the excel file import numpy as np import pandas as pd# define a as the numpy array a = np.array([1, 2, 3]) # transform a to pandas DataFrame a_pd = pd.DataFrame(a) # create writer to write an excel file writer = pd.ExcelWriter(a.xlsx) # write in ro file, sheet1 is the page title, float_format is the accuracy of data ...
import xlwtmy_workbook = xlwt.Workbook(encoding=utf-8) my_sheet1 = my_workbook.add_sheet(sheet1)for i in range(0, 9): # i:行号for j in range(0, i+1): # j:列号# 写入数据时注意：因为行号列号从0开始，而99乘法表从1开始，需要+1my_sheet1.write(i, j, %d * %d = %d %(i+1, j+1, (i+1)*(j+1)))my_workbook.save(99multiple.xls) 结果：
import requests from requests.exceptions import RequestException from lxml import etree import csv import re import time from urllib import parse import timedef get_page(url):"""获取网页的源代码:param url::return:"""try:headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',}response = requests.get(url, headers=headers)if res...
今天为大家介绍如何将自己喜欢的公众号的历史文章转成 PDF 保存到本地。前几天还有朋友再问，能不能帮把某某公众号的文章下载下来，因为他很喜欢这个号的文章，但由于微信上查看历史文章不能排序，一些较早期的文章翻很长时间才能找到，而且往往没有一次看不了几篇，下次还得再重头翻，想想就很痛苦。抓取的思路目前我在网上找了找，看到实现的方式大概分为以下三种：通过手机和电脑相连，利用 Fiddler 抓包获取请求和返回报文，...
上次为大家介绍了如果用 Python 抓取公号文章并保存成 PDF 文件存储到本地。但用这种方式下载的 PDF 只有文字没有图片，所以只适用于没有图片或图片不重要的公众号，那如果我想要图片和文字下载下来怎么办？今天就给大家介绍另一种方案——HTML。需解决的问题其实我们要解决的有两个问题：公众号里的图片没有保存到 PDF 文件里。公众号里的一些代码片段，尤其那些单行代码比较长的，保存成 PDF 会出现代码不全的问题。PDF 会自动分...
import sys from bs4 import BeautifulSoup #网页解析，获取数据 import re #正则表达式，进行文字匹配 import urllib.request,urllib.error #制定URL,获取网页数据 import xlwt #进行excel操作 import sqlite3 #进行SQLite 数据库操作def main():baseurl = "https://movie.douban.com/top250?start="#1.爬取网页datalist = getData(baseurl)savepath=r'.\\douban250.xls'#3.保存数据saveData(savepath,datalist)#创建正则表达式对...