【Python】抓取淘宝数据库月报，发送邮件，本地存档，保存元信息

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了【Python】抓取淘宝数据库月报，发送邮件，本地存档，保存元信息，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1430字，纯文字阅读大概需要3分钟。

内容图文

用途

• 定期抓取淘宝数据库月报
• 发送邮件，保存到本地，最好是git中
• 发送元数据到mysql中，后期可以做成接口集成到运维平台中，便于查询

使用方式

# 下载（必须）
cd ~ && git clone https://github.com/naughtyGitCat/spider_taobao_mysql.git

# 修改配置（必须）
vim config.py

# 安装crontab（可选）
"0 10 8 * * source ~/.bashrc && python3 ~/spider_taobao_mysql/main.py" 

# 安装依赖
pip3 install logbook
pip3 install html2text
pip3 install pymysql
pip3 install requests_html

# 创建元信息库表（可选）
mysql -d mysql -u root -p < taobao_monthly_report.sql 

# 执行程序
python3 main.py

完成情况:

• 定期抓取用crontab来做，不放到本脚本中
• 发送邮件，保存到本地(html)皆完成
• 保存元数据

问题

• 为什么邮件正文只有前言部分？因为邮件有反垃圾措施，全文容易被屏蔽
• 为什么收件人只有一个？因为邮件有反垃圾措施，多人容易被屏蔽，可以发送到同一个邮箱中，然后自动转发
• 可以也可以保存md格式到本地，但是我的md编辑器好像加载不了图片，就是用了html的格式本地保存
• 本地保存以及发送html时都损失了样式，不太美观，但我在邮件正文中增加了原文链接。
• 文章中的图片没有本地化，理论上是有图片失效的问题的。但考虑到各位都有阅读后及时总结整理的好习惯，也就无所谓了。

注意

• 一个月运行一次就够了，可以放到crontab中每月执行一次，自动抓取上个月的文章内容
• 阿里的页面是到下个月后一次性放出上个月所有的文章，总数目前看基本是10篇，
• 如果发现其一次放出了>10篇的文章，请联系我进行更改

依赖包

• logbook 日志
• html2text 格式转换为md
• pymysql 上传元数据
• requests_html 抓取网页的正文

TODO:

• 缓存本地图片
• 把insert into 改成replace into

内容总结

以上是互联网集市为您收集整理的【Python】抓取淘宝数据库月报，发送邮件，本地存档，保存元信息全部内容，希望文章能够帮你解决【Python】抓取淘宝数据库月报，发送邮件，本地存档，保存元信息所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---