首页 / 爬虫 / 爬虫存储器

爬虫存储器

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了爬虫存储器，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1269字，纯文字阅读大概需要2分钟。

内容图文

 

爬虫数据存储

 

1、 HTML正文抽取

 

1.1、存储为json

　　首先使用Requests访问http://seputu.com/,获取HTML文档内容，并打印内容，代码如下

 

 

 

 

 

 

 

 

 

1.2、爬虫异常发送邮件

开启网易邮件的第三方设置

技术分享图片

获取邮箱授权码

技术分享图片

 

        
构造MIMEText对象时需要3个参数:邮件正文，MIME的subtype,传入‘plain‘表示纯文本，最终的MIME就是‘text/plain‘,设置编码格式,utf-8编码保证多语言兼容性。
接着设置邮件的发件人、收件人和邮件主题等消息，并通过STMP发送出去。代码如下

 

技术分享图片 技术分享图片 
                #
                构造MIMEText对象时需要3个参数:邮件正文，MIME的subtype,传入‘plain‘表示纯文本，最终的MIME就是‘text/plain‘,设置编码格式,utf-8编码保证多语言兼容性。
                
#
                接着设置邮件的发件人、收件人和邮件主题等消息，并通过STMP发送出去。代码如下
                from email.header import Header
from email.mime.text import MIMEText
from email.utils import parseaddr,formataddr
import smtplib

def _format_adrr(s):
    print(s)
    name,addr=parseaddr(s)
    print(name,addr)
    return formataddr((Header(name,‘utf-8‘).encode(),addr))

from_addr=‘15200723046@163.com‘#发件人地址
password=‘951127chenyang‘#邮箱授权码
to_addr=‘794418323@qq.com‘
smtp_server=‘smtp.163.com‘#163网易邮箱服务器的地址
#设置邮件信息
msg=MIMEText(‘Python爬虫运行异常，异常信息为遇到HTTP 403‘,‘plain‘,‘utf-8‘) #发送的文本
msg[‘From‘]=_format_adrr(‘一号爬虫<%s>‘%from_addr)    #爬虫名
msg[‘To‘]=_format_adrr(‘管理员<%s>‘%to_addr)
msg[‘Subject‘]=Header(‘一号爬虫运行状态‘,‘utf-8‘).encode()
# 发送邮件
server=smtplib.SMTP(smtp_server,25)    #使用的邮件服务器地址和端口
server.login(from_addr,password)    #发件人的邮件和密码
server.sendmail(from_addr,[to_addr],msg.as_string())    #发送邮件
server.quit()     #关闭连接端口
发送邮件代码

 

原文：https://www.cnblogs.com/zcfx/p/9526000.html

内容总结

以上是互联网集市为您收集整理的爬虫存储器全部内容，希望文章能够帮你解决爬虫存储器所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1161441.html

来源：【匿名】