首页 / MYSQL / scrapy爬取数据后存储在本地mysql数据库中

scrapy爬取数据后存储在本地mysql数据库中

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了scrapy爬取数据后存储在本地mysql数据库中，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1040字，纯文字阅读大概需要2分钟。

内容图文

话不多说，直接上代码

             1
            #
             -*- coding: utf-8 -*-
             2
             3
            #
             Define your item pipelines here
             4
            #

             5
            #
             Don‘t forget to add your pipeline to the ITEM_PIPELINES setting
             6
            #
             See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
             7
            import
             pymysql

             8
            class
             MysqlPipeline(object):

             9
            """
            10
                同步操作

            11
            """
            12
            13
            def
            __init__
            (self):

            14
            #
             建立连接
            15         self.conn = pymysql.connect(host=‘localhost‘,user=‘root‘,passwd=‘‘,db=‘spider_test‘,charset=‘utf8‘,port=3306)  # 有中文要存入数据库的话要加charset=‘utf8‘16# 创建游标17         self.cursor = self.conn.cursor()
1819def process_item(self, item, spider):
20# sql语句21         insert_sql = """22        insert into test_zxf(title,url,detail,answer) VALUES(%s,%s,%s,%s)
23"""24# 执行插入数据到数据库操作25         self.cursor.execute(insert_sql, (item[‘title‘], item[‘url‘], item[‘detail‘], item[‘answer‘]))
26# 提交，不进行提交无法保存到数据库27        self.conn.commit()
2829def close_spider(self, spider):
30# 关闭游标和连接31        self.cursor.close()
32         self.conn.close()

注：

1、需要先在数据库中建立好数据库，表，字段

2、setting文件设置pipline

 

如果对你有帮助请给个赞，谢谢~

原文：https://www.cnblogs.com/ClarenceSun/p/13200216.html

内容总结

以上是互联网集市为您收集整理的scrapy爬取数据后存储在本地mysql数据库中全部内容，希望文章能够帮你解决scrapy爬取数据后存储在本地mysql数据库中所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1150545.html

来源：【匿名】