首页 / 爬虫 / Python之旅 3·数据爬虫常见问题

Python之旅 3·数据爬虫常见问题

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python之旅 3·数据爬虫常见问题，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1208字，纯文字阅读大概需要2分钟。

内容图文

1·解决python爬虫requests.exceptions.SSLError: HTTPSConnectionPool(host=‘XXX‘, port=443)问题

方法：先检查pip有没安装cryptography，pyOpenSSL，certifi要是没有先安装
　　pip install cryptography
　　pip install pyOpenSSL
　　pip install certifi

2·连接MySQL数据库问题

方法：

            import
             pymysql

            #
             建立数据库连接
            def
             getDBConnection():
    
            print(‘***************getDBConnection start‘)
    host = ‘127.0.0.1‘
    port = 3306
    user = ‘root‘
    password = ‘123‘
    db = ‘music‘
    charset = ‘utf8‘

    DBConnection = pymysql.connect(host=host, port=port, user=user, password=password, db=db, charset=charset)
    return DBConnection

# 保存音乐信息到数据库中def saveMusicToDB(m_id, m_name, m_link, m_type, m_singer, m_album, m_click, m_collect):
    print(‘**********************saveMusicToDB start‘)
    DBConnection = getDBConnection()
    print(‘dbconnection=‘ + str(DBConnection))
    # 创建 游标
    cursor = DBConnection.cursor()
    sql = ‘insert into orgmusic(m_id,m_name,m_link,m_type,m_singer,m_album,m_click,m_collect) values(%s,%s,%s,%s,%s,%s,%s,%s)‘
    cursor.execute(sql, (m_id, m_name, m_link, m_type, m_singer, m_album, m_click, m_collect))

3·爬虫所需包

方法： 

            import
             urllib.request

            from bs4 import BeautifulSoup
import pymysql
import datetime
import random
import gzip

 

 

 

 

Python之旅 3·数据爬虫常见问题

原文：https://www.cnblogs.com/herotxl/p/15194954.html

内容总结

以上是互联网集市为您收集整理的Python之旅 3·数据爬虫常见问题全部内容，希望文章能够帮你解决Python之旅 3·数据爬虫常见问题所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1121458.html

来源：【匿名】