python第一个爬虫的例子抓取数据到mysql，实测有数据
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python第一个爬虫的例子抓取数据到mysql，实测有数据，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1491字，纯文字阅读大概需要3分钟。
内容图文
python3.5
先安装库或者扩展
1 requests第三方扩展库
pip3 install requests
2 pymysql
pip3 install pymysql
3 lxml
pip3 install lxml
4 贴个代码
#
!/usr/bin/env python
#
coding=utf-8
import
requests
from bs4 import BeautifulSoup
import pymysql
print(‘连接到mysql服务器...‘)
db = pymysql.connect("localhost","root","root","python")
print(‘连接上了!‘)
cursor = db.cursor()
cursor.execute("DROP TABLE IF EXISTS COLOR")
sql = """CREATE TABLE COLOR (
Color CHAR(20) NOT NULL,
Value CHAR(10),
Style CHAR(50) )"""
cursor.execute(sql)
hdrs = {‘User-Agent‘:‘Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)‘}
url = "http://html-color-codes.info/color-names/"
r = requests.get(url, headers = hdrs)
soup = BeautifulSoup(r.content.decode(‘gbk‘, ‘ignore‘), ‘lxml‘)
trs = soup.find_all(‘tr‘) # 获取全部tr标签成为一个列表for tr in trs: # 遍历列表里所有的tr标签单项
style = tr.get(‘style‘) # 获取每个tr标签里的属性style
tds = tr.find_all(‘td‘) # 将每个tr标签下的td标签获取为列表
td = [x for x in tds] # 获取的列表
name = td[1].text.strip() # 直接从列表里取值
hex = td[2].text.strip()
# print u‘颜色: ‘ + name + u‘颜色值: ‘+ hex + u‘背景色样式: ‘ + style# print ‘color: ‘ + name + ‘\tvalue: ‘+ hex + ‘\tstyle: ‘ + style
insert_color = ("INSERT INTO COLOR(Color,Value,Style)""VALUES(%s,%s,%s)")
data_color = (name, hex, style)
cursor.execute(insert_color, data_color)
db.commit()
# print ‘******完成此条插入!‘print (‘爬取数据并插入mysql数据库完成...‘)
5 运行这个代码 ptyhon demo3.py
6 看看运行的结果
7 数据库里面看看结果
支持完成，成功，等会抓个别的例子 练练手
原文：http://www.cnblogs.com/baker95935/p/7680722.html
内容总结
以上是互联网集市为您收集整理的python第一个爬虫的例子抓取数据到mysql，实测有数据全部内容，希望文章能够帮你解决python第一个爬虫的例子抓取数据到mysql，实测有数据所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。