首页 / MYSQL / 爬取维基百科人物介绍,并使用pymysql存储到数据库

爬取维基百科人物介绍,并使用pymysql存储到数据库

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了爬取维基百科人物介绍,并使用pymysql存储到数据库，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1617字，纯文字阅读大概需要3分钟。

内容图文

代码如下:

            from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
import datetime
import random
import pymysql.cursors
 
# Connect to the database
connection = pymysql.connect(host=‘127.0.0.1‘,
                             port=3306,
                             user=‘root‘,
                             password=‘数据库密码‘,
                             db=‘scraping‘,
                             charset=‘utf8mb4‘,
                             cursorclass=pymysql.cursors.DictCursor)

cur = connection.cursor()

random.seed(datetime.datetime.now())

def store(title,content):
    cur.execute("INSERT INTO pages(title,content)values(\"%s\",\"%s\")",(title,content))
    cur.connection.commit()

def getLinks(articleUrl):
    html = urlopen("http://en.wikipedia.org"+articleUrl)
    bsObj = BeautifulSoup(html,"html.parser")
    title = bsObj.find("h1").get_text()
    print(title)
    content = bsObj.find("div",{"id":"mw-content-text"}).find("p").get_text()
    print(content)
    store(title,content)
    return bsObj.find("div",{"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?!:).)*$"))

links = getLinks("/wiki/Kevin_Bacon")try:
    while len(links) > 0 :
        newArticle = links[random.randint(0, len(links)-1)].attrs["href"]
        #print(newArticle)
        links = getLinks(newArticle)


finally:
    cur.close()
    connection.close()

结果截图

技术分享

 

注:

　　由于维基百科上我们会遇到各种各样的字符,所以最好通过下面四条语句让数据库支持unicode:

            alter
            database scraping characterset= utf8mb4 collate = utf8mb4_unicode_ci;

　　　　altertable pages  converttocharacterset= utf8mb4 collate = utf8mb4_unicode_ci;

　　　　altertable pages change title title varchar(200) characterset= utf8mb4 collate = utf8mb4_unicode_ci;

　　　　altertable pages change content content varchar(10000) characterset= utf8mb4 collate = utf8mb4_unicode_ci;

 

原文：http://www.cnblogs.com/ncuhwxiong/p/7580128.html

内容总结

以上是互联网集市为您收集整理的爬取维基百科人物介绍,并使用pymysql存储到数据库全部内容，希望文章能够帮你解决爬取维基百科人物介绍,并使用pymysql存储到数据库所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1182391.html

来源：【匿名】