首页 / PYTHON / python爬虫（二）

python爬虫（二）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python爬虫（二），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含19870字，纯文字阅读大概需要29分钟。

内容图文

一、BeautifulSoup库的使用

1.对beautifulSoup库的理解

HTML文档可以看作是有很多个标签相互嵌套形成的“标签树”，而BeautifulSoup库是解析、遍历、维护“标签树”的功能库。

2.BeautifulSoup库的基本使用 

            #
            HTML文档《==》标签树《==》BeautifulSoup类
            from bs4 import BeautifulSoup
soup=BeautifulSoup("<html>data</html>","html.parser") #“html.parser”是beautiflSoup库解析器
soup2=BeautifulSoup(open("D://demo.html"),"html.parser")

BeautifulSoup对应一个HTML/XML文档的全部内容

3.BeautifulSoup库解析器

  • bs4的HTML解析器：BeautifulSoup(mk,"html.paarser")，需安装bs4库
  • lxml的解析器：BeautifulSoup(mk,"lxml")，需安装lxml库
  • lxml的解析器：BeautifulSoup(mk,"xml")，需安装lxml库
  • html5lib的解析器：BeautifulSoup(mk,"html5lib")，需安装html5lib库

4.BeautifulSoup类的基本元素

对HTML标签的内容的概括：

技术分享图片

  • Tag：标签，最基本的信息组织单元，分别用<></>标明开头和结尾。任何存在HTML语法中的标签可以通过soup.<tag>访问获得，当HTML文档中存在多个相同<tag>对应内容时，soup.<tag>返回第一个，bs4.element.Tag类型
  • Name：标签的名字，<p>..</p>的名字是“p”，格式：<tag>.name，字符串类型
  • Attributes：标签的属性，字典形式组织，格式：<tag>.attrs，字典类型
  • NavigableString：标签内非属性字符串，<>..</>中字符串，格式：<tag>.string，bs4.element.NavifableString类型
  • Comment：标签内字符串的注释部分，一种特殊的Comment类型，格式同上，bs4.element.Comment类型

例子：

技术分享图片 技术分享图片 
                <
                html
                ><
                head
                ><
                title
                >This is a python demo page</title></head><body><p class="title"><b>The demo python introduces several python courses.</b></p><p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p></body></html>
demo.html
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.title)   #<title>This is a python demo page</title>print(type(soup.title))   #<class ‘bs4.element.Tag‘>
Tag
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.title.name)   #titleprint(type(soup.title.name))   #<class ‘str‘>
Name
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.a)   #<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>print(soup.a.attrs) #{‘href‘: ‘http://www.icourse163.org/course/BIT-268001‘, ‘class‘: [‘py1‘], ‘id‘: ‘link1‘}print(type(soup.a.attrs))   #<class ‘dict‘>print(soup.a.attrs[‘href‘]) #http://www.icourse163.org/course/BIT-268001
Attributes
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.p)   #<p class="title"><b>The demo python introduces several python courses.</b></p>print(soup.p.string)    #跨域获取,The demo python introduces several python courses.print(type(soup.p.string))  #<class ‘bs4.element.NavigableString‘>
Navigablestring
技术分享图片 技术分享图片 
demo="<b><!--The demo python introduces several python courses. --></b>""<p>The demo python introduces several python courses.</p>"
soup=BeautifulSoup(demo,"html.parser")
print(soup.b)       #<b><!--The demo python introduces several python courses. --></b>print(soup.b.string)    #The demo python introduces several python courses.print(type(soup.b.string))      #<class ‘bs4.element.Comment‘>print(soup.p)       #<p>The demo python introduces several python courses./p>print(soup.p.string)    #The demo python introduces several python courses.print(type(soup.p.string))  #<class ‘bs4.element.NavigableString‘>#使用.string方法获取注释和非属性字符串内容得到的结果是相同的
#b和p标签的例子说明，可以利用标签内容的类型来区分注释和非属性字符串
Comment

5.标签树的遍历

（1）HTML基本格式

技术分享图片

（2）标签树的下行遍历

  • .contents：子节点的列表，将<tag>所有儿子节点存入列表
  • .children：子节点的迭代类型，用于循环遍历儿子节点
  • .descendants：子孙节点的迭代类型，包含所有子孙节点，用于循环遍历
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.head)    #<head><title>This is a python demo page</title></head>print(soup.head.contents)   #[<title>This is a python demo page</title>]
.contens
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
for child in soup.body.children:
    print(child)
#孩子中包括换行符、字符串‘‘‘


<p class="title"><b>The demo python introduces several python courses.</b></p>


<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>



‘‘‘
.children
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
for tag in soup.body.descendants:
    print(tag)
‘‘‘


<p class="title"><b>The demo python introduces several python courses.</b></p>
<b>The demo python introduces several python courses.</b>
The demo python introduces several python courses.


<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>
Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>
Basic Python
 and 
<a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>
Advanced Python
.



‘‘‘
descendants

（3）标签树的上行遍历

  • .parent：节点的父亲标签
  • .parents：节点先辈标签大的迭代类型，用于循环遍历先辈节点

例子：

技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.a.parent)
‘‘‘
<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>
‘‘‘print(soup.parent)  #None
.parent
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup

r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.parent)  #soup的父节点为空，但在遍历时不需要进行非空判断，parents函数内部帮我们进行了处理for parent in soup.a.parents:
    print(parent.name)
‘‘‘
None
p
body
html
[document]
‘‘‘
.parents

（4）标签树的平行遍历

  • .next_sibling：返回按照HTMl文本顺序的下一个平行节点标签
  • .previous_sibling：返回按照HTML文本顺序的上一个平行节点标签
  • .next_siblings：迭代类型，返回按照HTML文本顺序的后续所有平行节点标签.
  • .previous_siblings：迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

注：平行遍历发生在同一个父节点下的各节点间

例子：

技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.a.previous_sibling)  #Python is a wonderful general-purpose programming language. # You can learn Python from novice to professional by tracking the following courses:print(soup.a.next_sibling)  # and
sibling
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
for sibling in soup.a.previous_siblings:
    print(sibling.name)
print("===================")
for sibling in soup.a.next_siblings:
    print(sibling.name)
‘‘‘
None
===================
None
a
None
‘‘‘
siblings

标签树的遍历方法总结：

技术分享图片

6.bs4库的HTML格式输出

技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.prettify())
‘‘‘
<html>
 <head>
  <title>
   This is a python demo page
  </title>
 </head>
 <body>
  <p class="title">
   <b>
    The demo python introduces several python courses.
   </b>
  </p>
  <p class="course">
   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:
   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">
    Basic Python
   </a>
   and
   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">
    Advanced Python
   </a>
   .
  </p>
 </body>
</html>
‘‘‘
prettify()方法

7.bs4库的编码

bs4库将任何HTML输入都变成urf-8编码，python 3.x默认支持编码是utf-8，解析无障碍。

若使用python2.x则要进行相应的转码处理

二、信息标记与提取方法

1.信息标记的三种方式

(一) XML

技术分享图片 技术分享图片

(二)  jSON

技术分享图片 技术分享图片 技术分享图片

(三)  YAML

技术分享图片

技术分享图片 技术分享图片 技术分享图片

(四)  三种信息标记形式的比较

  • XML：最早的通用信息标记语言，可扩展性好，但是非常繁琐。用于Internet上信息交互与传递
  • JSON：信息有类型，适合程序处理，叫XML简洁。用于移动应用云端和节点的信息通信，无注释
  • YAML：信息无类型，文本信息比例最高，可读性好。用于各类系统的配置文件，有注释易读

三种信息标记实例：

技术分享图片 技术分享图片 技术分享图片

2.信息提取的一般方法

方法一：完整解析信息的标记形式，再提取关键信息。这种方法需要标记解析器，例如：bs4库　　　　的标签树遍历。

　　　　优点：信息解析准确

　　　　缺点：提取过程繁琐，速度慢

方法二：无视标记形式，直接搜索关键信息。对信息的文本调用相应的查找函数即可。

　　　　优点：提取过程简洁，速度较快

　　　　缺点：提取结果准确性与信息内容有关

方法三：结合形式解析与搜索方法，提取关键信息。需要标记解析器及文本查找函数。

实例：提取HTML中所有URL链接

技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
for link in soup.find_all(‘a‘):
    print(link.get(‘href‘))
#http://www.icourse163.org/course/BIT-268001
# http://www.icourse163.org/course/BIT-1001870001
View Code

3.基于bs4库的HTML内容查找方法

<>.find_all(name, attrs, recursive, string, **kwargs)，返回一个列表类型，存储查找结果

  • name：对标签名称的检索字符串
  • attrs：对标签属性值的检索字符串，可标注属性检索
  • recursive：是否对子孙全部检索，默认为True
  • string：<>..</>中字符串区域的检索字符串

注：<tag>(..)  《==》  <tag>.find_all(..)

例子：

技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.find_all("a"))
print(soup.find_all(["a","b"]))
‘‘‘
[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]
[<b>The demo python introduces several python courses.</b>, <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]
‘‘‘
View Code
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.find_all(‘p‘,attrs=‘course‘))
print("====================")
print(soup.find_all(attrs={‘id‘:‘link1‘}))
‘‘‘
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>]
====================
[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>]
‘‘‘
View Code
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.find_all(‘a‘,recursive=False))   #[]
View Code
技术分享图片 技术分享图片 
                import
                 requests

                from bs4 import BeautifulSoup
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.find_all(string="Basic Python"))   #[‘Basic Python‘]
View Code

扩展方法：

技术分享图片

三、实例：中国大学排名定向爬虫

URL：http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html

网页信息：

技术分享图片

大学排名部分的HTML文本信息： 

            <
            tbody 
            class
            ="hidden_zhpm"
             style
            ="text-align: center;"
            >
            <
            tr 
            class
            ="alt"
            >
            <
            td
            >1</td><td><div align="left">清华大学</div></td><td>北京</td><td>95.3</td><td class="hidden-xs need-hidden indicator5">100.0</td><td class="hidden-xs need-hidden indicator6" style="display: none;">97.50%</td><td class="hidden-xs need-hidden indicator7" style="display: none;">1182145</td><td class="hidden-xs need-hidden indicator8" style="display: none;">44730</td><td class="hidden-xs need-hidden indicator9" style="display: none;">1.447</td><td class="hidden-xs need-hidden indicator10" style="display: none;">1556</td><td class="hidden-xs need-hidden indicator11" style="display: none;">121</td><td class="hidden-xs need-hidden indicator12" style="display: none;">1586283</td><td class="hidden-xs need-hidden indicator13" style="display: none;">500525</td><td class="hidden-xs need-hidden indicator14" style="display: none;">6.90%</td></tr><tr class="alt"><td>2</td><td><div align="left">北京大学</div></td><td>北京</td><td>78.6</td><td class="hidden-xs need-hidden indicator5">96.4</td><td class="hidden-xs need-hidden indicator6" style="display: none;">97.39%</td><td class="hidden-xs need-hidden indicator7" style="display: none;">665616</td><td class="hidden-xs need-hidden indicator8" style="display: none;">43731</td><td class="hidden-xs need-hidden indicator9" style="display: none;">1.374</td><td class="hidden-xs need-hidden indicator10" style="display: none;">1278</td><td class="hidden-xs need-hidden indicator11" style="display: none;">94</td><td class="hidden-xs need-hidden indicator12" style="display: none;">480918</td><td class="hidden-xs need-hidden indicator13" style="display: none;">4110</td><td class="hidden-xs need-hidden indicator14" style="display: none;">6.01%</td></tr><tr class="alt"><td>3</td><td><div align="left">浙江大学</div></td><td>浙江</td><td>73.9</td><td class="hidden-xs need-hidden indicator5">86.3</td><td class="hidden-xs need-hidden indicator6" style="display: none;">96.56%</td><td class="hidden-xs need-hidden indicator7" style="display: none;">452414</td><td class="hidden-xs need-hidden indicator8" style="display: none;">47915</td><td class="hidden-xs need-hidden indicator9" style="display: none;">1.131</td><td class="hidden-xs need-hidden indicator10" style="display: none;">939</td><td class="hidden-xs need-hidden indicator11" style="display: none;">91</td><td class="hidden-xs need-hidden indicator12" style="display: none;">1266561</td><td class="hidden-xs need-hidden indicator13" style="display: none;">27720</td><td class="hidden-xs need-hidden indicator14" style="display: none;">5.18%</td></tr><tr class="alt"><td>4</td><td><div align="left">上海交通大学</div></td><td>上海</td><td>73.1</td><td class="hidden-xs need-hidden indicator5">90.5</td><td class="hidden-xs need-hidden indicator6" style="display: none;">98.65%</td><td class="hidden-xs need-hidden indicator7" style="display: none;">226279</td><td class="hidden-xs need-hidden indicator8" style="display: none;">49749</td><td class="hidden-xs need-hidden indicator9" style="display: none;">1.176</td><td class="hidden-xs need-hidden indicator10" style="display: none;">960</td><td class="hidden-xs need-hidden indicator11" style="display: none;">79</td><td class="hidden-xs need-hidden indicator12" style="display: none;">742538</td><td class="hidden-xs need-hidden indicator13" style="display: none;">15264</td><td class="hidden-xs need-hidden indicator14" style="display: none;">7.33%</td></tr><!-- 后面的内容格式完全相同-->

功能描述：大学排名信息的屏幕输出（排名，大学名称、省份、总分）

定向爬虫：仅对输入URl进行爬取，不进行扩展爬取

技术分享图片 技术分享图片 
                #
                爬取中国最好大学排名网的学校学校排名数据
                import
                 requests,bs4

                from bs4 import BeautifulSoup
def getHTMLText(url):
    ‘‘‘
    爬取网页
    :param url: url
    :return: text
    ‘‘‘try:
        r=requests.get(url)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return""def fillUnivList(uList,demo):
    ‘‘‘
    解析网页并将数据封装在列表中
    :param uList: []
    :param demo: html
    :return: []
    ‘‘‘
    soup=BeautifulSoup(demo,"html.parser")
    for tr in soup.find(‘tbody‘, attrs={‘class‘: "hidden_zhpm"}).children:   #soup.tbody.children也可if isinstance(tr,(bs4.element.Tag,)):
            tds=tr.find_all(‘td‘)
            uList.append([tds[0].string,tds[1].contents[0].string,tds[2].string,tds[3].string])

def printUnivList(uList,num):
    ‘‘‘
    输出列表
    :param uList: []
    :param num: count
    :return:
    ‘‘‘
    tplt = "{0:^10s}\t\t{1:{4}^10s}\t\t{2:{5}^10s}\t\t{3:^10s}"print(tplt.format("排名", "学校名称","省份","总分",chr(12288),chr(12288)))
    for i in range(num):
        u = uList[i]
        print(tplt.format(u[0], u[1],u[2],u[3],chr(12288),chr(12288)))
    # print("排名\t\t学校名称\t\t省份\t\t总分")# for i in range(num):#     u = uList[i]#     print(u[0],"\t\t",u[1],"\t\t",u[2],"\t\t",u[3])def inputCount():
    ‘‘‘
    :return：university count
    ‘‘‘
    countUiv = input("输入您希望得到的排名数量[max:600]：")
    ifnot countUiv:
        print("输入不能为空!")
    else:
        if countUiv.isdigit():
            countUiv = int(countUiv)
            if countUiv >= 600:
                print("数量超过600无效!")
            else:
                return countUiv
        else:
            print("请输入数字!")

if__name__ == ‘__main__‘:
    url="http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html"
    uList=[]    #存放大学排名信息
    countUniv=inputCount()
    demo=getHTMLText(url)
    fillUnivList(uList,demo)
    printUnivList(uList,countUniv)
中国最好大学排名网爬虫

输出： 

输入您希望得到的排名数量[max:600]：100
    排名            　　　学校名称　　　        　　　　省份　　　　            总分    
    1             　　　清华大学　　　        　　　　北京　　　　           95.3   
    2             　　　北京大学　　　        　　　　北京　　　　           78.6   
    3             　　　浙江大学　　　        　　　　浙江　　　　           73.9   
    4             　　上海交通大学　　        　　　　上海　　　　           73.1   
    5             　　　复旦大学　　　        　　　　上海　　　　           66.0   
    6             　中国科学技术大学　        　　　　安徽　　　　           61.9   
    7             　　　南京大学　　　        　　　　江苏　　　　           59.8   
    8             　　华中科技大学　　        　　　　湖北　　　　           59.1   
    9             　　　中山大学　　　        　　　　广东　　　　           58.6   
    10            　哈尔滨工业大学　　        　　　黑龙江　　　　           57.4   
    11            　　　同济大学　　　        　　　　上海　　　　           56.4   
    12            　　　武汉大学　　　        　　　　湖北　　　　           55.5   
    13            　　　东南大学　　　        　　　　江苏　　　　           55.3   
    14            　　西安交通大学　　        　　　　陕西　　　　           54.2   
    15            　北京航空航天大学　        　　　　北京　　　　           54.0   
    16            　　　南开大学　　　        　　　　天津　　　　           53.9   
    17            　　　四川大学　　　        　　　　四川　　　　           53.3   
    18            　　　天津大学　　　        　　　　天津　　　　           52.4   
    19            　　华南理工大学　　        　　　　广东　　　　           51.8   
    20            　　北京师范大学　　        　　　　北京　　　　           51.7   
    21            　　北京理工大学　　        　　　　北京　　　　           51.1   
    22            　　　厦门大学　　　        　　　　福建　　　　           50.9   
    23            　　　吉林大学　　　        　　　　吉林　　　　           50.2   
    24            　　　山东大学　　　        　　　　山东　　　　           50.0   
    25            　　大连理工大学　　        　　　　辽宁　　　　           49.7   
    26            　　　中南大学　　　        　　　　湖南　　　　           49.5   
    27            　　　苏州大学　　　        　　　　江苏　　　　           48.8   
    28            　对外经济贸易大学　        　　　　北京　　　　           47.7   
    29            　　西北工业大学　　        　　　　陕西　　　　           47.6   
    30            　　中国人民大学　　        　　　　北京　　　　           47.5   
    31            　　　湖南大学　　　        　　　　湖南　　　　           47.4   
    32            　　华东师范大学　　        　　　　上海　　　　           46.5   
    33            　　电子科技大学　　        　　　　四川　　　　           46.4   
    34            　　华东理工大学　　        　　　　上海　　　　           45.5   
    35            　　　重庆大学　　　        　　　　重庆　　　　           45.2   
    35            　南京航空航天大学　        　　　　江苏　　　　           45.2   
    37            　　北京科技大学　　        　　　　北京　　　　           44.5   
    37            　　南京理工大学　　        　　　　江苏　　　　           44.5   
    39            　　上海财经大学　　        　　　　上海　　　　           44.3   
    40            　　中国农业大学　　        　　　　北京　　　　           43.7   
    41            　　　上海大学　　　        　　　　上海　　　　           43.6   
    42            　　　东北大学　　　        　　　　辽宁　　　　           43.5   
    43            　　华中师范大学　　        　　　　湖北　　　　           43.3   
    43            　　南方科技大学　　        　　　　广东　　　　           43.3   
    45            　　北京交通大学　　        　　　　北京　　　　           43.0   
    46            　　首都医科大学　　        　　　　北京　　　　           42.9   
    47            　　武汉理工大学　　        　　　　湖北　　　　           42.8   
    48            　　北京化工大学　　        　　　　北京　　　　           42.4   
    48            　　北京邮电大学　　        　　　　北京　　　　           42.4   
    48            　　　东华大学　　　        　　　　上海　　　　           42.4   
    51            　北京外国语大学　　        　　　　北京　　　　           42.1   
    52            　　天津医科大学　　        　　　　天津　　　　           42.0   
    52            　　中央财经大学　　        　　　　北京　　　　           42.0   
    54            　西安电子科技大学　        　　　　陕西　　　　           41.9   
    55            　　南京医科大学　　        　　　　江苏　　　　           41.7   
    56            　　　暨南大学　　　        　　　　广东　　　　           41.6   
    57            　　　兰州大学　　　        　　　　甘肃　　　　           41.4   
    58            　　　江南大学　　　        　　　　江苏　　　　           40.8   
    59            　　华北电力大学　　        　　　　北京　　　　           40.5   
    60            　　中国海洋大学　　        　　　　山东　　　　           40.3   
    61            　哈尔滨工程大学　　        　　　黑龙江　　　　           40.2   
    61            中国地质大学（武汉）        　　　　湖北　　　　           40.2   
    63            　　华中农业大学　　        　　　　湖北　　　　           40.1   
    63            　　南京师范大学　　        　　　　江苏　　　　           40.1   
    65            　　东北师范大学　　        　　　　吉林　　　　           40.0   
    66            　　西南财经大学　　        　　　　四川　　　　           39.9   
    67            　　　福州大学　　　        　　　　福建　　　　           39.8   
    67            　　中国药科大学　　        　　　　江苏　　　　           39.8   
    69            中国地质大学（北京）        　　　　北京　　　　           39.7   
    70            　上海外国语大学　　        　　　　上海　　　　           39.6   
    71            　　南京农业大学　　        　　　　江苏　　　　           39.5   
    72            　　北京工业大学　　        　　　　北京　　　　           39.2   
    72            　　　河海大学　　　        　　　　江苏　　　　           39.2   
    74            　　西南交通大学　　        　　　　四川　　　　           39.1   
    74            　　中国医科大学　　        　　　　辽宁　　　　           39.1   
    76            　　　西南大学　　　        　　　　重庆　　　　           39.0   
    77            　　南方医科大学　　        　　　　广东　　　　           38.8   
    77            　中南财经政法大学　        　　　　湖北　　　　           38.8   
    79            　南京信息工程大学　        　　　　江苏　　　　           38.4   
    80            　　　江苏大学　　　        　　　　江苏　　　　           38.3   
    80            中国石油大学（华东）        　　　　山东　　　　           38.3   
    82            　　合肥工业大学　　        　　　　安徽　　　　           38.2   
    83            　上海中医药大学　　        　　　　上海　　　　           38.1   
    83            　　中国矿业大学　　        　　　　江苏　　　　           38.1   
    85            　　浙江工业大学　　        　　　　浙江　　　　           38.0   
    86            　北京中医药大学　　        　　　　北京　　　　           37.9   
    86            　　　华侨大学　　　        　　　　福建　　　　           37.9   
    86            　西北农林科技大学　        　　　　陕西　　　　           37.9   
    89            　　北京林业大学　　        　　　　北京　　　　           37.8   
    89            　　东北财经大学　　        　　　　辽宁　　　　           37.8   
    91            　　南京邮电大学　　        　　　　江苏　　　　           37.7   
    91            　　　深圳大学　　　        　　　　广东　　　　           37.7   
    91            　　中央民族大学　　        　　　　北京　　　　           37.7   
    94            　　南京工业大学　　        　　　　江苏　　　　           37.6   
    94            　　中国政法大学　　        　　　　北京　　　　           37.6   
    96            　　大连医科大学　　        　　　　辽宁　　　　           37.5   
    97            中国石油大学（北京）        　　　　北京　　　　           37.3   
    98            　　　西北大学　　　        　　　　陕西　　　　           37.2   
    98            　　中国传媒大学　　        　　　　北京　　　　           37.2   
   100            　　　宁波大学　　　        　　　　浙江　　　　           36.8

 

 

 

原文：https://www.cnblogs.com/BUPT-MrWu/p/11275715.html

内容总结

以上是互联网集市为您收集整理的python爬虫（二）全部内容，希望文章能够帮你解决python爬虫（二）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1293690.html

来源：【匿名】