首页 / 爬虫 / python爬虫-利用requests库爬取猫眼电影top100

python爬虫-利用requests库爬取猫眼电影top100

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python爬虫-利用requests库爬取猫眼电影top100，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5524字，纯文字阅读大概需要8分钟。

内容图文

利用requests 库来抓取猫眼电影 TOPl100 的相关内容。

目标站点：https://maoyan.com/board/4

1.抓取首页

定义get_one_page方法，并给他传入url参数
注意：猫眼电影网站有反爬虫措施，设置headers后可以爬取


import requests
headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}


def get_one_page(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestsException:
        return None
def main():
	 url = "https://maoyan.com/board/4"
	 html = get_one_page(url, headers)
	 print(html)

if __name__ == '__main__':
      main()

运行发现成功得到源代码
python爬虫-利用requests库爬取猫眼电影top100 - 文章图片

2.正则提取

在这里我们定义def parse_one_page方法

import requests
import re
from requests.exceptions import RequestException
headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}


def get_one_page(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestsException:
        return None

def parse_one_page(html):
   pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                        + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',
                        re.S)
   items = re.findall(pattern, html)
   for item in items:
      yield {
         'index': item[0],
         'image': item[1],
         'title': item[2],
         'actor': item[3].strip()[3:],
         'time': item[4].strip()[5:],
         'score': item[5] + item[6]
      }

def main():
    url = "https://maoyan.com/board/4"
    html = get_one_page(url, headers)
    for item in parse_one_page(html):
        print(item)

if __name__ == '__main__':
    main()

运行结果
python爬虫-利用requests库爬取猫眼电影top100 - 文章图片

3.写入文件

我们将提取的结果写入文件，这里直接写入到一个文本文件中。

import requests
import re
import json
from requests.exceptions import RequestException
headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}


def get_one_page(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestsException:
        return None

def parse_one_page(html):
   pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                        + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',
                        re.S)
   items = re.findall(pattern, html)
   for item in items:
      yield {
         'index': item[0],
         'image': item[1],
         'title': item[2],
         'actor': item[3].strip()[3:],
         'time': item[4].strip()[5:],
         'score': item[5] + item[6]
      }

def write_to_file(content):
   with open('result.txt', 'a', encoding='utf-8') as f:
      f.write(json.dumps(content, ensure_ascii=False) + '\n')
      f.close()

def main():
    url = "https://maoyan.com/board/4"
    html = get_one_page(url, headers)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    main()

发现成功写入文件中
python爬虫-利用requests库爬取猫眼电影top100 - 文章图片

6.分页爬取

上述步骤我们发现以及成功爬取了第一页的电影排名情况，因为我们需要抓取的是 TOP100 的电影，我们还需要实现其他 90 部电影的爬取。

通过对站点的分析，观察页面的 URL 和内容发生 了怎样的变化
python爬虫-利用requests库爬取猫眼电影top100 - 文章图片
python爬虫-利用requests库爬取猫眼电影top100 - 文章图片
**可以发现页面的 URL 变成 https://maoyan.corn/board/4?offset=10，比之前的 URL 多了一个参数，那 就是 offset=10，而目前显示的结果是排行 11～20 名的电影，初步推断这是一个偏移量的参数。 再点 击下一页，发现页面的 URL 变成了 http://maoyan.com/board/4 ? offset=20，参数 offset 变成了 20，而 显示的结果是排行 21-30 的电影。 由此可以总结出规律，offset 代表偏移量值，如果偏移量为 n，则显示的电影序号就是 n+l 到 n+10, 每页显示 10 个。

这里需要将 main（）方法修改一下，接收一个 offset 值作为偏移量，然后构造 URL 进行爬取。 代码如下

import requests
import re
import json
from requests.exceptions import RequestException

headers = {
    'Content-Type': 'text/plain; charset=UTF-8',
    'Origin': 'https://maoyan.com',
    'Referer': 'https://maoyan.com/board/4',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
}

# 爬取网页源代码
def get_one_page(url, headers):
   try:
      response = requests.get(url, headers=headers)
      if response.status_code == 200:
         return response.text
      return None
   except RequestsException:
      return None

def parse_one_page(html):
   pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                        + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',
                        re.S)
   items = re.findall(pattern, html)
   for item in items:
      yield {
         'index': item[0],
         'image': item[1],
         'title': item[2],
         'actor': item[3].strip()[3:],
         'time': item[4].strip()[5:],
         'score': item[5] + item[6]
      }

def write_to_file(content):
   with open('result.txt', 'a', encoding='utf-8') as f:
      f.write(json.dumps(content, ensure_ascii=False) + '\n')
      f.close()
      
#传入offest参数
def main(offset):
   url = "https://maoyan.com/board/4?offset="+str(offset)
   html = get_one_page(url, headers)
   for item in parse_one_page(html):
      print(item)
      write_to_file(item)


if __name__ == '__main__':
   for i in range(10):
      main(i*10)

至此我们便完成了对猫眼电影top100的爬取，电影信息也已全部保存到了文本文件中了。
python爬虫-利用requests库爬取猫眼电影top100 - 文章图片

  • 参考：python3网络爬虫开发实战（崔庆华著）
YOUNGBC 发布了3 篇原创文章 · 获赞 3 · 访问量 159 私信 关注

内容总结

以上是互联网集市为您收集整理的python爬虫-利用requests库爬取猫眼电影top100全部内容，希望文章能够帮你解决python爬虫-利用requests库爬取猫眼电影top100所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/644542.html

来源：【匿名】