如何在python中抓取完整的Instagram页面？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了如何在python中抓取完整的Instagram页面？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1318字，纯文字阅读大概需要2分钟。

内容图文

长话短说,我正在尝试创建一个Instagram python scraper,它可以加载整个页面并抓取所有链接到图像.我有它的工作,唯一的问题是,它只加载Instagram显示的原始12张照片.无论如何,我可以告诉请求加载整个页面？

工作代码;

import json
import requests
from bs4 import BeautifulSoup
import sys

r = requests.get('https://www.instagram.com/accountName/')
soup = BeautifulSoup(r.text, 'lxml')

script = soup.find('script', text=lambda t: t.startswith('window._sharedData'))
page_json = script.text.split(' = ', 1)[1].rstrip(';')
data = json.loads(page_json)
non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd)

for post in data['entry_data']['ProfilePage'][0]['graphql']['user']['edge_owner_to_timeline_media']['edges']:
    image_src = post['node']['display_url']
    print(image_src)

解决方法:

正如Scratch已经提到的,Instagram使用“无限滚动”,这将不允许您加载整个页面.但您可以检查页面顶部的消息总数(在第一个范围内使用_fd86t类).然后,您可以检查页面是否已包含所有消息.否则,您将不得不使用GET请求来获取新的JSON响应.这样做的好处是这个请求包含第一个字段,它似乎允许您修改您获得的消息数量.您可以从其标准12修改它以获取所有剩余的消息(希望如此).

必要的请求看起来类似于以下内容(我已经匿名化了实际的条目,并在评论的帮助下)：

https://www.instagram.com/graphql/query/?query_hash=472f257a40c653c64c666ce877d59d2b&variables={"id":"XXX","first":12,"after":"XXX"}

内容总结

以上是互联网集市为您收集整理的如何在python中抓取完整的Instagram页面？全部内容，希望文章能够帮你解决如何在python中抓取完整的Instagram页面？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端