python爬取京东商品评论--jsonpath方法
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python爬取京东商品评论--jsonpath方法,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1505字,纯文字阅读大概需要3分钟。
内容图文
![python爬取京东商品评论--jsonpath方法](/upload/InfoBanner/zyjiaocheng/737/a6521557eee74f2f952b19986d981906.jpg)
直接送上代码
import urllib.request
import json
import jsonpath
import time
end_page = int(input('请输入爬取的结束页码:'))
for i in range(0,end_page+1):
print('第%s页开始爬取------'%(i+1))
url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv385&productId=52322470877&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1 '
'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv319&productId=10421264905&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
url = url.format(i)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
'Referer': 'https://item.jd.com/52322470877.html'
}
request = urllib.request.Request(url=url,headers=headers)
content = urllib.request.urlopen(request).read().decode('gbk')
content = content.strip('fetchJSON_comment98vv385();')
obj = json.loads(content)
comments = obj['comments']
fp = open('京东.txt','a',encoding='utf8')
for comment in comments:
#评论时间
creationTime = comment['creationTime']
#评论人
nickname = comment['nickname']
#评论内容
contents = comment['content']
#评论图片
if 'images' in comment:
img_src = jsonpath.jsonpath(comment,'$..images[*].imgUrl')
img_src = 'https:' + str(img_src).strip('[]')
else:
img_src = '无图片'
item = {
'评论时间': creationTime,
'用户': nickname,
'评论内容': contents,
'图片地址': img_src,
}
string = str(item)
fp.write(string + '\n')
print('第%s页完成----------'%(i+1))
time.sleep(4)
fp.close()
内容总结
以上是互联网集市为您收集整理的python爬取京东商品评论--jsonpath方法全部内容,希望文章能够帮你解决python爬取京东商品评论--jsonpath方法所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。