潭州课堂25班：Ph201805201 爬虫基础 第五课 （案例） 豆瓣分析 (课堂笔记)
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了潭州课堂25班：Ph201805201 爬虫基础 第五课 （案例） 豆瓣分析 (课堂笔记)，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1560字，纯文字阅读大概需要3分钟。
内容图文
动态讲求 ，
# -*- coding: utf-8 -*-
# 斌彬电脑
# @Time : 2018/9/1 0001 3:44
import requests,json
class DouBan:
def __init__(self):
#请求头部信息
self.headers = {‘User-Agent‘:"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"}
self.offset = 0 # 翻页参数
self.n = 0 # 页码
self.file = open(‘douban.json‘, ‘a‘, encoding=‘utf8‘)
def start_request(self):
self.n += 1 # 页码
print(‘第%s页‘%(str(self.n)))
# url 与 翻页参数 数拼接
# url = ‘https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=‘ +str(self.offset)+ ‘&limit=1‘
url = ‘https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=‘ +str(self.offset)+ ‘&limit=20‘
res = requests.get(url,self.headers)
# res.content.decode() # 获取源码
cont = res.json() # 获取 json 数据
# return cont
self.write_file(cont)
self.file.write(‘\n#############第%s页##################\n\n‘%(str(self.n)))
self.offset += 20
if self.offset > 600:
return
self.start_request() # 回调下自己，
def write_file(self,cont): # 保存数据
item = {} # 定义个字典 重装
for i in cont:
item[‘regions‘] = i[‘regions‘][0] # 地区
item[‘title‘] = i[‘title‘] # 电影名
item[‘url1‘] = i[‘url‘]
item[‘release_date‘] = i[‘release_date‘] #时间
item1 = json.dumps(item, ensure_ascii=False ) # ensure_ascii=False 让 json 可读 数据转换
self.file.write(item1+‘\n‘) # 写数据
if __name__ == ‘__main__‘:
spider = DouBan()
spider.start_request()
spider.file.close()
原文：https://www.cnblogs.com/gdwz922/p/9569026.html
内容总结
以上是互联网集市为您收集整理的潭州课堂25班：Ph201805201 爬虫基础 第五课 （案例） 豆瓣分析 (课堂笔记)全部内容，希望文章能够帮你解决潭州课堂25班：Ph201805201 爬虫基础 第五课 （案例） 豆瓣分析 (课堂笔记)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。
来源：【匿名】