[python 那些事] [初级练习] 简单爬虫 武汉加油
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了[python 那些事] [初级练习] 简单爬虫 武汉加油,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1462字,纯文字阅读大概需要3分钟。
内容图文
目标网站:https://news.163.com/special/epidemic/
任务:爬取当日各地疫情基本状况
适合人群:了解基本python代码,小项目实训
代码如下
先引入爬虫利器requests 和 数据处理小能手pandas
import requests
import pandas as pd
下面函数是获取json数据
def get_page(url):
headers={'User-Agent':'XXXXXXX'}
r=requests.get(url, headers=headers)
r.encoding = r.apparent_encoding
a=r.json()
return a
下面就需要稍微分析一下网页源码了 ,毕竟是提取有效信息嘛
def parse_page(html):
all=[]
china = html['data']['areaTree'][0]['children']
for i in range(len(china)):
provinceName=china[i]['name']
for j in range(len(china[i]['children'])):
cityName = china[i]['children'][j]['name']
confirm = china[i]['children'][j]['today']['confirm']
dead = china[i]['children'][j]['today']['dead']
heal = china[i]['children'][j]['today']['heal']
suspect = china[i]['children'][j]['today']['suspect']
lastUpdateTime = china[i]['children'][j]['lastUpdateTime']
a = {'province':provinceName,'city':cityName,
'confirm':confirm,'dead':dead,'heal':heal,
'suspect':suspect,'lastUpdateTime':lastUpdateTime}
all.append(a)
return all
下面是将有效数据保存到文件中
def save_file(all):
df = pd.DataFrame(all)
order=['province','city','confirm','dead','heal','suspect','lastUpdateTime']
df = df[order]
df.to_csv('pachong.csv',index=True,header=True)
上面都是函数 下面就是执行啦
url = "https://c.m.163.com/ug/api/wuhan/app/data/list-total?t=316639086783"
dataJson = get_page(url)
allData = parse_page(dataJson)
save_file(allData)
老规矩 有问题私聊
内容总结
以上是互联网集市为您收集整理的[python 那些事] [初级练习] 简单爬虫 武汉加油全部内容,希望文章能够帮你解决[python 那些事] [初级练习] 简单爬虫 武汉加油所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。