一个简单的网络爬虫-获取全国新型冠状肺炎疫情

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了一个简单的网络爬虫-获取全国新型冠状肺炎疫情，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4937字，纯文字阅读大概需要8分钟。

内容图文

 一、实验目的

1. 了解并掌握网络爬虫的基本原理
2. 动手实现动态获取全国新型冠状病毒疫情现状

 二、实验环境

1. Windows10
2. Pycharm 2020.1
3. python 3.7

三、实验材料 

1. 数据来源：https://news.qq.com/zt2020/page/feiyan.htm#/
2. Requests模块
3. Seaborn 绘图

四、数据结构分析 

通过浏览器“审查元素”查看源代码及“网络”反馈的消息，如下图所示：

对应的响应信息如下所示：

使用json格式化，将获取的响应信息展开：

截取出需要的数据字段标识：

五、请求

1. 通过Requests模块对网页发送请求，确定url地址，通过数据表看到时间戳为8位，*1000补足11位，进行实时获取。
2. Url网址：https://news.qq.com/zt2020/page/feiyan.htm#/
3. 确定需要提取的参数为：children(目标集合)、name(省份名称)，total.confirm(累计确诊病例)、total.dead(累计死亡)、total.suspect(累计疑似人数)、total.heal(累计治愈人数)、today.confirm(新增确诊人数)以上6个参数为本次我们需要获取的目标参数。
4. 通过json.loads获取实时的json数据。

六、实现 

流程图设计

代码和程序设计

import time, json, requests
# 抓取腾讯疫情实时json数据
url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&callback=&_=%d'%int(time.time()*1000)
data = json.loads(requests.get(url=url).json()['data'])
#print(data)
#print(data.keys())

num = data['areaTree'][0]['children']


# 解析数据(确诊 疑似 死亡 治愈)
total_data = {}
for item in num:
    if item['name'] not in total_data:
        total_data.update({item['name']:0})
        # print(item['name'])
    for city_data in item['children']:
        # print(city_data )
        total_data[item['name']] += city_data['total']['confirm']
# 省份名称
names = list(total_data.keys())
# 确诊数据
num1 = list(total_data.values())

for item in num:
    # print("...", total_data[item['name']])
    total_data[item['name']]="确诊人数:  "+str(total_data[item['name']])
# print(total_data)

#解析疑似数据
total_suspect_data = {}
for item in num:
    if item['name'] not in total_suspect_data:
        total_suspect_data.update({item['name']: 0})
    for city_data in item['children']:
        total_suspect_data[item['name']] += int(city_data['total']['suspect'])
# 疑似数据
num2 = list(total_suspect_data.values())
for item in num:
    total_data[item['name']]=total_data[item['name']]+",   疑似病例："+str(total_suspect_data[item['name']])
# print(total_data)
# 解析死亡数据
total_dead_data = {}
for item in num:
    if item['name'] not in total_dead_data:
        total_dead_data.update({item['name']: 0})
    for city_data in item['children']:
        total_dead_data[item['name']] += int(city_data['total']['dead'])
# 死亡数据
num3 = list(total_dead_data.values())

for item in num:
    # print("...", total_data[item['name']])
    total_data[item['name']]=total_data[item['name']]+",    死亡数据："+str(total_dead_data[item['name']])

# 解析治愈数据
total_heal_data = {}
for item in num:
    if item['name'] not in total_heal_data:
        total_heal_data.update({item['name']: 0})
    for city_data in item['children']:
        total_heal_data[item['name']] += int(city_data['total']['heal'])
# 治愈数据
num4 = list(total_heal_data.values())

for item in num:
    # print("...", total_data[item['name']])
    total_data[item['name']]=total_data[item['name']]+",     治愈数据："+str(total_heal_data[item['name']])

# 解析新增确诊数据
total_new_data = {}
for item in num:
    if item['name'] not in total_new_data:
        total_new_data.update({item['name']: 0})
    for city_data in item['children']:
        total_new_data[item['name']] += int(city_data['today']['confirm'])  # today

# 新增确诊病例
num5 = list(total_new_data.values())
for item in num:
    # print("...", total_data[item['name']])
    total_data[item['name']]=total_data[item['name']]+",    新增确诊人数："+str(total_new_data[item['name']])
# print(total_data)
for i,j in total_data.items():
    print(i," ",j)

运行结果

 

 绘图

由于具有三类型的数据类型，为了将数据写入再同一个表中，使用Seaborn进行图像绘制

准备工作

数据写入，接上代码，这里因为武汉的数据较大，会影响到其他的图表，我直接跳过了湖北，湖北为i=13号。

print(names)
print(num1)
print(num2)
print(num3)
print(num4)
print(num5)

# 获取当前日期命名
n = time.strftime("%Y-%m-%d") + "-data_2.csv"
fw = open(n, 'w', encoding='utf-8')
fw.write('省份,类型,人数\n')
i = 0
while i < len(names):
    if (i!=13):
        fw.write(names[i] + ',累计确诊,' + str(num1[i]) + '\n')
        fw.write(names[i] + ',累计死亡,' + str(num3[i]) + '\n')
        fw.write(names[i] + ',累计治愈,' + str(num4[i]) + '\n')
        fw.write(names[i] + ',新增确诊,' + str(num5[i]) + '\n')
        i = i + 1
    else:
        print("跳过武汉！")
        i = i + 1
else:
    print("Over !")
    fw.close()

图表绘制：

#?调用Seaborn绘制柱状图
import time
import matplotlib
import numpy as np
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt

#?读取数据
n=time.strftime("%Y-%m-%d")+"-data_2.csv"
data=pd.read_csv(n)

#?设置窗口
fig,ax=plt.subplots(1,1)
print(data['省份'])

#?设置绘图风格及字体
sns.set_style("whitegrid",{'font.sans-serif':['simhei','Arial']})

#?绘制柱状图
g=sns.barplot(x='省份',y='人数',hue="类型",data=data,ax=ax,palette=sns.color_palette("hls",8))

#?设置Axes的标题
ax.set_title('湖北外-中国33省份累计病例对比图')

#?设置坐标轴文字方向?
ax.set_xticklabels(ax.get_xticklabels(),rotation=-60)

#?设置坐标轴刻度的字体大小
ax.tick_params(axis='x',labelsize=8)
ax.tick_params(axis='y',labelsize=8)
plt.show()

结果

内容总结

以上是互联网集市为您收集整理的一个简单的网络爬虫-获取全国新型冠状肺炎疫情全部内容，希望文章能够帮你解决一个简单的网络爬虫-获取全国新型冠状肺炎疫情所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---