利用Python进行数据分析——第二章 引言（2）：利用pandas对babynames数据集进行简单处理
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了利用Python进行数据分析——第二章 引言（2）：利用pandas对babynames数据集进行简单处理，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9083字，纯文字阅读大概需要13分钟。
内容图文
利用Python进行数据分析——第二章 引言（2）：利用pandas对babynames数据集进行简单处理
使用数据集为1880年-1929年间美国婴儿名字的频率数据。数据集参见我的资源，附有网址链接。
数据为txt格式，部分数据如下图所示：
根据该数据及，可以进行以下处理：
- 计算指定名字的年度比例；
- 计算某个名字的相对排名；
- 计算各年度最流行的名字，以及增长或减少最快的名字；
- 分析名字的趋势：元音、辅音、长度、总体多样性、拼写变化、首位字母等；
- 分析外源性趋势：圣经中的名字、名人、人口结构变化等。
在次，只进行一些简单的操作。
先对其中一个文件进行操作，查看一下数据的相关内容：
import pandas as pd
import matplotlib.pyplot as plt
names = ["name","sex","births"]#给定读入数据的标签
names1880 = pd.read_csv("C:/Users/GuanLi/Desktop/babynames/datasetsbabynamesyob1880.txt",sep = ",",names=names)
print(names1880[:10])#输出前10条数据进行查看
可以看到前十条数据记录如下，含有姓名name、性别sex、出生数births等字段。
name sex births
0 Mary F 7065
1 Anna F 2604
2 Emma F 2003
3 Elizabeth F 1939
4 Minnie F 1746
5 Margaret F 1578
6 Ida F 1472
7 Alice F 1414
8 Bertha F 1320
9 Sarah F 1288
按照性别对1880年的出生婴儿总数量进行统计。
sex_births_sum = names1880.groupby("sex").births.sum()
print(sex_births_sum)
输出结果如下：
sex
F 90993
M 110493
Name: births, dtype: int64
上面是对数据集中1880年的婴儿姓名数据进行处理，所使用的整个数据集含有1880年-1929年共50个数据文件。所以，首先将所有数据整合到一个DataFrame中，并加上一个年份year字段，此处调用pandas.concat。
# coding=gbk
import pandas as pd
names = ["name","sex","births"]
years=range(1880,1930)
pieces = []
#通过for循环将50个文件读入
for year in years:
path = "C:/Users/GuanLi/Desktop/babynames/datasetsbabynamesyob"+str(year)+".txt"
frame = pd.read_csv(path,names = names)
frame["year"]=year
pieces.append(frame)#将frame添加到列表pieces中
names = pd.concat(pieces,ignore_index=True)##concat默认按行将多个DataFrame组合到一起
print(names)
整合以后的数据部分如下：
name sex births year
0 Mary F 7065 1880
1 Anna F 2604 1880
2 Emma F 2003 1880
3 Elizabeth F 1939 1880
4 Minnie F 1746 1880
5 Margaret F 1578 1880
...
274820 Yoshimi M 5 1929
274821 Yoshiro M 5 1929
274822 Zeferino M 5 1929
274823 Zell M 5 1929
274824 Zygmund M 5 1929
将50个数据文件整合到一起之后，形成了一个含有274825条记录的数据，含有name、sex、births、year四个字段。
有了这些数据，就可以统计在1880年-1929年间，不同性别下婴儿的数量。
total_births = names.pivot_table("births",index="year",columns="sex",aggfunc=sum)
print(total_births)
输出结果如下：
sex F M
year
1880 90993 110493
1881 91955 100748
1882 107851 113687
1883 112322 104632
1884 129021 114445
1885 133056 107802
1886 144538 110785
1887 145983 101412
1888 178631 120857
1889 178369 110590
1890 190377 111026
1891 185486 101198
1892 212350 122038
1893 212908 112319
1894 222923 115775
1895 233632 117398
1896 237924 119575
1897 234199 112760
1898 258771 122703
1899 233022 106218
1900 299873 150554
1901 239351 106478
1902 264079 122660
1903 261976 119240
1904 275375 128129
1905 291641 132319
1906 295301 133159
1907 318558 146838
1908 334277 154339
1909 347191 163983
1910 396416 194198
1911 418180 225936
1912 557939 429926
1913 624317 512482
1914 761376 654746
1915 983824 848647
1916 1044249 890142
1917 1081194 925512
1918 1157585 1013720
1919 1130149 980215
1920 1198214 1064468
1921 1232845 1101374
1922 1200796 1088380
1923 1206239 1096227
1924 1248821 1132671
1925 1217217 1115798
1926 1185078 1110440
1927 1192207 1126259
1928 1152836 1107113
1929 1116284 1074833
在有了每一年的不同性别下出生婴儿的总数，就可以计算每个名字被使用的比例（频率）。插入prop列用来存放比例。先按year和sex分组，然后将新列（prop列）加到各个分组上。
#定义函数add_prop()来计算比例
def add_prop(group):
births = group.births.astype(float)#将出生数births装换成float型数据
group["prop"] = births/births.sum()#计算比例
return group
names = names.groupby(["year","sex"]).apply(add_prop)
print(names)
输出的结果如下：
name sex births year prop
0 Mary F 7065 1880 0.077643
1 Anna F 2604 1880 0.028618
2 Emma F 2003 1880 0.022013
3 Elizabeth F 1939 1880 0.021309
4 Minnie F 1746 1880 0.019188
5 Margaret F 1578 1880 0.017342
...
274820 Yoshimi M 5 1929 0.000005
274821 Yoshiro M 5 1929 0.000005
274822 Zeferino M 5 1929 0.000005
274823 Zell M 5 1929 0.000005
274824 Zygmund M 5 1929 0.000005
如第一行数据prop=0.077643，表示每100个女婴儿中，就有8个（四舍五入）取名为Mary。
另外还可以绘制1880-1929年间美国出生婴儿不同性别随时间的变化图：
year = []#定义一个列表，用来做图的横轴年份
for i in range(1880,1930):
year.append(i)
fig=plt.figure()
ax=fig.add_subplot(1,1,1)
ax.set_xlabel=("years")
plt.plot(year,total_births["M"])
plt.plot(year,total_births["F"])
plt.legend(loc="best",edgecolor="black")#设置图例边框颜色
plt.legend(loc="best",title="sex")
plt.title("Total births by sex and year")
plt.show()
绘图结果如下：
在上面一系列操作之后，得到的一个数据集names含有以下字段：name、sex、births、year、prop。在此数据中，我们取出每对sex/year组合的前1000个名字进行进一步的分析工作。
#定义抽取函数get_top1000()
def get_top1000(group):
return group.sort_index(by="births",ascending=False)[:1000]
grouped = names.groupby(["sex","year"])
top1000 = grouped.apply(get_top1000)
print(top1000)
接下来的工作在top1000数据集上进行相关的分析。
分析起名字的趋势：
首先将前1000个名字分为男、女两部分。
boys = top1000[top1000.sex == "M"]
girls = top1000[top1000.sex == "F"]
在此基础上，可以进行某些名字在美国婴儿中使用的变化情况分析。比如，绘制top1000中，John、Harry、Mary三个名字随时间的变化趋势:
fig1=plt.figure()
plt.plot(year,top1000_total_births["John"])
plt.plot(year,top1000_total_births["Harry"])
plt.plot(year,top1000_total_births["Mary"])
plt.title("Number of births per year")
plt.legend(loc="best",edgecolor="black",title="name")
plt.show()
结果如下图：
可以看出在1880-1929年间，三个名字趋势为先上升后下降。这也说明三个名字在一开始很流行，到后来父母给孩子起比较流行，或者说大众化的名字就很少了。教材上采用了1880-2010年间的数据，可以看到更长时间范围内的变化。
为进一步验证名字的变化趋势，可以计算最流行的1000个名字所占的比例，并绘制变化图。
table=top1000.pivot_table("prop",index="year",columns="sex",aggfunc=sum)
fig2=plt.figure()
plt.plot(year,table["F"])
plt.plot(year,table["M"])
plt.legend(loc="best")
plt.title("sum of top1000.prop by year and sex")
plt.show()
结果如下：
sex F M
year
1880 1.000000 0.997375
1881 1.000000 1.000000
1882 0.998702 0.995646
1883 0.997596 0.998566
1884 0.993156 0.994539
1885 0.992251 0.995501
1886 0.989504 0.995035
1887 0.988279 0.996697
1888 0.984241 0.992429
1889 0.984061 0.994981
1890 0.982566 0.992749
1891 0.982177 0.993725
1892 0.979746 0.988815
1893 0.980001 0.991720
1894 0.978571 0.989048
1895 0.975479 0.989071
1896 0.975660 0.988041
1897 0.976558 0.989349
1898 0.972806 0.987197
1899 0.975170 0.990115
1900 0.967760 0.979702
1901 0.972304 0.989603
1902 0.970467 0.985749
1903 0.969490 0.986020
1904 0.968142 0.982502
1905 0.967038 0.981650
1906 0.967535 0.981759
1907 0.964942 0.976975
1908 0.964500 0.976409
1909 0.962744 0.973412
1910 0.959797 0.969778
1911 0.960108 0.967743
1912 0.955857 0.958370
1913 0.953979 0.955881
1914 0.951697 0.952579
1915 0.948814 0.950604
1916 0.948050 0.950211
1917 0.947547 0.950382
1918 0.946388 0.950806
1919 0.945567 0.949201
1920 0.945281 0.950184
1921 0.945001 0.951235
1922 0.944200 0.950868
1923 0.945099 0.952030
1924 0.944637 0.952422
1925 0.944954 0.953723
1926 0.945526 0.953889
1927 0.945487 0.954031
1928 0.946658 0.954890
1929 0.947905 0.956236
从图中可以看出，名字的多样性出现了增长，从而使某一具体的名字所占比例出现下降。假设我们将名字所占比例从高到低排序，前50%的名字定义为比较流行的名字。那么可以根据前50%名字的数量来观察名字的多样性变化。
def get_quantile_count(group,q=0.5):
group = group.sort_index(by="prop",ascending=False)
return group.prop.cumsum().searchsorted(q) + 1
diversity = top1000.groupby(["year","sex"]).apply(get_quantile_count)
diversity = diversity.unstack("sex")
print（diversity）
fig3=plt.figure()
plt.plot(year,diversity["F"])
plt.plot(year,diversity["M"])
plt.legend(loc="best")
plt.title("Number of popular names in top 50%")
plt.show()
可以得到1880-1930年间，占比前50%的姓名数量和趋势图：
sex F M
year
1880 [38] [14]
1881 [38] [14]
1882 [38] [15]
1883 [39] [15]
1884 [39] [16]
...
1925 [52] [28]
1926 [52] [28]
1927 [52] [28]
1928 [52] [28]
1929 [51] [28]
从图中可以看出女孩姓名的多样性总是比男孩的高。两者的总体变化趋势为升高，即婴儿名字的多样性在升高，名字种类越来越多。
（后面还有名字末字母的分析、名字“变性”分析，_，不做了，哈哈）
内容总结
以上是互联网集市为您收集整理的利用Python进行数据分析——第二章 引言（2）：利用pandas对babynames数据集进行简单处理全部内容，希望文章能够帮你解决利用Python进行数据分析——第二章 引言（2）：利用pandas对babynames数据集进行简单处理所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。