主要是爬取数据，并把爬回来的数据进行分析和挖掘，做过的小项目主要有： 1.扒了扒蔡徐坤100万+微博转发中，假流量占了多少的比例 随机抓取蔡徐坤100万+转发的微博《再见，“任性的”千千…》的10万条转发数据，并且分析蔡徐坤真假转发流量的比例以及真假粉丝的用户画像。 发现102313条转发数据中，有95397条是由假粉丝转发的，占了总转发的93.24%，只有6916条是由真粉丝转发的，占6.76%。6916条数据中，除去重复转发的粉丝，真实...
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 以下文章来源于数据杂论，作者：Wpc7113 Python 数据分析入门案例讲解https://www.bilibili.com/video/BV18f4y1i7q9/ 1.标准化：去均值，方差规模化 Standardization标准化:将特征数据的分布调整成标准正态分布，也叫高斯分布，也就是使得数据的均值为0，方差为1. 标准化的原因在于如果有些特征的方差过大，则会主导目标函数...
此篇博客为普通方式爬取安居客租房数据一共提取出1200条，但是在进行大规模的数据爬取时，不建议使用这种方式,速度太慢是最大的诟病,在进行大规模爬取时，使用分布式爬虫是第一选择爬取过程 一、指定爬取数据 二、设置请求头防止反爬 三、分析页面并且与网页源码进行比对 四、分析页面整理数据 五、保存到excel表中 六、使用jupyternotebook进行简单的数据分析 一、指定爬取数据需求: 提取价格、面积、详细标题、名称、具体位置、房...
数据清洗 数据清洗的目的不只是要消除错误、冗余和数据噪音，还要能将按不同的、不兼容的规则所得的各种数据集一致起来。 缺失值处理 找到缺失值：（输出每个列丢失值也即值为NaN的数据和，并从多到少排序） #输出数量 total = train.isnull().sum().sort_values(ascending=False) print(total) #输出百分比 percent =(train.isnull().sum()/train.isnull().count()).sort_values(ascending=False) missing_data = pd.concat([tota...
本系列课程适用人群： python零基础数据分析的朋友；在校学生；职场中经常要处理各种数据表格，或大量数据（十万级以上）的朋友；喜欢图表可视化的朋友； 系列视频目前可在B站观看，会定期更新，欢迎大家吐槽！本节概要：看excel中最强大的数据透视表在python中如何实现视频地址：python中数据透视表 <iframe allowfullscreen="true" data-mediaembed="bilibili" id="ZdHGbA3p-1607750296132" src="https://player.bilibili.com/pl...
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 以下文章来源于菜J学Python ，作者J哥 前言 为什么要分析房地产市场？房地产行业具有鲜明的地域特征，从房地产企业角度来讲，城市的选择在一定程度上决定了投资的成败。因此，对一个城市的市场研判就显得至关重要。早在几年前，同样的资金配置到南京和长沙两个城市，获得的投资回报差别是巨大的。 2017年至2019年南京和长沙二...
1 matplotlib # 导包 import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline# %matplotlib具体作用是当你调用matplotlib.pyplot的绘图函数plot()进行绘图的时候，或者生成一个figure画布的时候，可以直接在你的python console里面生成图像。1.1 plt.plot( ) 绘制线性图 # 直线，两个参数x和y x = np.array([1,2,3,4,5]) y = 2*x+1 plt.plot(x,y)# 曲线 x = x y = x**3 plt.plot(x,y)# 多条...
利用Python进行数据分析 内容简介： 还在苦苦寻觅用Python控制、处理、整理、分析结构化数据的完整课程？《利用Python进行数据分析》含有大量的实践案例，你将学会如何利用各种Python库（包括NumPy、pandas、matplotlib以及IPython等）高效地解决各式各样的数据分析问题。 由于作者Wes McKinney是pandas库的主要作者，所以本书也可以作为利用Python实现数据密集型应用的科学计算实践指南。本书适合刚刚接触Python的分析人员以及刚刚...
大数据分析如何在Python中生成FiveThirtyEight图?如果你阅读大数据分析文章，则可能已经迷失了FiveThirtyEight的内容。自然，他们的出色可视化使你印象深刻。你想制作自己的出色可视化文件，所以问百度一下如何做到这一点。你收到了一些答案，但它们相当模糊。你仍然无法自己完成图表。在大数据分析如何在Python中生成FiveThirtyEight图中，我们将为你提供帮助。使用Python的matplotlib和pandas，我们将看到复制任何FiveThirtyEigh...
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者：Yolandarrrrr ( 想要学习Python？Python学习交流群：1039649593，满足你的需求，资料都已经上传群文件流，可以自行下载！还有海量最新2020python学习资料。 ) 前言 大数据时代到来，网络数据正成为潜在宝藏，大量商业信息、社会信息以文本等存储在网页中，这些具有相当大价值的信...
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 以下文章来源于统计与数据分析实战 ，作者严小样儿 前言 分布分析法，一般是根据分析目的，将数据进行分组，研究各组别分布规律的一种分析方法。数据分组方式有两种：等距或不等距分组。 分布分析在实际的数据分析实践中应用非常广泛，常见的有用户性别分布，用户年龄分布，用户消费分布等等。 本文将进行如下知识点讲解： 1....
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云，作者：张俊红1. 序言扑克牌是我们常见一种娱乐工具，玩法千变万化，为了提高学习 Python 知识的趣味性，我构建了一个扑克牌的数据框，将用它来演示一些 Python 数据分析的功能。畅想一下，假设利用人工智能的算法，让机器人学会各种扑克牌的玩法，比如说，德州扑克、桥牌、斗地主等等，把...
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云，作者：统计学家目录 1引言 2 Series数组 2.1 Series数组构成 2.2 创建Series数组 2.3 Series数组常用属性 3 DataFrame数组 3.1 DataFrame数组构成 3.2 创建DataFrame数组 3.3 DataFrame数组的常用属性 4 总结 1引言本文总结Pandas中两种常用的数据类型：（1）Series是一种一维的带标签数...
Python凭借其简单、易读、可扩展性以及拥有巨大而活跃的科学计算社区，在需要分析、处理大量数据的金融行业得到了广泛而迅速的应用，并且成为该行业开发核心应用的shouxuan编程语言。《Python金融大数据分析》提供了使用Python进行数据分析，以及开发相关应用程序的技巧和工具。 《Python金融大数据分析》总计分为3部分，共19章。 第1部分介绍了Python在金融学中的应用，其内容涵盖了Python用于金融行业的原因、Python的基础架构和...