DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值，字符串，布尔型）。DateFrame既有行索引也有列索引，可以被看作为由Series组成的字典。构建DataFrame：1.1、直接传入一个由等长列表或numpy数组组成的字典‘‘‘ Created on 2016-8-10 @author: xuzhengzhu ‘‘‘from pandas import *data={‘state‘:[‘ohio‘,‘ohio‘,‘ohio‘,‘nevada‘,‘nevada‘],‘year‘:[2000,2001,2002,2001,20...
pymysql------操作mysql数据库openpyxl------操作excel表 连上mysql操作：1、打开数据库import pymysqldb=pymysql.connect(host,user,password,database)2、使用cursor()方法创建一个游标对象cursor=db.cursor()3、执行操作a、数据库插入 try: curcor.excute(sql) db.commit()except: db.rollback()b、数据库查询（fetchone()--该方法获取下一个查询结果集。结果集是一个对象、fetchall()-----接收全部的返回结果行.）cu...
文件是一个存储在副主存储器的数据序列，可包含任何数据内容。概念上，文件是数据的集合和抽象，类似的，函数是程序的集合和抽象。用文件形式组织和表达数据更有效也更加灵活。文件包括两种形式，文本文件和二进制文件。文本文件：一般由单一特定的编码的字符组成二进制文件：一般由0和比特1组成，没有统一的字符编码。无论是通过文本还是二进制创建的文件，都可以用两种方式来打开。 我们来举个例子对比文本文件和二进制文件，首先...
1、安装Python与环境配置①② 安装pip以及利用pip安装Python库 2、Anaconda安装 conda list 要在root环境下3、常用数据分析库① Numpy安装：conda install numpy （conda在Anaconda上安装，pip则是在本地上安装）提供常用的数值、数组、矩阵函数。基于“向量化”的运算，进行数值运算时比list高。② Scipy安装：conda install scipy是一种使用NumPy来做高等数学、信号处理、优化、统计的扩展包③ Pandas安装：conda install panda...
程序说明：抓取斗鱼直播平台的直播房间号及其观众人数，最后统计出某一时刻的总直播人数和总观众人数。过程分析：一、进入斗鱼首页http://www.douyu.com/directory/all进入平台首页，来到页面底部点击下一页，发现url地址没有发生变化，这样的话再使用urllib2发送请求将获取不到完整数据，这时我们可以使用selenium和PhantomJS来模拟浏览器点击下一页，这样就可以获取完整响应数据了。首先检查下一页元素，如下：<a href="#" class...
字典是python中唯一内建的映射类型。（映射是通过名字引用值的数据结构）。字典中的值没有特殊顺序，但是都存储在一个特定的键（key）中。键可以是数字、字符串、元组。一、创建字典：1、创建字典：如：phonebook={‘zhangsan‘:‘233333‘,‘lisi‘:‘322233‘,‘wangwu‘:‘4323334‘}字典由多个键及其对应的值构成的对组（也把键/值对 称为项）。在phonebook示例中，名字是键，电话号码是值。键和值之间用冒号（：）隔开，项之间...
https://www.bjsxt.com/down/8468.htmlnumpy-科学计算基础库 例子：import numpy as np #创建数组 a = np.arange(10) print(a) print(type(a))返回：/Users/user/PycharmProjects/python3/venv/bin/python /Users/user/PycharmProjects/python3/test.py [0123456789] <class‘numpy.ndarray‘>Process finished with exit code 0 对列表中的元素开平方之前的方法为：import math b = [3,4,9] #定义存储开平方结果的列表 result = [...
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：爱数据学习社 首先，要知道我们用哪些库来画图?matplotlibpython中最基本的作图库就是matplotlib，是一个最基础的Python可视化库，一般都是从matplotlib上手Python数据可视化，然后开始做纵向与横向拓展。Seaborn是一个基于matplotlib的高级可视化效果库，针对的点主要是数据挖掘和机器学习中的变量...
首先登录珞珈一号数据系统查询想要的数据 利用浏览器审查元素获取包含下载信息的源码将最右侧的table相关的网页源码copy到剪切板备用利用python下载数据 ## utf-8import requests import os # import urllib.requestfrom bs4 import BeautifulSoup from tqdm import tqdm import pandas as pd def saveFile(url,fileName):# ‘‘‘ 保存文件‘‘‘r = requests.get(url, stream=True)chunkSize = 256# print(‘dowloading...‘,fi...
混合驱动：把数据驱动、关键字驱动结合起来一起使用 testdata.txthttp://www.126.comhttp://www.sohu.com teststep.txtopen||chromevisit||${url}sleep||3 主程序脚本hybrid.py #encoding=utf-8import refrom selenium import webdriverimport timewith open("teststep.txt") as fp: teststeps = fp.readlines()with open("testdata.txt") as fp: testdata = fp.readlines()driver = ""def open(browser_name): global ...
一丶数据库的安装和连接1.1python连接数据库import pymysqlconn = pymysql.connect(host="127.0.0.1", # ip地址port=3306, # 端口位置user="root", # 用户名password="123", # 密码database="nash", # 数据库名charset="utf8", # 当前数据库编码格式autocommit=True # 是否设置自动commit确认 ) cursor = conn.cursor(pymysql.cursors.DictCursor)二丶创建表操作import pymysql# 打开数据库连接 db = pymysql...
本周我们的目标是：B站（哔哩哔哩弹幕网 https://www.bilibili.com ）视频评论数据。我们都知道，B站有很多号称“镇站之宝”的视频，拥有着数量极其恐怖的评论和弹幕。所以这次我们的目标就是，爬取B站视频的评论数据，分析其为何会深受大家喜爱。首先去调研一下，B站评论数量最多的视频是哪一个。。。好在已经有大佬已经统计过了，我们来看一哈！?【B站大数据可视化】B站评论数最多的视频究竟是？来自 <https://www.bilibili.com/...
from sklearn.preprocessing import Normalizer#数据预处理正则化Normalizer模型def test_Normalizer():X=[[1,2,3,4,5],[5,4,3,2,1],[1,3,5,2,4,],[2,4,1,3,5]]print("before transform:",X)normalizer=Normalizer(norm=‘l2‘)print("after transform:",normalizer.transform(X))# 调用 test_Normalizer test_Normalizer() 原文：https://www.cnblogs.com/tszr/p/10801982.html
import seaborn as snsimport pandas as pdimport matplotlib.pyplot as pltsns.set_style(‘white‘,{‘font.sans-serif‘:[‘simhei‘,‘Arial‘]})from sklearn.datasets import load_irisdata = load_iris() #加载鸢尾花数据集tt = pd.DataFrame(data=data.data, columns=data.feature_names) #将数据集数据转换成pandatt[‘species‘] = data.target #把鸢尾花类型加入到数据集中data = tt#为了方便大家观看，把列名换成中文...
从文件中读取数据1.1 读取整个文件要读取文件，需要一个包含几行文本的文件（文件PI_DESC.txt与file_reader.py在同一目录下）PI_DESC.txt3.1415926535897932384626433832795028841971file_reader.pywith open("PI_DESC.txt") as file_object:contents = file_object.read()print(contents)我们可以看出，读取文件时，并没有使用colse()方法，那么未妥善的关闭文件，会不会导致文件收到损坏呢？在这里是不会的，因为我们在open()方法...