在做数据同步校验的时候，需要从mysql fetch数据和hbase的数据进行对比，发现即使mysql数据变化了，类似下面的代码返回的值还是之前的数据。抽取的代码大概如下： 1import MySQL2 3 conn = MySQL.connect(host = mysql_config[‘host‘],4 user = mysql_config[‘username‘],5 password = mysql_config[‘password‘],6 port = int(mysql_config[‘port‘]),7 ...
目录 前言 准备 分析（x0） 分析（x1） 分析（x2） 分析（x3） 分析（x4） 总结 我有话说 前言 大家好，我叫善念。不说漂亮话，直接开始今天要采集的目标：某宝数据 今天要采用的方式是selenium自动化工具。 简单说下selenium的原理——利用网页元素控制浏览器。 准备 安装selenium模块： pip install selenium 我采用的是利用selenium控制Chrome浏览器，所以咱们需要下载一个selenium与Chrome的桥梁——Chromedriver插件 下载地...
返回目录 本篇索引（1）array（2）bisect（3）deque（4）defaultdict（5）namedtuple（6）heapq（7）itertools （1）arrayarray模块定义一个数组类型：array，它与列表很相似，但它的内容仅限于单一类型。如果需要有效利用存储空间，那么就需要用到array模块。 例如，要存储1000万个整数，使用列表需要约160M内存，而使用array仅需40M内存，代价是array的操作比列表要慢一些。array数组不适用于数字操作（如矩阵运算），要创建高...
1、数据集红葡萄酒数据集：http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv白葡萄酒数据集：http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv红葡萄酒文件中包含1599条观测，白葡萄酒文件包含4898条观测。输入变量是葡萄酒的物理化学成分和特性，包括非挥发性酸、挥发性酸、柠檬酸、残余糖分、氯化物、游离二氧化硫、总二氧化硫、密度、...
这次的主要的目的是从淘宝的搜索页面获取商品的信息。其实分析页面找到信息很容易，页面信息的存放都是以静态的方式直接嵌套的页面上的，很容易找到。主要困难是将信息从HTML源码中剥离出来，数据和网页源码结合的很紧密，剥离数据有一定的难度。然后将获取的信息写入excel表格保存起来，这次只爬取了前面10页 的内容。在运行代码的过程中发现，30页后面的数据有问题，出现了手机价格为0的情况，这是不符合实际的，码也没有写错误处...
import numpy as np import tensorflow as tf import matplotlib.pyplot as plt#随机调整图片的色彩，定义两种顺序。def distort_color(image, color_ordering=0):if color_ordering == 0:image = tf.image.random_brightness(image, max_delta=32./255.)image = tf.image.random_saturation(image, lower=0.5, upper=1.5)image = tf.image.random_hue(image, max_delta=0.2)image = tf.image.random_contrast(image, lower=0.5, u...
# -*- coding: utf-8 -*-"""@Time ：2020/06/04@Author ：Mr.Yang@File :ElasticSearch_operations.py@Software :PyCharm@Description:对ES进行查询，按时间戳删除操作，后续增加写入操作 """import time import datetime import json import sys from elasticsearch import Elasticsearch"""当前时间及时间戳转换"""Time = time.strftime(‘%Y-%m-%d %H:%M:%S‘,time.localtime(time.time())) """当前时间计算"...
（0）文件夹高速学Python 和 易犯错误（文本处理）Python文本处理和Java/C比对十分钟学会Python的基本类型高速学会Python（实战）大数据处理之道（十分钟学会Python）一：python 简单介绍（1）Python的由来Python（英语发音：/?pa?θ?n/）, 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它可以...
1.Redis连接启动服务：cd redis的安装路径------>redis-server.execd redis的安装路径------>redis-clipython中连接redis：#第一种连接from redis import StrictRedis redis = StrictRedis(host=‘localhost‘,port=6379,db=0) #第二种连接from redis import StrictRedis,ConnectionPool pool = ConnectionPool(host=‘localhost‘,port=6379,db=0) redis = StrictRedis(connection_pool=pool) redis.set(‘name‘,‘bob‘) print(...
列表、元组和字符串都是序列。 序列可以通过索引获取相应的值，也可以通过切片获取序列的一段切片。 序列的基本操作： 1、len() 2、+ 3、* 4、max() 5、min() 6、cmp(str1,str2) 7、in 示例代码如下： 1 str1=‘abcdefg‘ 2len(str1)3 //74 str2=‘12345‘ 5 str1+str26 //‘abcdefg12345‘ 7 str1*38 //‘abcdefgabcdefgabcdefg‘ 9max(str1) 10 //g 11min(str2) 12 ...
DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值，字符串，布尔型）。DateFrame既有行索引也有列索引，可以被看作为由Series组成的字典。构建DataFrame：1.1、直接传入一个由等长列表或numpy数组组成的字典‘‘‘ Created on 2016-8-10 @author: xuzhengzhu ‘‘‘from pandas import *data={‘state‘:[‘ohio‘,‘ohio‘,‘ohio‘,‘nevada‘,‘nevada‘],‘year‘:[2000,2001,2002,2001,20...
pymysql------操作mysql数据库openpyxl------操作excel表 连上mysql操作：1、打开数据库import pymysqldb=pymysql.connect(host,user,password,database)2、使用cursor()方法创建一个游标对象cursor=db.cursor()3、执行操作a、数据库插入 try: curcor.excute(sql) db.commit()except: db.rollback()b、数据库查询（fetchone()--该方法获取下一个查询结果集。结果集是一个对象、fetchall()-----接收全部的返回结果行.）cu...
文件是一个存储在副主存储器的数据序列，可包含任何数据内容。概念上，文件是数据的集合和抽象，类似的，函数是程序的集合和抽象。用文件形式组织和表达数据更有效也更加灵活。文件包括两种形式，文本文件和二进制文件。文本文件：一般由单一特定的编码的字符组成二进制文件：一般由0和比特1组成，没有统一的字符编码。无论是通过文本还是二进制创建的文件，都可以用两种方式来打开。 我们来举个例子对比文本文件和二进制文件，首先...
1、安装Python与环境配置①② 安装pip以及利用pip安装Python库 2、Anaconda安装 conda list 要在root环境下3、常用数据分析库① Numpy安装：conda install numpy （conda在Anaconda上安装，pip则是在本地上安装）提供常用的数值、数组、矩阵函数。基于“向量化”的运算，进行数值运算时比list高。② Scipy安装：conda install scipy是一种使用NumPy来做高等数学、信号处理、优化、统计的扩展包③ Pandas安装：conda install panda...
程序说明：抓取斗鱼直播平台的直播房间号及其观众人数，最后统计出某一时刻的总直播人数和总观众人数。过程分析：一、进入斗鱼首页http://www.douyu.com/directory/all进入平台首页，来到页面底部点击下一页，发现url地址没有发生变化，这样的话再使用urllib2发送请求将获取不到完整数据，这时我们可以使用selenium和PhantomJS来模拟浏览器点击下一页，这样就可以获取完整响应数据了。首先检查下一页元素，如下：<a href="#" class...