前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。小的时候心中总有十万个为什么类似的问题，今天带大家爬取一个问答类的网站，本堂课使用正则表达式对文本类的数据进行提取，正则表达式是数据提取的通用方法。适合人群：Python零基础、对爬虫数据采集感兴趣的同学！环境介绍：python 3.6pycharmrequestsrejson爬虫的一般思路1、确定爬取的url路径，heade...
1 列表和元组1、列表基本操作1. 列表赋值 a = [1,2,3,4,5,6,7,8] a[0] = 100 #the result ： [100, 2, 3, 4, 5, 6, 7, 8] 2. 元素删除a = [1,2,3,4,5,6,7,8] del a[0] #the result ： [2, 3, 4, 5, 6, 7, 8] 3. 分片赋值a = [1,2,3,4,5,6,7,8] a[::2] # [1, 3, 5, 7] a[-2:] # [7, 8] a...
Scipy在numpy基础上增加了众多的数学、科学及工程常用的库函数；线性代数、常微分方程求解、信号处理、图像处理、稀疏矩阵等； Matplotlib用于创建出版质量图表的绘图工具库；目的是为python构建一个Matlab式的绘图接口；import matplotlib.pyplot as plt，pyplot模块包含了常用的matplotlib API函数；figure， Matplotlib的图像均位于figure对象中；subplot，figure.add_subplot（a，b，c），a、b表示分割成a*b的区域，c表示当前选...
1、一切数据库操作最好使用内网连接，2、使用批量操作接口操作数据库，而不是多线程频繁操作单条数据3、如果python进程的cpu使用率达到100%了，需要开启多进程。java单个进程cpu使用率在32核处理器上可以达到3000%以上，python单个进程职高只能100%，要想加速必须修改代码使用多进程。4、将数据库表中的数据一次性加载到内存中，把查询条件当做字典的键，整条记录当做字典的值。由于是内网，几乎半分钟内可以加载5gb的数据到程序的...
import multiprocessing as mp import numpy as np def worker(size, idx, arr):array = np.zeros((size,size,size))print(idx)array[idx[0],idx[1],idx[2]] = 100for slice in range(size):for row in range(size): arr[slice*size*size+row*size:slice*size*size+row*size+size] = array[slice, row, :] if__name__==‘__main__‘:size = 3myArray_list = []for i in range(9):myArray_list.append(mp.Array(‘f‘, ...
1.先创建修改密码的表passmod.svrlist，并插入两条数据svr_host #远程连接的主机host svr_port #通过此端口连接到远程主机 svr_user #远程连接的主机用户 svr_passwd_old #远程连接的主机密码 svr_passwd_new #远程连接的主机需要设置的新密码 mod_time #默认为空，修改成功后，返回修改的时间 mod_status enum(‘0‘,‘1‘) #默认为‘0’，修改成功变成‘1’并授权insert，select,update操作给passmod用户‘passmod‘@‘...
MySQLubuntu下是按照网上搜来的进行安装，python部分按照廖雪峰的教材来安装，refer to：https://www.liaoxuefeng.com/wiki/1016959663602400/1017802264972000pip install mysql-connector mysql -u root -p执行下面的脚本，提示出错。import mysql.connector# change root password to yours: # conn = mysql.connector.connect(user=‘root‘, password=‘password‘, database=‘test‘) conn = mysql.connector.connect(user=...
我的操作系统为centos6.51 首先选择django要使用什么数据库。django1.10默认数据库为sqlite3，本人想使用mysql数据库，但为了测试方便顺便要安装一下sqlite开发包。yum install mysql mysql-devel#为了测试方便，我们需要安装sqlite-devel包yum install sqlite-devel 2 接下来需要安装Python了，因为Python3已经成为主流，所以接下来我们要安装Python3，到官网去下载Python3的新版本。本人下载的版本为python3.5.2wget https://...
前面我有写过一篇博文，Power BI Python 在Power BI Desktop中使用Python绘图，今天我来使用Python脚本来生成Power Query的查询数据我们一般都使用第三方的IDE先调试好Python代码，然后再在Power BI Desktop运行，我这里使用的是Pycharm，至于该IDE大家到网上找安装包吧。 先看看我们的Python代码内容：import pandas as pd import numpy as npdf = pd.DataFrame({‘key1‘: list(‘aabba‘),‘key2‘: [‘one‘, ‘two‘, ‘one‘...
本文实例讲述了python使用MySQLdb访问mysql数据库的方法。分享给大家供大家参考。具体如下： #!/usr/bin/python import MySQLdb def doInsert(cursor,db):#insert# Prepare SQL query to INSERT a record into the database.sql = "UPDATE EMPLOYEE SET AGE = AGE+1 WHERE SEX = ‘%c‘" %(‘M‘)try:cursor.execute(sql)db.commit()except:db.rollback() def do_query(cursor,db):sql = "SELECT * FROM EMPLOYEE WHERE INCOM...
Elasticsearch是一个分布式、Restful的搜索及分析服务器，Apache Solr一样，它也是基于Lucence的索引服务器，但我认为Elasticsearch对比Solr的优点在于： 轻量级：安装启动方便，下载文件之后一条命令就可以启动； Schema free：可以向服务器提交任意结构的JSON对象，Solr中使用schema.xml指定了索引结构； 多索引文件支持：使用不同的index参数就能创建另一个索引文件，Solr中需要另行配置； 分布式：Solr Cloud的配置...
Python中有3种内建的数据结构：列表、元组和字典。参考简明Python教程 1. 列表 list是处理一组有序项目的数据结构，即你可以在一个列表中存储一个 序列 的项目。假想你有一个购物列表，上面记载着你要买的东西，你就容易理解列表了。只不过在你的购物表上，可能每样东西都独自占有一行，而在Python中，你在每个项目之间用逗号分割。列表中的项目应该包括在方括号中，这样Python就知道你是在指明一个列表。一旦你创建了一个列表，你...
Ref:https://nbviewer.jupyter.org/github/pydata/pydata-book/blob/2nd-edition/ch08.ipynbimport pandas as pddf1 = pd.DataFrame({‘key‘: [‘b‘, ‘b‘, ‘a‘, ‘c‘, ‘a‘, ‘a‘, ‘b‘],‘data1‘: range(7)}) df2 = pd.DataFrame({‘key‘: [‘a‘, ‘b‘, ‘d‘],‘data2‘: range(3)}) df1 df2 pd.merge(df1, df2) #不指定on则以两个DataFrame的列名交集做为连接键 ，这里指的是"key"pd.merge(df1,df2,on = "key")...
Python读取Excel数据生成图表 v2.0一、需求背景自己一直在做一个周基金定投模拟，每周需要添加一行数据，并生成图表。以前一直是用Excel实现的。但数据行多后，图表大小调整总是不太方便，一般只能通过缩放比例解决。二、需求实现目标通过Python程序读取Excel文件中的数据，生成图表，最好将生成图表生成至浏览器页面，后期数据多之后，也能自动缩放，而不会出现显示不全问题。三、需求实现代码# 调用本地echarts.min.js 文件from ...
原地址：http://www.djangochina.cn/forum.php?mod=viewthread&tid=247 随着项目的逐渐收尾， 对IronPython脚本也越来越熟悉，这里为IronPython脚本感兴趣但不入门的朋友写几篇使用心得，这是第一个：最简单的hello world程序。 首先，我们必须有一个IronPython脚本引擎库（IronPython.dll），我用的版本是V1.0，你可以在网上直接下到相关源码，编译后即生成IronPython.dll。1、简单版本Hello World 新建一个C#桌面程...