从oracle导出一个表的数据，导出的格式是insert语句，数据量30万。 直接在PL/SQL Developer中执行，速度非常慢，脚本中也是100条数据提交一次。因为需要的时间太长，每次中断后，下次执行，又要重新全部导入，需要把之前导入的数据清除。 为了能够断点续传，想了个办法： 用Python把脚本分拆，用commit作为分隔符（脚本中每100条数据有一个commit），分拆成多个脚本，用Python遍历文件夹下的脚本，分别执行每个脚本的语句，执行完成...
coding:utf-8from sqlalchemy import create_engineclass connet_databases:def __init__(self):‘‘‘# 初始化数据库连接，使用pymysql模块# MySQL的用户：root, 密码:147369, 端口：3306,数据库：mydb‘‘‘_host = ‘39.108.131.88‘_port = 3306_databases = ‘san_jin_sq‘ # ‘produce‘ # _username = ‘wuzaipei‘_password = ‘wuzaipei‘self._connect = r‘mysql+pymysql://{username}:{password}@{host}:{port}/{data...
场景描述 线上mysql数据库里面有张表保存有每天的统计结果，每天有1千多万条，这是我们意想不到的，统计结果咋有这么多。运维找过来，磁盘占了200G，最后问了运营，可以只保留最近3天的，前面的数据，只能删了。删，怎么删？ 因为这是线上数据库，里面存放有很多其它数据表，如果直接删除这张表的数据，肯定不行，可能会对其它表有影响。尝试每次只删除一天的数据，还是卡顿的厉害，没办法，写个Python脚本批量删除吧。 具体思路是...
as pd import uuid import datetime import randomconn = pymysql.connect(host = ‘127.0.0.1‘,user = ‘root‘,password = ‘123456‘,db = ‘crm_info‘,port = 3306,charset = ‘utf8‘ )cur = conn.cursor() #创建游标for i in range(1,30):id_ = uuid.uuid1().hexprice = round(random.uniform(2000, 9000),2)ht_date = datetime.date.today()sql = "insert into ht_htxx values(‘{}‘,‘58401754b2ed11eaba23005056c0000...
guest.txt‘,‘w‘)for i in range(1,100):str_i = str(i)realname = ‘jack‘ + str_iphone = 1380090911 + iemail = "jack" + str_i + "@mail.com"sql = ‘INSERT INTO sign_guest(realname,phone,sign,event_id) values ("‘+realname+‘",‘+str(phone)+‘,"‘+email+‘",0,1);‘f.write(sql)f.write("\n")f.close()3，将生成的语句粘贴到mysql客户端执行 4，按照此思路可以进行其他语句的批量执行。 python批量生成SQL语句...
用途： 批量删除当前连接redis的所有客户端，除了从库的IP和本机IP。 准备一个hosts.txt配置，里面按如下格式填写Redis集群信息# cat hosts.txt[test]h1 = 1.1.1.1h2 = 1.1.1.2h3 = 1.1.1.3[group1]h1 = 2.1.1.1h2 = 2.1.1.2h3 = 2.1.1.3# cat killclient.py用途： 批量删除当前连接redis的所有客户端，除了从库的IP和本机IP。准备一个hosts.txt配置，里面按如下格式填写Redis集群信息 # cat hosts.txt [test] h1 = 1.1.1.1 h2 = 1...
最近在跑任务的回溯，发现有时候，速度会很慢 ，一开始确定到了 是hbase就起了一个公用的thrift，大家最近也都在导数据，搞得thrift总是挂掉 。 后来在集群中的其他hbase上起了Thrift服务，每个业务用自己的接口，这样能稳定了不少。 既然问题已经到这里了，最近在跑任务的回溯，发现有时候，速度会很慢 ，一开始确定到了 是hbase就起了一个公用的thrift，大家最近也都在导数据，搞得thrift总是挂掉 。 后来在集群中的其他hbase上起...
背景 写了个小爬虫，爬了一堆图片回来，全都是webp格式的。 可我还在用着上古时代的AcdSee 3.2，一张张图片都拖到浏览器里去看也显得太傻了。 虽然我瘾大，可是人菜。 看了半天别的玩家写的各种奇奇怪怪的攻略，高人可以用powershell一句话搞定，我当然也知道powershell很好很强大，奈何我怎么改来改去在我的计算机上都跑不通。 最后只好还是求助我刚学会没几天的Python。 准备工作 这webp的始作俑者当然是Google，它家也提供一个软...
有些时候，我们不仅要对一张图片进行处理，可能还会对一批图片处理。这时候，我们可以通过循环来执行处理，也可以调用程序自带的图片集合来处理。 图片集合函数为： skimage.io.ImageCollection(load_pattern,load_func=None) 这个函数是放在io模块内的，带两个参数，第一个参数load_pattern, 表示图片组的路径，可以是一个str字符串。第二个参数load_func是一个回调函数，我们对图片进行批量处理就可以通过这个回调函数实现。回调...
文章目录 1、环境准备2、源代码1、环境准备 pip install requests pip install re pip install openpyxl2、源代码 import requests import re import openpyxl# 要爬取的网页 baseurl = 'https://zhuanlan.zhihu.com/p/357510629'# 创建Excel表并写入数据 wb = openpyxl.Workbook() # 创建Excel对象 ws = wb.active # 获取当前正在操作的表对象 # 往表中写入标题行,以列表形式写入！ ws.append(['事件名称', '时间', '地点名称'...
文章目录 一、获得批量源文件二、编译批量源代码1.关键的编译函数2.完整源代码3.遇到的问题4.解决的方式 三、python调用jar包1.中文乱码2.解决方法一、获得批量源文件 完整源代码 package compile;import java.io.File; import java.io.FileFilter; import java.util.ArrayList; import java.util.List; import java.util.Scanner;import javax.tools.JavaCompiler; import javax.tools.ToolProvider;//操作查找文件的类 public cl...
python批量切割语音文件（可以灵活控制切割长度） 话不多少，直接上代码： def file_name(file_dir):'''输入文件夹名称，并返回该文件夹下所有语音文件的完整路径(list类型):param file_dir::return:'''L = []for root, dirs, files in os.walk(file_dir):for file in files:if file.split('.')[-1] == 'wav':L.append(os.path.join(root, file))return Ldef cut_to_3s(src_dir,des_3s_dir,seconds_per_split_file):'''切割语音长度...
1.用微软提供的扩展库win32com来操作IE 2.用selenium的webdriver 3.用python自带的HTMLParser解析 一是用微软提供的扩展库win32com来操作IE：win32com可以获得类似js里面的document对象，但貌似是只读的（文档都没找到）。 二是用selenium的webdriver：selenium则提供了Chrome，IE，FireFox等的支持，每种浏览器都有execute_script和find_element_by_xx方法，可以方便的执行js脚本（包括修改元素）和读取html里面的元素。不足...
完整代码 import requests from lxml import etree import osdef get_user_input():print('要下载哪几页呀？可以输在下边，像这样"4 6 8"，用空格分开，或者中间加个减号表示范围，像这样"4-7"')user_input = input()if len(user_input) == 1:start_end_ = user_inputprint('你要下载的这页:' + str(start_end_))else:if '-' in user_input:test = list(user_input.replace('-', ' ').split())start_end_ = list(range(int(test[0]...
有时候我们有一些获取图片素材的需求，比如写博客或者公众号文章时，需要的插图和封面，当然这些图片必须是没有版权的免费图片，比较常用网站有pexels、pixabay等，今天再给大家介绍一个新的网站 ：http://alana.io/。由于是国外的网站，访问速度比较慢，一页一页找，非常费时间，所以想到用Python爬取下载到本地，然后使用关键词进行归类，后期直接预览使用。首先，我们要了解下爬取数据的基本流程：发起请求： 通过url向服务器发...