Python实现批量下载文件#!/usr/bin/env python # -*- coding:utf-8 -*-from gevent import monkey monkey.patch_all() from gevent.pool import Pool import requests import sys import osdef download(url):chrome = Mozilla/5.0 (X11; Linux i86_64) AppleWebKit/537.36 + (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36headers = {User-Agent: chrome}filename = url.split(/)[-1].strip()r = requests.get(url.str...
自己写的方法，适用于linux，#!/usr/bin/python #coding=utf-8 import sys import os, os.path import dircache import commands def add(x,y):return x*ydef trans(dirname):lis = dircache.opendir(dirname)for a in lis: af=dirname+os.sep+a ## print afif os.path.isdir(af): ## print af trans(af) else:## print af+"encoding="+fi.nameft = commands.getoutput(file -i +af) ## print ftif a.find(.htm)==-1 and a.find(.x...
DesktopNexus 是我最喜爱的一个壁纸下载网站，上面有许多高质量的壁纸，几乎每天必上， 每月也必会坚持分享我这个月来收集的壁纸 但是 DesktopNexus 壁纸的下载很麻烦，而且因为壁纸会通过浏览器检测你当前分辨率来展示 合适你当前分辨率的壁纸，再加上是国外的网站，速度上很不乐观。 于是我写了个脚本，检测输入的页面中壁纸页面的链接，然后批量下载到指定文件夹中。 脚本使用 python 写的，所以需要机器上安装有 python 。 用法...
女友让我给她论文的图片上加上字母序号，本来觉得是个很简单的事情，但那个白底黑字的圆圈序号却难住了我， 试了几个常用的软件，都不行。 后来用 PS + 动作，倒是能搞出来，不过也不容易，正好那天没搞完，于是拿回自己家做，但我的电脑上又没有 PS， 所以就用 python 实现了。 效果图这里用的图片全是 240X240 的，按文件名的首字母作为序号，PIL 虽然可以计算文字的尺寸，但类似 D 这样的字符依然不能处于圆圈的正中，所以还对个...
网络爬虫抓取特定网站网页的html数据，但是一个网站有上千上万条数据，我们不可能知道网站网页的url地址，所以，要有个技巧去抓取网站的所有html页面。Scrapy是纯Python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～Scrapy 使用wisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。整体架构如下图所示：绿线是...
本文实例讲述了python实现JAVA源代码从ANSI到UTF-8的批量转换方法。分享给大家供大家参考。具体如下： 喜欢用eclipse的大神们，可能一不小心代码就变成ANSI码了，需要转换成utf-8嘛，一个文件一个文件的在Notepad2或者notepad++里面转换么？不，这里有批量转换的程序，python实现，需要的拿去用吧。 ansi2utf8.py：#-*- coding: utf-8 -*- import codecs import os import shutil import re import chardet def convert_encoding(f...
单位收集了很多word格式的调查表，领导需要收集表单里的信息，我就把所有调查表放一个文件里，写了个python小程序把所需的信息打印出来#coding:utf-8import os import win32com from win32com.client import Dispatch, constants from docx import Documentdef parse_doc(f):"""读取doc，返回姓名和行业"""doc = w.Documents.Open( FileName = f )t = doc.Tables[0] # 根据文件中的图表选择信息name = t.Rows[0].Cells[1].Range.Te...
下面通过COM让Python与Word建立连接实现Python操作Word批量生成文章，具体介绍请看下文： 需要做一些会议记录。总共有多少呢？五个地点x7个月份x每月4篇=140篇。虽然不很重要，但是140篇记录完全雷同也不好。大体看了一下，此类的记录大致分为四段。于是决定每段提供四种选项，每段从四选项里随机选一项，拼凑成四段文字，存成一个文件。而且要打印出来，所以准备生成一个140页的Word文档，每页一篇。 需要用到win32com模块(下载链...
本文实例讲述了Python实现批量修改文件名的方法。分享给大家供大家参考。具体如下： 下载了评书《贺龙传奇》，文件名中却都含有xxx有声下载，用脚本将其去掉。脚本涉及os.rename重命名方法，str.partition方法使用， 及正则match，search方法区别# encoding:utf-8 ## # 文件名如: # 贺龙传奇\d+[有声下吧www.ysx8.com].mp3 ## import os,re fs=os.listdir(单田芳_贺龙传奇) for f in fs:######方法一：partition获取无用字符#1.将文...
本文实例讲述了Python实现批量读取word中表格信息的方法。分享给大家供大家参考。具体如下： 单位收集了很多word格式的调查表，领导需要收集表单里的信息，我就把所有调查表放一个文件里，写了个python小程序把所需的信息打印出来#coding:utf-8 import os import win32com from win32com.client import Dispatch, constants from docx import Document def parse_doc(f):"""读取doc，返回姓名和行业"""doc = w.Documents.Open( Fil...
需求： 1.需要往数据库插入批量数据，且数据需要随机，带有日期格式的数据。 2.查看目的接收表，存在唯一key，字段2是日期格式。其他数据可以一样。 首先需要写一个链接数据库的函数：import MySQLdb class MySql(): def __init__(self, db): self.mysql = MySQLdb.Connect( host="10.100.111.111", port=33066, user="mysql", passwd="123456", db=db, ...
背景 平台目前的分析任务主要以Hive为主，分析后的结果存储在HDFS，用户通过REST API或者Rsync的方式获取分析结果，这样的方式带来以下几个问题： （1）任务执行结束时间未知，用户必须自行编写代码不断地通过REST API请求分析结果，直至获取到分析结果为止，其中还需要处理分析结果过大，转而通过Rsync方式获取； （2）受限于Hive SQL的表达能力，用户的计算逻辑无法完全表述，获取分析结果后需要再计算，然后入库； （3）...
coding: utf-8 import MySQLdb import time# common config EXEC_DETAIL_FILE = ‘exec_detail.txt‘ DATETIME_FORMAT = ‘%Y-%m-%d %X‘ Default_MySQL_Host = ‘192.168.166.169‘ Default_MySQL_Port = 3358 Default_MySQL_User = "mysql_admin" Default_MySQL_Password = ‘mysql@Admin@Pwd‘ Default_MySQL_Charset = "utf8" Default_MySQL_Connect_TimeOut = 120# Transfer Config Transfer_Database_Name = "db001" Transfe...
使用paramiko,pymysql批量管理主机, 用户信息，及主机信息存在数据库中 例子: #!/usr/bin/python # --*-- coding:utf-8 --*-- import paramiko import pymysql from threading import Thread, RLock import sysdef connect_user_tb(): """返回执行sql结果""" conn = pymysql.Connect(host=‘127.0.0.1‘, port=3306, user=‘root‘, password=‘aixocm‘, database=‘oldboy‘, charset=‘utf8‘) cursor = conn.curso...
f = open("xx.txt",‘w‘)2 for i in range(1,50001):3 str_i = str(i)4 realname = "lxs"+str_i5 phone = 13678101715 + i6 email = "lxs" + str_i +"@126.com"7 sql = ‘insert into table_a (realname,phone,email,sign,event_id) values ("‘+realname+‘",‘ +str(phone)+ ‘,"‘+email+‘",0,1);‘8 f.write(sql)9 f.write("\n") 10 print(‘50000 success!‘) 11 f.close() python脚本批量生成...