# -*- coding: utf-8 -*-"""Created on Mon Mar 21 11:04:54 2017@author: sl"""import requestsimport time #################################################################################################先找到对应的爬取验证码连接，例如我要爬取车违章信息################################################找到车违章链接http://smart.gzeis.edu.cn:8081/Content/AuthCode.aspx#####################################...
1、获取网站课程的分类地址；‘‘‘ 爬取屌丝首页，获取每个分类名称和链接 ‘‘‘import requests from lxml import etreeheaders = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36‘, } def get_class_data():list_data = []url = ‘http://www.diaosiweb.net/index.html‘responese = requests.get(url,headers=headers)responese.encoding...
#-*- coding:utf-8 -*-import re import osdef patch_md(filename):if filename.endswith(‘.md‘):return Truereturn Falsedef _patch_replace(text):pattern=re.compile(r‘(?<=!)\[.*\]\((.*)(?=\))‘)result = re.findall(pattern,text)for filedir in result:if‘\\‘in filedir:listfile = filedir.split(‘\\‘)else:listfile = filedir.split(‘/‘)pattern_file = r‘(?<=!)\[.*\]\(.*[\\/]+(?=‘+listfile[-1]+r‘\))‘p...
# 使用之前请在命令行pip install pymysqlimport pymysql# 1.创建链接 conn = pymysql.connect(host=‘127.0.0.1‘, # IP地址port=3306, # 端口号database=‘database_name‘, # 数据库名称user=‘mysql_username‘, # 数据库用户名password=‘mysql_password‘, # 数据库密码charset=‘utf8‘) # 编码# 2.建立游标 cursor = conn.cursor()# 3.执行sql语句 sql = ‘自己编写sql语句‘ cursor.execute(sql)# 4.根据查询的情况...
1import csv2import os3import requests4def urllib_download(IMAGE_URL,img_name): 5from urllib.request import urlretrieve 6 urlretrieve(IMAGE_URL, img_name+‘/‘+img_name+‘.jpg‘)7def request_download(IMAGE_URL,img_name,img_p): 8 r = requests.get(IMAGE_URL)9print(r.status_code) 10 with open(img_p+‘/‘+img_name+‘.jpg‘,‘wb‘) as f: 11 f.write(r.content) 1213d...
python列表的操作【list[]】： http://note.youdao.com/noteshare?id=93922f3174b1d8fac04514064656ce5a&sub=2644723DDA3A41EB8BB0847617647792 python元祖的操作【tuple()】： http://note.youdao.com/noteshare?id=d878f07ed9c2f887b5f852d07b44291a&sub=F0D8AACA601B4DEA82FC588256F46761 python集合的操作【set{}】： http://note.youdao.com/noteshare?id=159f0ac8782578aba711a5829836d592&sub=11C22B602CBA479D9AAF46F...
接着前面的内容，我们在这里继续介绍Python传递二维数组到fortran并进行简单计算后返回的例子。问题描述：Python的NumPy定义二维数组传递到Fortran程序计算后返回限制条件：Python中必须确定数组的大小即维数Python中用NumPy定义的数组存储方式必须是Fortran的按列存储实现方式：Python中使用NumPy定义Fortran方式存储的二维数组，利用ndpointer定义数组类型和维数，将二维数组的首地址和维数信息传入Fortran中进行计算并返回附注：...
# -*- coding: utf-8 -*- #python 27 #xiaodeng #python模块之HTMLParser抓页面上的所有URL链接import urllib #MyParser类写法一‘‘‘ from HTMLParser import HTMLParser class MyParser(HTMLParser):def __init__(self):HTMLParser.__init__(self)def handle_starttag(self, tag, attrs):if tag == ‘a‘:for name,value in attrs:if name == ‘href‘ and value.startswith(‘http‘):print value‘‘‘#MyParser类写法二impor...
测试功能：博客园首页网站分类的一级菜单链接和二级菜单链接的点击。遇到的问题： 1.循环点击二级菜单时，点击了一个一级菜单下的第一个二级菜单后，页面会刷新，再定位同一个一级菜单次下的第二个二级菜单时，会报错：找不到第二个二级菜单，这时需要对一级菜单重新定位赋值； 2.当一级菜单下的二级菜单太多时，在页面的不可见区域，这时会报错：element not interactable，这时需要滑动滚动条。 # coding=utf-8from seleni...
一、链接mysql数据，需要安装 PyMysql。 1.下载地址:https://github.com/PyMySQL/PyMySQL 。 2.安装方式： a.解压pymysql安装包。 b. cd 到 pymysql 目录。 c.执行 python setup.py install。 3.验证安装结果。 import pymysql ，不报错则是成功。 二、链接oralce ，需要安装cx_Oracle 官网下载地址：https://oracle.github.io/python-cx_Oracle/ 原文：https://www.cnblogs.com/jiangzp/p/11108177.html
我们常常需要下载网页上很多喜欢的图片，但是面对几十甚至上百张的图片，一个一个去另存为肯定是个很差的体验。我们可以用urllib包获取html的源码，再以正则表达式把匹配的图片链接放入一个list中，使用for循环来依次下载list中的链接。 import re import urllib a = raw_input("Please input a URL: ") s = urllib.urlopen(a) s2 = s.read()def image(s2):reg = r‘src="(.*?\.jpg)" pic_ext‘compile_reg = re.compile(reg)imag...
代码比较粗糙，主要是备忘容易出错的地方。供自己以后查阅。#图片下载import reimport urllib.request #python3中模块名和2.x（urllib）的不一样site=‘https://world.taobao.com/item/530762904536.htm?spm=a21bp.7806943.topsale_XX.4.jcjxZC‘page=urllib.request.urlopen(site)html=page.read()html=html.decode(‘utf-8‘) #读取下来的网页源码需要转换成utf-8格式reg=r‘src="//(gd.*?jpg)‘imgre=re.compile(reg)imgl...
很久之前我在Github上搞了一个LeetCode的仓库，但一直没怎么维护。最近发现自己刷了不少LC的题目了，想搬运到这个仓库上。玩Github最重要的当然是写README了，MD的逼格决定了项目牛逼不牛逼。但是让我一个一个去手写项目中的链接那是不可能的，这辈子都不可能手写，只有写脚本自动生成才能满足装逼的样子。import os import os.path # 根目录 rootdir="E:/gitTest/LeetCode/" list=[] result=[] # 定义链接前缀 prefix="https://gi...
下面代码下载京东注册码，可接收参数a.py num dir#!/usr/bin/python #code utf-8import urllib import time import sys import osurlbase = ‘https://authcode.jd.com/verify/image?a=0&acid=52b9316d-c9ab-4169-b39e-1217deaede7b&uid=52b9316d-c9ab-4169-b39‘‘e-1217deaede7b&srcid=reg&is=7c63fc289d9ce9f3ba8304f74c1b9f19&yys=‘picnum = 10 filedir = os.getcwd() + ‘/‘ lenarg = len(sys.argv) if lenarg == 2:picnum ...
这里和 获取链接略有不同，不是得到链接到url，而是获取每个链接的文字内容#!/opt/yrd_soft/bin/pythonimport re import urllib2 import requests import lxml from bs4 import BeautifulSoupurl = ‘http://www.baidu.com‘#page=urllib2.urlopen(url) page=requests.get(url).text pagesoup=BeautifulSoup(page,‘lxml‘) for link in pagesoup.find_all(name=‘a‘,attrs={"href":re.compile(r‘^http:‘)}): print link.g...