# -*- coding: utf-8 -*-"""Created on Mon Mar 21 11:04:54 2017@author: sl"""import requestsimport time #################################################################################################先找到对应的爬取验证码连接，例如我要爬取车违章信息################################################找到车违章链接http://smart.gzeis.edu.cn:8081/Content/AuthCode.aspx#####################################...
1、获取网站课程的分类地址；‘‘‘
爬取屌丝首页，获取每个分类名称和链接
‘‘‘import requests
from lxml import etreeheaders = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36‘,
}
def get_class_data():list_data = []url = ‘http://www.diaosiweb.net/index.html‘responese = requests.get(url,headers=headers)responese.encoding...
#-*- coding:utf-8 -*-import re
import osdef patch_md(filename):if filename.endswith(‘.md‘):return Truereturn Falsedef _patch_replace(text):pattern=re.compile(r‘(?<=!)\[.*\]\((.*)(?=\))‘)result = re.findall(pattern,text)for filedir in result:if‘\\‘in filedir:listfile = filedir.split(‘\\‘)else:listfile = filedir.split(‘/‘)pattern_file = r‘(?<=!)\[.*\]\(.*[\\/]+(?=‘+listfile[-1]+r‘\))‘p...
# 使用之前请在命令行pip install pymysqlimport pymysql# 1.创建链接
conn = pymysql.connect(host=‘127.0.0.1‘, # IP地址port=3306, # 端口号database=‘database_name‘, # 数据库名称user=‘mysql_username‘, # 数据库用户名password=‘mysql_password‘, # 数据库密码charset=‘utf8‘) # 编码# 2.建立游标
cursor = conn.cursor()# 3.执行sql语句
sql = ‘自己编写sql语句‘
cursor.execute(sql)# 4.根据查询的情况...
1import csv2import os3import requests4def urllib_download(IMAGE_URL,img_name): 5from urllib.request import urlretrieve 6 urlretrieve(IMAGE_URL, img_name+‘/‘+img_name+‘.jpg‘)7def request_download(IMAGE_URL,img_name,img_p): 8 r = requests.get(IMAGE_URL)9print(r.status_code)
10 with open(img_p+‘/‘+img_name+‘.jpg‘,‘wb‘) as f:
11 f.write(r.content)
1213d...
python列表的操作【list[]】： http://note.youdao.com/noteshare?id=93922f3174b1d8fac04514064656ce5a&sub=2644723DDA3A41EB8BB0847617647792 python元祖的操作【tuple()】： http://note.youdao.com/noteshare?id=d878f07ed9c2f887b5f852d07b44291a&sub=F0D8AACA601B4DEA82FC588256F46761 python集合的操作【set{}】： http://note.youdao.com/noteshare?id=159f0ac8782578aba711a5829836d592&sub=11C22B602CBA479D9AAF46F...
接着前面的内容，我们在这里继续介绍Python传递二维数组到fortran并进行简单计算后返回的例子。问题描述：Python的NumPy定义二维数组传递到Fortran程序计算后返回限制条件：Python中必须确定数组的大小即维数Python中用NumPy定义的数组存储方式必须是Fortran的按列存储实现方式：Python中使用NumPy定义Fortran方式存储的二维数组，利用ndpointer定义数组类型和维数，将二维数组的首地址和维数信息传入Fortran中进行计算并返回附注：...
# -*- coding: utf-8 -*-
#python 27
#xiaodeng
#python模块之HTMLParser抓页面上的所有URL链接import urllib
#MyParser类写法一‘‘‘
from HTMLParser import HTMLParser
class MyParser(HTMLParser):def __init__(self):HTMLParser.__init__(self)def handle_starttag(self, tag, attrs):if tag == ‘a‘:for name,value in attrs:if name == ‘href‘ and value.startswith(‘http‘):print value‘‘‘#MyParser类写法二impor...
测试功能：博客园首页网站分类的一级菜单链接和二级菜单链接的点击。遇到的问题： 1.循环点击二级菜单时，点击了一个一级菜单下的第一个二级菜单后，页面会刷新，再定位同一个一级菜单次下的第二个二级菜单时，会报错：找不到第二个二级菜单，这时需要对一级菜单重新定位赋值； 2.当一级菜单下的二级菜单太多时，在页面的不可见区域，这时会报错：element not interactable，这时需要滑动滚动条。 # coding=utf-8from seleni...
一、链接mysql数据，需要安装 PyMysql。 1.下载地址:https://github.com/PyMySQL/PyMySQL 。 2.安装方式： a.解压pymysql安装包。 b. cd 到 pymysql 目录。 c.执行 python setup.py install。 3.验证安装结果。 import pymysql ，不报错则是成功。 二、链接oralce ，需要安装cx_Oracle 官网下载地址：https://oracle.github.io/python-cx_Oracle/ 原文：https://www.cnblogs.com/jiangzp/p/11108177.html
我们常常需要下载网页上很多喜欢的图片，但是面对几十甚至上百张的图片，一个一个去另存为肯定是个很差的体验。我们可以用urllib包获取html的源码，再以正则表达式把匹配的图片链接放入一个list中，使用for循环来依次下载list中的链接。 import re
import urllib
a = raw_input("Please input a URL: ")
s = urllib.urlopen(a)
s2 = s.read()def image(s2):reg = r‘src="(.*?\.jpg)" pic_ext‘compile_reg = re.compile(reg)imag...
代码比较粗糙，主要是备忘容易出错的地方。供自己以后查阅。#图片下载import reimport urllib.request #python3中模块名和2.x（urllib）的不一样site=‘https://world.taobao.com/item/530762904536.htm?spm=a21bp.7806943.topsale_XX.4.jcjxZC‘page=urllib.request.urlopen(site)html=page.read()html=html.decode(‘utf-8‘) #读取下来的网页源码需要转换成utf-8格式reg=r‘src="//(gd.*?jpg)‘imgre=re.compile(reg)imgl...
很久之前我在Github上搞了一个LeetCode的仓库，但一直没怎么维护。最近发现自己刷了不少LC的题目了，想搬运到这个仓库上。玩Github最重要的当然是写README了，MD的逼格决定了项目牛逼不牛逼。但是让我一个一个去手写项目中的链接那是不可能的，这辈子都不可能手写，只有写脚本自动生成才能满足装逼的样子。import os
import os.path
# 根目录
rootdir="E:/gitTest/LeetCode/"
list=[]
result=[]
# 定义链接前缀
prefix="https://gi...
下面代码下载京东注册码，可接收参数a.py num dir#!/usr/bin/python
#code utf-8import urllib
import time
import sys
import osurlbase = ‘https://authcode.jd.com/verify/image?a=0&acid=52b9316d-c9ab-4169-b39e-1217deaede7b&uid=52b9316d-c9ab-4169-b39‘‘e-1217deaede7b&srcid=reg&is=7c63fc289d9ce9f3ba8304f74c1b9f19&yys=‘picnum = 10
filedir = os.getcwd() + ‘/‘
lenarg = len(sys.argv)
if lenarg == 2:picnum ...
这里和 获取链接略有不同，不是得到链接到url，而是获取每个链接的文字内容#!/opt/yrd_soft/bin/pythonimport re
import urllib2
import requests
import lxml
from bs4 import BeautifulSoupurl = ‘http://www.baidu.com‘#page=urllib2.urlopen(url)
page=requests.get(url).text
pagesoup=BeautifulSoup(page,‘lxml‘)
for link in pagesoup.find_all(name=‘a‘,attrs={"href":re.compile(r‘^http:‘)}):
print link.g...
