post方式# -*- coding:utf-8 -*-import urllib.parse #python2 在这道程序中只需引入urllibimport urllib.request #python 在这道程序中引入urllib2values = {}values[‘username‘]="借物少年"values[‘password‘]="XXXXXXX"data=urllib.parse.urlencode(values).encode(encoding=‘utf-8‘)url="http://passport.cnblogs.com/user/signin?ReturnUrl=http%3A%2F%2Fwww.cnblogs.com%2F"request1=urllib.request.Request(url,dat...
python 2.7.6urllib:发送报文并得到responseBeautifulSoup：解析报文的body（html）#encoding=UTF-8 from bs4 import BeautifulSoup from urllib import urlopen import urlliblist_no_results=[]#没查到的银行卡的list list_yes_results=[]#已查到的银行卡的list#解析报文，以字典存储 def parseData(htmls,code): dic={} s=BeautifulSoup(htmls) if code==‘00‘: list=s.find_all(‘td‘,‘STYLE2‘,align=...
urlparse模块主要是用于解析url中的参数 对url按照一定格式进行 拆分或拼接 1.urlparse.urlparse将url分为6个部分，返回一个包含6个字符串项目的元组：协议、位置、路径、参数、查询、片段。import urlparse url_change = urlparse.urlparse(‘https://i.cnblogs.com/EditPosts.aspx?opt=1‘) print url_change输出结果为：ParseResult(scheme=‘https‘, netloc=‘i.cnblogs.com‘, path=‘/EditPosts.aspx‘, params=‘‘, quer...
qqmusic上的音乐还是不少的，有些时候想要下载好听的音乐，但有每次在网页下载都是烦人的登录什么的。于是，来了个qqmusic的爬虫。 至少我觉得for循环爬虫，最核心的应该就是找到待爬元素所在url吧。下面开始找吧（讲的不对不要笑我）#寻找url： 这个url可不想其他的网站那么好找。把我给累得不轻，关键是数据多，从那么多数据里面挑出有用的数据，最后组合为music真正的music。昨天做的时候整理的几个中间url：#url1：https...
django的url采用正则表达式进行配置，虽然强大却也广为诟病。反对者们认为django的url配置过于繁琐，且不支持默认的路由功能。我倒觉得还好，只是如果觉得不爽，为什么不自己小小的hack一下，反正也就几行代码的事。在这个背景下，我整了这个url_helper，利用url_helper可以简化配置和实现url的默认路由。所谓的url_helper其实就只有url_helper.py一个文件，使用的时候只想要import就可以。url_helper的具体用法请参考具体的例子：...
# -*- coding: utf-8 -*- #python 27 #xiaodeng #python模块之HTMLParser抓页面上的所有URL链接import urllib #MyParser类写法一‘‘‘ from HTMLParser import HTMLParser class MyParser(HTMLParser):def __init__(self):HTMLParser.__init__(self)def handle_starttag(self, tag, attrs):if tag == ‘a‘:for name,value in attrs:if name == ‘href‘ and value.startswith(‘http‘):print value‘‘‘#MyParser类写法二impor...
场景 测试中，访问1个页面然后判断其title是否符合预期是很常见的1个用例，所谓用例不够，title来凑就是这个道理。更具体一点，假设1个页面的title应该是‘hello world‘, 那么可以写这样的一个用例：访问该页面，获取该页面的title，判断获取的值是否等于‘hello world‘。 获取当前页面的url也是非常重要的一个操作。在某些情况下，你访问一个url，这时系统会自动对这个url进行跳转，这就是所谓的‘重定向‘。一般测...
import urllib2 from urllib import quotef = open("data.in", "r") out = file("data2.out","w+") a = 1.0 for line in f:#print line stri = quote(line)url =‘*******‘+stri #print urltry:data = urllib2.urlopen(url)except:date = ‘error‘no = str(a)out.writelines(no+‘‘+ data.read())a = a+ 1if (a%1000==0):print a#print data.read() f.close()out.close() 原文：http://www.cnblogs.com/huhuuu/p/5192799.ht...
前言：今天和朋友聊起了邮件的发送，他那边有个业务是定期给大量的用户发新事物邮件，经常会有被拒的情况，还有就是他们的报警有点多，搞得exchange时常有压力，现在这哥们正琢磨着要搞邮件集群，我觉得没必要这么纠结，咱们可以利用第三方的邮件api。国外有mailgun，国内有个sohu的sendcloud，这东西好多公司再用，比如youku，letv，安全宝、csdn等。。。sendcloud不是简单的类似qq企业邮箱的方案，他的接口很是丰富，有发邮件，收...
上代码 1#codeing:utf-8 2from urllib import parse3 4 ori_url_10=‘http://192.168.0.10:3080/asg/portal.do?call=230&json={"pri":{"search_key":"","f":"f1,f2,f3,f4,f5,f7,f9,f10,f11","sadu":"0","apkversion":"1","imeibak":"868805034766728,868805034854508,A000008C057C25","isInsHwSevice":true,"utd_id":"Wt1InLx\/qxUDAETE+FTqwQkW","czip":"0","supportLoginWay":["QQ","WECHAT","SINA","PHONE_NUM_VERIFY","HUAWEI"...
今天突发奇想小试爬虫,获取一下某素材站一些图片实现步骤如下:import re import requests from urllib import request import os# 1.首先要检查数据是否是动态加载出来的 # 2.获取页面源码数据ifnot os.path.exists(‘tupian‘):os.mkdir(‘tupian‘) headers = {"User-Agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36" } url = "http://sc...
首先说明一下我的爬虫环境是基于py2.x的， 为什么用这个版本呢，因为py2.x的版本支持的多，而且一般会使用py2.x环境，基本在py3.x也没有太大问题，好了，进入正题！ urllib 与 urllib2urllib与urllib2是Python内置的，要实现Http请求，以urllib2为主,urllib为辅. 构建一个请求与响应模型import urllib2strUrl = "http://www.baidu.com" response = urllib2.urlopen(strUrl) print response.read()得到： <div ><b>网页</b><a href...
1.urlopen()方法urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。参数url表示远程数据的路径，一般是网址；参数data表示以post方式提交到url的数据(玩过web的人应该知道提交数据的两种方式：post与get。如果你不清楚，也不必太在意，一般情况下很少用到这个参数)；参数proxies用于设置代理。urlopen返回 一个类文件对象，它提供了如下方法：read(...
1、url编码和url解码打开浏览器，输入"python基础教程"，点击搜索后，地址栏会有一长串的类似于 %DFBGN这种 就是url编码对应的搜索内容，具体如下：https://www.so.com/s?q=python%E5%9F%BA%E7%A1%80%E6%95%99%E7%A8%8B&src=srp&fr=360chrome_newtab_search&psid=9fcfb50581a9a0358a7459af7832c302那么如何用代码来进行url编码和url解码呢from urllib import parse url=‘http://www.baidu.com?query=python基础教程‘ url_str=par...
官方文档地址：https://docs.python.org/3/library/urllib.html什么是UrllibUrllib是python内置的HTTP请求库包括以下模块urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser robots.txt解析模块urlopen关于urllib.request.urlopen参数的介绍：urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)url参数的使用先写一个简单...