（1）方法一、直接用a标签的href+数据库中文件地址，即可下载。缺点：word excel是直接弹框下载，对于image txt 等文件的下载方式是直接在新页面打开。 （2）方法二、在python后台对下载内容进项处理，返回内容直接弹出下载框。#后台处理函数 def downloadFile(req):filename=basePath+req.GET[url]def file_iterator(file_name, chunk_size=512):with open(file_name) as f:while True:c = f.read(chunk_size)if c:yield celse:br...
本文实例讲述了Python下载指定页面上图片的方法。分享给大家供大家参考，具体如下：#!/usr/bin/python #coding:utf8 import re import urllib def getHtml(url):page = urllib.urlopen(url)html = page.read()return html def getImg(html):reg = rsrc="(.*?\.jpg)" imgre = re.compile(reg)imglist = re.findall(imgre,html)x = 0for imgurl in imglist:urllib.urlretrieve(imgurl,%s.jpg % x)x += 1 html = getHtml("http://tie...
本文实例讲述了python实现去除下载电影和电视剧文件名中的多余字符的方法，是一个非常实用的技巧，分享给大家供大家参考。具体如下： 有时候我们讨厌下载电影和电视剧文件名中的多余字符(如网址和广告字样),搞得文件名好长！不便于查看,这时候就可以使用下面的Python代码,自行修改即可. 具体实现代码如下：#!\usr\bin\env python # -*- coding: utf-8 -*- # Author: 吴徐平 # FileName: RefineFileName.py # Function: # 下载...
测试url：http://tieba.baidu.com/p/27141123322?pn=begin 1end 4 代码如下:import string ,urllib2 def baidu_tieba(url,begin_page,end_page): for i in range(begin_page, end_page+1): sName = string.zfill(i,5)+ .html print 正在下载第 + str(i) + 个网页，并将其存储为 + sName + .......... f = open (sName,w+) m = urllib2.urlopen(url + str(i)).read() f.write(m) f...
代码如下:#!/usr/bin/python3.2import os,socketimport urllibimport urllib.request,threading,timeimport re,sysglobal manhuaweb,weburl,floder,chapterbegin,currentthreadnum,threadcount,mutex,mutex2 weburl=floder=chapterbegin=0currentthreadnum=0threadcount=6 if len(sys.argv)>=3: weburl=sys.argv[1] floder=sys.argv[2]else: print("usag: downloadmanhua weburl floder chapterbegin=0 threadnnum=6") sy...
代码如下:#! /usr/bin/python2.7# -- coding:utf-8 -- import os, urllib,urllib2, thread,threadingimport re #匹配音乐urlreg=re.compile({"name":"(.+?)".+?"rawUrl":"(.+?)",.+?}, re.I) class downloader(threading.Thread): def __init__(self, url, name): threading.Thread.__init__(self) self.url=url self.name=namedef run(self): print download...
代码如下:# -*- coding:utf-8 -*-import httplibimport urllibimport stringimport redef getContent(): #从网站中获取所有内容 conn = httplib.HTTPConnection("tu.duowan.com") conn.request("GET", "/m/meinv/index.html") r = conn.getresponse() print r.status, r.reason data1 = r.read()#.decode(utf-8) #编码根据实际情况酌情处理 return data1 def getImageUrl(data): #将获取到img链接写到...
代码如下:#coding:utf-8 import urllib.request import xml.dom.minidom import sqlite3 import threading import time class logger(object): def log(self,*msg): for i in msg: print(i) Log = logger() Log.log(测试下) class downloader(object): def __init__(self,url): self.url = url def download(self): Log.log(开始下载,self.url) try: content = urllib.request.urlopen(self.url).read() #req = urllib.request.Req...
本文实例讲述了python实现从网络下载文件并获得文件大小及类型的方法。分享给大家供大家参考。具体实现方法如下：import urllib2 from settings import COOKIES opener = urllib2.build_opener() cookies = ";".join("%s=%s" % (k, v) for k, v in COOKIES.items()) opener.addheaders.append((Cookie, cookies)) req = opener.open(link) meta = req.info() file_size = int(meta.getheaders("Content-Length")[0]) content_type ...
本文实例讲述了python下载文件时显示下载进度的方法。分享给大家供大家参考。具体分析如下： 将这段代码放入你的脚本中，类似：urllib.urlretrieve(getFile, saveFile, reporthook=report) 第三个参数如下面的函数定义report，urlretrieve下载文件时会实时回调report函数，显示下载进度def report(count, blockSize, totalSize):percent = int(count*blockSize*100/totalSize)sys.stdout.write("\r%d%%" % percent + complete)sys...
本文实例讲述了Python实现从订阅源下载图片的方法。分享给大家供大家参考。具体如下： 这段代码是基于python 3.4实现的，和python2.X 比起来有了好多差别啊。 这是一个练习，数据源来自网易订阅。代码如下：代码如下:__author__ = Saint import os import urllib.request import json from html.parser import HTMLParser # 从获取的网页内容筛选图片的内容 class MyHtmlParser(HTMLParser):links = []def handle_starttag(self, t...
本文实例讲述了Python获取网页上图片下载地址的方法。分享给大家供大家参考。具体如下： 这里获取网页上图片的下载地址是正在写的数据采集中的一段，代码如下：代码如下:#!/user/bin/python3 import urllib2 from HTMLParser import HTMLParser class MyHtmlParser(HTMLParser):links = []def handle_starttag(self, tag, attrs):if tag == "img":if len(attrs) == 0:passelse:for name, value in attrs:if name == "src":self.lin...
Python下载网易云音乐的高清MV，没有从首页进去解析，直接循环了.... downPage1.py代码如下: #coding=utf-8 import urllib import re import os def getHtml(url):page = urllib.urlopen(url)html = page.read()return html def getVideo(html):reg = rhurl=(.+?\.jpg)imgre = re.compile(reg)imglist = re.findall(imgre,html)return imglist for num in range(28000,1000000):print numhtml = getHtml("http://music.163.com/mv?...
本文实例讲述了python基于queue和threading实现多线程下载的方法，分享给大家供大家参考。具体方法如下： 主代码如下：#download worker queue_download = Queue.Queue(0) DOWNLOAD_WORKERS = 20 for i in range(DOWNLOAD_WORKERS): DownloadWorker(queue_download).start() #start a download worker for md5 in MD5S: queue_download.put(md5) for i in range(DOWNLOAD_WORKERS): queue_download.put(None) 其中downloadworkers....
我第一次接触爬虫这东西是在今年的5月份，当时写了一个博客搜索引擎，所用到的爬虫也挺智能的，起码比电影来了这个站用到的爬虫水平高多了！ 回到用Python写爬虫的话题。 Python一直是我主要使用的脚本语言，没有之一。Python的语言简洁灵活，标准库功能强大，平常可以用作计算器，文本编码转换，图片处理，批量下载，批量处理文本等。总之我很喜欢，也越用越上手，这么好用的一个工具，一般人我不告诉他。。。 因为其强大的字符串...