直接上代码: 代码如下:# -*- coding: cp936 -*-import urllibimport osprint Download data......url = http://cn.bing.comurlFile = urllib.urlopen(url)data = urlFile.read()urlFile.close()data = data.decode(utf-8)pre = g_img={url:\index1 = data.find(pre) + len(pre)index2 = data.find(\, index1)imgUrl = data[index1 : index2]preImg = uh3>今日图片故事index3 = data.find(preImg) + len(preImg)index4 = data.find(...
《hadoop权威指南》的天气数据可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa下载，在网上看到这个数据好开心，打开ftp发现个问题，呀呀，这么多文件啊，我一个个去点另存为，得点到啥时候啊，迅雷应该有批量下载，只是我没找到，估计是我浏览器把迅雷禁掉了，干脆自己用python写一个实现下载好了，网上早了一下，发现很简单啊代码如下:#!/usr/bin/python#-*- coding: utf-8 -*- from ftplib import FTP def ftpconnect(): ftp_...
测试平台 Ubuntu 13.04 X86_64 Python 2.7.4 花了将近两个小时， 问题主要刚开始没有想到传一个文件对象到线程里面去， 导致下载下来的文件和源文件MD5不一样，浪费不少时间. 有兴趣的同学可以拿去加上参数，改进下， 也可以加上断点续传.代码如下:# -*- coding: utf-8 -*-# Author: ToughGuy# Email: wj0630@gmail.com# 写这玩意儿是为了初步了解下python的多线程机制# 平时没写注释的习惯, 这次花时间在代码里面写上注释也是希望...
代码如下:#! /usr/bin/env python#coding=utf-8 from __future__ import unicode_literals from multiprocessing.dummy import Pool as ThreadPoolimport threading import osimport sysimport cPicklefrom collections import namedtupleimport urllib2from urlparse import urlsplit import time # global locklock = threading.Lock() # default parametersdefaults = dict(thread_count=10, buffer_size=10*1024, block_...
代码如下: def report_hook(count, block_size, total_size):... print %02d%%%(100.0 * count * block_size/ total_size)... urllib.urlretrieve("http://sports.sina.com.cn/", reporthook= report_hook)00%01%03%...
代码如下: # -*- coding: utf-8 -*- import re import urllib def getHtml(url): #找出给出网页的源码 page = urllib.urlopen(url) html = page.read() return html def getImg(html): #正则 reg = rsrc="(.*?\.jpg)" #编译正则 imgre = re.compile(reg) #找出图片地址 imglist = re.findall(imgre,html) #循环遍历 x = 0 for i in imglist: urllib.urlretrieve(i,%s.jpg % x) x+=1 html = getHtml(rhttp://www.renren.com/) getIm...
通过urllib2、re模块抓种子 思路 1.用程序登录论坛(如果需要登录才能访问的版块) 2.访问指定版块 3.遍历帖子（先取指定页，再遍历页面所有帖子的url） 4.循环访问所有帖子url，从帖子页面代码中取种子下载地址（通过正则表达式或第三方页面解析库） 5.访问种子页面下载种子代码如下:import urllibimport urllib2import cookielibimport reimport sysimport os # site is website address | fid is part idsite = "http://xxx.yyy.z...
实现简单的多线程下载，需要关注如下几点：1.文件的大小：可以从reponse header中提取，如“Content-Length:911”表示大小是911字节2.任务拆分：指定各个线程下载的文件的哪一块，可以通过request header中添加“Range: bytes=300-400”（表示下载300~400byte的内容），注意可以请求的文件的range是[0, size-1]字节的。3.下载文件的聚合：各个线程将自己下载的文件块保存为临时文件，所有线程都完成后，再将这些临时文件按顺序聚合...
这次这个真的是干货哦，昨晚弄了半晚上，，，，从8点吃完饭就开始写，一直到了快12点才弄好，，，新手，伤不起呀。。。。 先简单的说下吧，百度提供了一个音乐搜索的api，你想百度请求类似于http://box.zhangmen.baidu.com/x?op=12&count=1&title=最佳损友$$陈奕迅$$$$的地址，百度会给你返回一段xml，如下所示This XML file does not appear to have any style information associated with it. The document tree is shown below...
下载8000首儿歌的python的代码：代码如下: #-*- coding: UTF-8 -*- from pyquery import PyQuery as py from lxml import etree import urllib import re import os import sys import logging def format(filename):tuple=( ,,\)for char in tuple:if (filename.find(char)!=-1):filename=filename.replace(char,"_")return filename def download_mp3(mp3_url, filename,dir): f = dir+"\\"+filenameif os.path.exists(f):...
RFC文档有很多，有时候在没有联网的情况下也想翻阅，只能下载一份留存本地了。 看了看地址列表，大概是这个范围： http://www.networksorcery.com/enp/rfc/rfc1000.txt ... http://www.networksorcery.com/enp/rfc/rfc6409.txt 哈哈，很适合批量下载，第一个想到的就是迅雷…… 可用的时候发现它只支持三位数的扩展(用的是迅雷7)，我想要下的刚好是四位数…… 郁闷之下萌生自己做一个的想法！ 这东西很适合用python做，原理很简单，...
本文实例讲述了Python使用scrapy采集数据过程中放回下载过大页面的方法。分享给大家供大家参考。具体分析如下： 添加以下代码到settings.py，myproject为你的项目名称代码如下:DOWNLOADER_HTTPCLIENTFACTORY = myproject.downloader.LimitSizeHTTPClientFactory 自定义限制下载过大页面的模块代码如下:MAX_RESPONSE_SIZE = 1048576 # 1Mb from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGe...
1.JavaScript 加密什么的最讨厌了 :-( 1).eval 一个不依赖外部变量的函数立即调用很天真，看我 nodejs 来干掉你！ 2).HTTP 请求的验证首先尝试 Referer，「小甜饼」没有想像中的那么重要。 3).curl 和各命令行工具处理起文本很顺手呢 4).但是 Python 也没多几行呢 2.Requests 效率比 lxml 自己那个好太多 3.progressbar 太先进了，我还是自个儿写吧…… 4.argparse 写 Python 命令行程序必备啊～ 5.string.Template也很好用哦 6.以...
本文实例讲述了python实现从ftp服务器下载文件的方法。分享给大家供大家参考。具体实现方法如下：import ftplib ftp = ftblib.FTP("ftp.yourServer.com") ftp.login("username","password") filename = "index.html" ftp.storlines("STOR "+filename,open(filename)) filename="app.exe" ftp.storbinary("STOR "+filename,open(filename,"rb"),1024)希望本文所述对大家的Python程序设计有所帮助。
访问FTP，无非两件事情：upload和download，最近在项目中需要从ftp下载大量文件，然后我就试着去实验自己的ftp操作类，如下（PS：此段有问题，别复制使用，可以参考去试验自己的ftp类！）import os from ftplib import FTPclass FTPSync():def __init__(self, host, usr, psw, log_file):self.host = hostself.usr = usrself.psw = pswself.log_file = log_filedef __ConnectServer(self):try:self.ftp = FTP(self.host)self.ftp.l...