首页 / PYTHON / Python 遍历网页目录并下载满足条件的文件

Python 遍历网页目录并下载满足条件的文件

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python 遍历网页目录并下载满足条件的文件，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6406字，纯文字阅读大概需要10分钟。

内容图文

标题有点夸张，我最终的目的其实是：用 Python 从指定网页下载 centos7.6.1810 所有 src.rpm 源码包（我找过 centos 的镜像，都无一例外没有源码包目录，感觉很不人性化，而且网页上的源码文件也没有统一在一个目录下，手动下载那么多源码包好像也不太现实。不像 openEuler 至少还有个 https://repo.openeuler.org/openEuler-20.03-LTS-SP1/ISO/source/ 源码包镜像地址的链接）。

这也是事情的起因。哈哈，这个主题可能不具有普适性（我应该也打上一个自家用的标签才好 ^_^），不过刚好是我最近遇到的其中一个问题，于是乎索性写一写罢了。

我能得到的起始的 url 地址是这个：http://mirror.nsc.liu.se/centos-store/7.6.1810/ 。用浏览器打开是下面这丫的样子（可以看到左下角有个 lighttpd 的字样，所以想来应该和 nginx 索引目录列表提供用户下载文件的原理差不多）。

Python 遍历网页目录并下载满足条件的文件 - 文章图片

用 lftp http://mirror.nsc.liu.se/centos-store/7.6.1810/ 命令好像也可以进去（不过这命令用得不多，很尴尬，后面再来研究一下它，说不定有奇效）。

[root@localhost ttt]# lftp http://mirror.nsc.liu.se/centos-store/7.6.1810/
cd ok, cwd=/centos-store/7.6.1810                                     
lftp mirror.nsc.liu.se:/centos-store/7.6.1810> ls
drwxr-xr-x  --  ..                   
drwxr-xr-x               2018-11-29 00:58  atomic
drwxr-xr-x               2018-11-29 16:54  centosplus
drwxr-xr-x               2018-11-28 23:59  cloud
drwxr-xr-x               2018-11-29 00:59  configmanagement
drwxr-xr-x               2018-12-02 15:34  cr
drwxr-xr-x               2017-09-29 14:33  dotnet
drwxr-xr-x               2018-11-29 16:55  extras
drwxr-xr-x               2017-09-01 13:08  fasttrack
drwxr-xr-x               2018-11-27 09:05  isos
drwxr-xr-x               2018-11-29 00:59  nfv
drwxr-xr-x               2018-11-29 00:59  opstools
drwxr-xr-x               2018-12-10 22:51  os
drwxr-xr-x               2018-11-29 00:58  paas
drwxr-xr-x               2017-02-10 22:18  rt
drwxr-xr-x               2018-11-29 00:56  sclo
drwxr-xr-x               2018-11-29 00:58  storage
drwxr-xr-x               2018-11-29 16:57  updates
drwxr-xr-x               2018-11-29 00:58  virt

所以从这个目录开始，我开始递归往下寻找并下载我需要的 *.src.rpm 源码包文件（效率不是太高，深感惭愧）。

import os
import re

import requests


def load_url_data(url):
    """
    从url页面中提取并下载 src.rpm 源码包
    """
    r = requests.get(url)
    raw_list = re.compile(r'<a.*?>(.*?)</a>').finditer(r.text.strip())
    for i in raw_list:
        x = i.group(1)
        if x.endswith('.src.rpm'):
            # src_rpm = os.path.join(url, x)
            # 没使用 os.path.join 是因为在 Windows 环境下拼接的路径有问题
            src_rpm = '/'.join([url, x])
            print(src_rpm)
            if not os.path.exists(x):
                os.system('wget %s' % src_rpm)
            else:
                print('already downloaded %s' % x)
        elif '.' in x or 'x86_64' in x:
            # 由于对所有除了 .src.rpm 的其他文件我都不关心，所以直接略过
            # x86_64 这个目录主要是放二进制包，我不太需要，所以碰到以后直接略过
            pass
        else:
            sub_url = '/'.join([url, x])
            print(f'scanning {sub_url} ...')
            load_url_data(sub_url)


if __name__ == '__main__':
    # centos_url = 'https://vault.centos.org/7.6.1810/'
    centos_url = 'http://mirror.nsc.liu.se/centos-store/7.6.1810/'
    load_url_data(centos_url)

输出类似于下面这种（单个下载还容易卡住，可能和网速也有一些关系）：

[root@localhost centos7.1810_src_packages]# python3 test.py 
scanning http://mirror.nsc.liu.se/centos-store/7.6.1810//atomic ...
scanning http://mirror.nsc.liu.se/centos-store/7.6.1810//atomic/Source ...
scanning http://mirror.nsc.liu.se/centos-store/7.6.1810//centosplus ...
scanning http://mirror.nsc.liu.se/centos-store/7.6.1810//centosplus/Source ...
scanning http://mirror.nsc.liu.se/centos-store/7.6.1810//centosplus/Source/SPackages ...
http://mirror.nsc.liu.se/centos-store/7.6.1810//centosplus/Source/SPackages/kernel-plus-3.10.0-957.1.3.el7.centos.plus.src.rpm
--2021-03-30 16:52:16--  http://mirror.nsc.liu.se/centos-store/7.6.1810//centosplus/Source/SPackages/kernel-plus-3.10.0-957.1.3.el7.centos.plus.src.rpm
Resolving mirror.nsc.liu.se (mirror.nsc.liu.se)... 130.236.101.92, 2001:6b0:17:2::1:92
Connecting to mirror.nsc.liu.se (mirror.nsc.liu.se)|130.236.101.92|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 100898069 (96M) [application/x-rpm]
Saving to: ‘kernel-plus-3.10.0-957.1.3.el7.centos.plus.src.rpm’

kernel-plus-3.10.0-957.1.3.el7.centos.pl 100%[==================================================================================>]  96.22M  5.23MB/s    in 21s     

2021-03-30 16:52:37 (4.66 MB/s) - ‘kernel-plus-3.10.0-957.1.3.el7.centos.plus.src.rpm’ saved [100898069/100898069]

http://mirror.nsc.liu.se/centos-store/7.6.1810//centosplus/Source/SPackages/kernel-plus-3.10.0-957.10.1.el7.centos.plus.src.rpm
--2021-03-30 16:52:37--  http://mirror.nsc.liu.se/centos-store/7.6.1810//centosplus/Source/SPackages/kernel-plus-3.10.0-957.10.1.el7.centos.plus.src.rpm
Resolving mirror.nsc.liu.se (mirror.nsc.liu.se)... 130.236.101.92, 2001:6b0:17:2::1:92
Connecting to mirror.nsc.liu.se (mirror.nsc.liu.se)|130.236.101.92|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 100922887 (96M) [application/x-rpm]
Saving to: ‘kernel-plus-3.10.0-957.10.1.el7.centos.plus.src.rpm’

kernel-plus-3.10.0-957.10.1.el7.centos.p 100%[==================================================================================>]  96.25M  8.52MB/s    in 34s     

2021-03-30 16:53:12 (2.82 MB/s) - ‘kernel-plus-3.10.0-957.10.1.el7.centos.plus.src.rpm’ saved [100922887/100922887]
...

部分下载结果（还没全部下载完的）：

[root@localhost centos7.1810_src_packages]# ll
total 998M
-rw-r--r--. 1 root root 4.1M Sep  1  2017 ansible-2.3.0.0-3.el7.src.rpm
-rw-r--r--. 1 root root 274K Feb 23  2017 apiextractor-0.10.10-11.el7.src.rpm
-rw-r--r--. 1 root root 6.6M Feb 23  2017 babel-2.3.4-1.el7.src.rpm
-rw-r--r--. 1 root root 764K Feb 23  2017 bakefile-0.2.9-2.el7.src.rpm
-rw-r--r--. 1 root root  72K Feb 23  2017 bandit-0.13.2-1.el7.src.rpm
-rw-r--r--. 1 root root 615K Sep  1  2017 blosc-1.11.1-3.el7.src.rpm
-rw-r--r--. 1 root root  68M Feb 23  2017 boost159-1.59.0-2.el7.src.rpm
-rw-r--r--. 1 root root 1.4M Feb 23  2017 coin-or-Cbc-2.9.8-1.el7.src.rpm
-rw-r--r--. 1 root root 953K Feb 23  2017 coin-or-Cgl-0.59.9-1.el7.src.rpm
-rw-r--r--. 1 root root 1.9M Feb 23  2017 coin-or-Clp-1.16.10-1.el7.src.rpm
-rw-r--r--. 1 root root 965K Feb 23  2017 coin-or-CoinUtils-2.10.13-1.el7.src.rpm
-rw-r--r--. 1 root root 736K Feb 23  2017 coin-or-Osi-0.107.8-1.el7.src.rpm
-rw-r--r--. 1 root root 350K Feb 23  2017 coin-or-Sample-1.2.10-5.el7.src.rpm
-rw-r--r--. 1 root root 476K Feb 23  2017 conntrack-tools-1.4.2-3.el7.src.rpm
...

内容总结

以上是互联网集市为您收集整理的Python 遍历网页目录并下载满足条件的文件全部内容，希望文章能够帮你解决Python 遍历网页目录并下载满足条件的文件所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/595736.html

来源：【匿名】

【上一篇】几十个Python常用模块集合，掌握了你就是大佬！【下一篇】浅谈PHP运行Python脚本的方法

更多 ►

【Python 遍历网页目录并下载满足条件的文件】教程文章相关的互联网学习教程文章

Python编程 PDF下载【图】

网盘下载：Python编程从入门到实践 PDF 下载 – 易分享电子书PDF资源网作者: [美]埃里克·马瑟斯出版社: 人民邮电出版社副标题: 从入门到实践原作名: Python Crash Course译者: 袁国忠出版年: 2016-7-1页数: 459定价: CNY 89.00装帧: 平装内容简介 · · · · · ·本书是一本针对所有层次的Python 读者而作的Python 入门书。全书分两部分：第一部分介绍用Python 编程所必须了解的基本概念，包括matplotlib、NumPy 和Pygal 等强大的Pyt...

python的N个小功能(找到要爬取的验证码链接，并大量下载验证码样本)

# -*- coding: utf-8 -*-"""Created on Mon Mar 21 11:04:54 2017@author: sl"""import requestsimport time #################################################################################################先找到对应的爬取验证码连接，例如我要爬取车违章信息################################################找到车违章链接http://smart.gzeis.edu.cn:8081/Content/AuthCode.aspx#####################################...

Python TCP通信之仿文件下载【代码】

TCP_文件下载_Client.pyimport socketdef main():# 创建TCP套接字tcp_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)# 链接服务器tcp_socket.connect(("127.0.0.1", 5001))# 获取下载的文件的名字download_file_name = input("请输入要下载的文件名字：")# 将文件名字发送到服务器tcp_socket.send(download_file_name.encode("utf-8"))# 接收文件中的数据recv_data = tcp_socket.recv(1024)if recv_data:# 保存接收到...

python--you-get:视频下载【图】

You-Get 是一个基于 Python 3 的下载工具. 使用 You-Get 可以很轻松的下载到网络上的视频、图片及音乐目前 You-Get 支持的站点达到了71个, 囊括了国外的 Youtube、 Vimeo 、 Tumblr 、 Instagram 等以及国内的爱奇艺、优酷、乐视、哔哩哔哩等安装 pip install you-get 安装 You-Get 需要安装如下依赖包FFmpeg (强烈推荐) or Libav(可选) RTMPDump 原文：https://www.cnblogs.com/liming19680104/p/12152463.html

python：爬虫1——实战（下载一张图片、用Python模拟浏览器，通过在线的有道词典来对文本翻译）【代码】

一、下载一只猫import urllib.requestresponse = urllib.request.urlopen("http://cdn.duitang.com/uploads/item/201111/24/20111124222137_wHYwc.jpg") cat_img = response.read()with open(‘cat_0.jpeg‘, ‘wb‘) as f:f.write(cat_img) urlopen()中的url可以是string，也可以是request object，因此可以是：import urllib.requestreq = urllib.request.Request("http://cdn.duitang.com/uploads/item/201111/24/2011112422213...

Python获取个人网站的所有课程下载链接和密码，并保存到Mongodb中【代码】

1、获取网站课程的分类地址；‘‘‘ 爬取屌丝首页，获取每个分类名称和链接 ‘‘‘import requests from lxml import etreeheaders = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36‘, } def get_class_data():list_data = []url = ‘http://www.diaosiweb.net/index.html‘responese = requests.get(url,headers=headers)responese.encoding...

Python的下载和安装【图】

Python几乎可以在任何平台下运行，如我们所熟悉的：Windows/Unix/Linux/Macintosh。在这里我们说一下，在Windows操作系统中安装python。我的操作系统为：Windows 7,64位安装python的时候，我们既可以从源码安装，同时也可以用已经编译好并且打包好的二进制版本进行安装，这里我选择的是后者。Python2.7.8下载地址：https://www.python.org/download/releases/2.7.8/ 方法/步骤打开百度首页，搜索“python”，进入官网，进行下载，...

使用pip下载/安装python模块【代码】

C:\Python\Python35\Scripts>pip3.5.exe install pyperclip Collecting pyperclipDownloading pyperclip-1.5.27.zip Installing collected packages: pyperclipRunning setup.py install for pyperclip ... done Successfully installed pyperclip-1.5.27 You are using pip version 8.1.1, however version 9.0.1is available. You should consider upgrading via the ‘python -m pip install --upgrade pip‘ command.pip安装py...

Python网络爬虫实战案例之：7000本电子书下载（3）【图】

一、前言本文是《Python开发实战案例之网络爬虫》的第三部分：7000本电子书下载网络爬虫开发实战详解。配套视频课程详见51CTO学院请添加链接描述。二、章节目录3.1 业务流程3.2 页面结构分析：目录页3.3 页面结构分析：详情页3.4 页面请求和响应：目录页4.5 页面请求和响应：详情页3.4三、正文3.1 业务流程3.2.1 页面结构分析-目录页3.2.2 页面结构分析-详情页3.3 页面请求与解析-目录页3.4 页面请求与解析-详情页3.5 文件下载四...

解决Python中pip/pip3下载速度慢【代码】

PyPI 镜像简介PyPI (Python Package Index) 是 Python 编程语言的软件存储库。开发者可以通过 PyPI 查找和安装由 Python 社区开发和共享的软件，也可以将自己开发的库上传至 PyPI 。Linux下更换pip源使用pip/pip3安装一些python包的时候下载速度非常慢，这时候我们可以动手更换python的pip/pip3源，在Linux系统中找到~/.pip/pip.conf这个文件，如果没有这个文件自己创建一个同名文件，或者你的系统连~./pip这个目录也没有，那就自己...

python mysql 简单总结（MySQLdb模块需另外下载）

python 通过DB-API规范了它所支持的不同的数据库，使得不同的数据库可以使用统一的接口来访问和操作。满足DB-API规范的的模块必须提供以下属性：属性名　　　　　　描述apilevel 　　　　DB-API 模块兼容的DB-API 版本号threadsafety　　线程安全级别paramstyle　　　该模块支持的SQL语句参数风格connect()　　　　连接函数（最常用）其中 threadsafety是一个整数，取值如下：0：不支持线程安全，多个线程不能共享此模块1：初级线程...

Python实现的下载8000首儿歌的代码分享

下载8000首儿歌的python的代码：复制代码代码如下: #-*- coding: UTF-8 -*- from pyquery import PyQuery as py from lxml import etree import urllib import re import os import sys import loggingdef format(filename): tuple=(‘ ‘,‘‘‘,‘\‘‘) for char in tuple: if (filename.find(char)!=-1): filename=filename.replace(char,"_") return filenamedef download_mp3(mp3_url, fil...

下载python爬虫需要的库文件bs4

新建文件 requirements.txt修改requirements.txt文件内容如下：# need to install module bs4pymongorequestsjson然后执行命令：sudo pip install -r requirements.txt 原文：https://www.cnblogs.com/rohens-hbg/p/14445957.html

Python从网易云音乐、QQ 音乐、酷狗音乐、虾米音乐等搜索和下载歌曲

music-dl 从网易云音乐、QQ音乐、酷狗音乐、百度音乐、虾米音乐等搜索和下载歌曲。Search and download music from netease, qq, kugou, baidu and xiami.注意：部分音乐源在一些国家和地区不可用，可以考虑使用中国大陆代理。Note: Some music sources may not be available in some countries and regions. If so, you should use Chinese proxies. See https://github.com/0xHJK/Proxies for public proxies.Feature支持指定搜索...

Python.whl下载

1、Python Extension Packages for Windows - Christoph Gohlke.html（https://www.lfd.uci.edu/~gohlke/pythonlibs/）　ZC：里面有各种whl。然而它自己网站上写的是：“Unofficial Windows Binaries for Python Extension Packages”（即 “非官方的Windows ... ...”）。自己考虑要不要下要不要用吧...2、https://pypi.org/3、4、5、原文：https://www.cnblogs.com/pythonzc/p/12527036.html

首页 / PYTHON / Python 遍历网页目录并下载满足条件的文件

Python 遍历网页目录并下载满足条件的文件

内容导读

内容图文

内容总结

内容备注

内容手机端

【Python 遍历网页目录并下载满足条件的文件】教程文章相关的互联网学习教程文章

Python编程 PDF下载【图】

python的N个小功能(找到要爬取的验证码链接，并大量下载验证码样本)

Python TCP通信之仿文件下载【代码】

python--you-get:视频下载【图】

python：爬虫1——实战（下载一张图片、用Python模拟浏览器，通过在线的有道词典来对文本翻译）【代码】

Python获取个人网站的所有课程下载链接和密码，并保存到Mongodb中【代码】

Python的下载和安装【图】

使用pip下载/安装python模块【代码】

Python网络爬虫实战案例之：7000本电子书下载（3）【图】

解决Python中pip/pip3下载速度慢【代码】

python mysql 简单总结（MySQLdb模块需另外下载）

Python实现的下载8000首儿歌的代码分享

下载python爬虫需要的库文件bs4

Python从网易云音乐、QQ 音乐、酷狗音乐、虾米音乐等搜索和下载歌曲

Python.whl下载

PYTHON - 相关标签

条件 - 相关标签

文件 - 相关标签

PYTHON - 技术教程分类

PYTHON - 最新教程

PYTHON - 最热教程