使用Python / urllib / beautifulsoup从URL批量下载文本和图像？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用Python / urllib / beautifulsoup从URL批量下载文本和图像？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1647字，纯文字阅读大概需要3分钟。

内容图文

我一直在浏览这里的几篇帖子,但我无法用Python从批量下载图片和文本来给定URL.

import urllib,urllib2
import urlparse
from BeautifulSoup import BeautifulSoup
import os, sys

def getAllImages(url):
    query = urllib2.Request(url)
    user_agent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 1.0.3705)"
    query.add_header("User-Agent", user_agent)

    page = BeautifulSoup(urllib2.urlopen(query))
    for div in page.findAll("div", {"class": "thumbnail"}):
        print "found thumbnail"
        for img in div.findAll("img"):
            print "found image"
            src = img["src"]
            if src:
                src = absolutize(src, pageurl)
                f = open(src,'wb')
                f.write(urllib.urlopen(src).read())
                f.close()
        for h5 in div.findAll("h5"):
            print "found Headline"
            value = (h5.contents[0])
            print >> headlines.txt, value


def main():
    getAllImages("http://www.nytimes.com/")

以上是一些更新的代码.会发生什么,什么都不是.代码没有找到任何带有缩略图的div,显然,没有任何结果打印….所以可能我错过了一些指向获取包含图像和标题的正确div？

非常感谢！

解决方法:

您正在使用的操作系统不知道如何写入您在src中传递它的文件路径.确保用于将文件保存到磁盘的名称是操作系统实际可以使用的名称：

src = "abc.com/alpha/beta/charlie.jpg"
with open(src, "wb") as f:
    # IOError - cannot open file abc.com/alpha/beta/charlie.jpg

src = "alpha/beta/charlie.jpg"
os.makedirs(os.path.dirname(src))
with open(src, "wb" as f:
    # Golden - write file here

一切都会开始奏效.

还有一些额外的想法：

>确保规范化保存文件路径(例如os.path.join(some_root_dir,* relative_file_path *)) – 否则您将根据其src在整个硬盘上写入图像.
>除非您正在运行某种类型的测试,否则最好在您的user_agent字符串中宣传您是一个机器人并且尊重robots.txt文件(或者,提供某种联系信息以便人们可以要求您在需要时停止).

内容总结

以上是互联网集市为您收集整理的使用Python / urllib / beautifulsoup从URL批量下载文本和图像？全部内容，希望文章能够帮你解决使用Python / urllib / beautifulsoup从URL批量下载文本和图像？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端