使用javascript自动滚动定期从网站上抓取并下载所有图像

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用javascript自动滚动定期从网站上抓取并下载所有图像，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含923字，纯文字阅读大概需要2分钟。

内容图文

我发现一个网站上有很多高质量的免费图像托管在Tumblr上(它说你想用主题图片做任何事情：P)

我在Ubuntu 12.04LTS上运行.我需要编写一个定期运行的脚本(比如说每天)并只下载之前没有下载过的图像.

附加说明：它有一个javascript自动滚动器,当你到达页面底部时会下载图像.

解决方法:

The fantastic original script done by TMS不再适用于新的unsplash网站.这是一个更新的工作版本.

#!/bin/bash
mkdir -p imgs
I=1
while true ; do # for all the pages
        wget "https://unsplash.com/grid?page=$I" -O tmppage

        grep img.*src.*unsplash.imgix.net tmppage | cut -d'?' -f1 | cut -d'"' -f2 > tmppage.imgs

        if [ ! -s tmppage.imgs ] ; then # empty page - end the loop
                break
        fi

        echo "Reading page $I:"
        cat tmppage.imgs | while read IMG; do

                # for all the images on page
                TARGET=imgs/$(basename "$IMG")

                echo -n "Photo $TARGET: "
                if [ -f $TARGET ] ; then # we already have this image
                        echo "file already exists"
                        continue
                fi
                echo -n "downloading (PAGE $I)"

                wget $IMG -O $TARGET
        done
        I=$((I+1))
done

内容总结

以上是互联网集市为您收集整理的使用javascript自动滚动定期从网站上抓取并下载所有图像全部内容，希望文章能够帮你解决使用javascript自动滚动定期从网站上抓取并下载所有图像所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端