首页 / PYTHON / 【Python】煎蛋网XXOO图片抓取

【Python】煎蛋网XXOO图片抓取

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了【Python】煎蛋网XXOO图片抓取，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2360字，纯文字阅读大概需要4分钟。

内容图文

今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx，这个网站其实还是有点意思的，网站很多人写了N多的教程了，各种方式的都有，当然网站本身在爬虫爱好者的不断进攻下，也在不断的完善，反爬措施也很多，今天我用selenium在揍他一波。

整体看上去，煎蛋网的妹子图质量还是可以的，不是很多，但是还蛮有味道的，这可能也是爬虫er，一批一批的奔赴上去的原因。

【Python】煎蛋网XXOO图片抓取 - 文章图片

1. 网站分析

这个网站如果用 selenium 爬取，其实也没什么要分析的,模拟访问就行，导入必备的模块。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from lxml import etree
import requests

import time

我使用的是PhantomJS 去加载浏览器，关于这个PhantomJS，去互联网搜索一下吧，资料大把，会看的很爽的，总之呢，它可以模拟一个真实的浏览器做任何事情，得到你想要的数据。

browser = webdriver.PhantomJS()
browser.set_window_size(1366, 768)  # 这个地方需要设置一下浏览器的尺寸
wait = WebDriverWait(browser,10)
browser.get("http://jandan.net/ooxx")
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的聚集地，零基础，进阶，都欢迎

2. 分析数据

程序获取到数据之后就可以对数据进行处理了，编写一个get_content函数，用来处理网页源码。

def get_content():

    try:

        wait.until(
            EC.presence_of_element_located((By.XPATH,'//*[@id="comments"]/ol'))
        )
        #
        print("正在爬取{}".format(browser.current_url))
        page_source = browser.page_source  # 获取网页源码
        html = etree.HTML(page_source)  # 解析源码
        imgs = html.xpath("//li[contains(@id,'comment')]//img/@src")  # 匹配图片
        download(imgs)

    except Exception as e:
        print("错误")
        print(e)
    finally:
        browser.close()

图片获取到之后，在上面的代码中，注意有一个地方调用了一个 download函数，这个函数就是用来下载图片的


def download(imgs):
    path = "./xxoo/{}"  # 路径我写死了
    for img in imgs:
        try:
            res = requests.get(img)
            content = res.content
        except Exception as e:
            print(e)
            continue

        file_name = img.split("/")[-1] # 获取文件名

        with open(path.format(file_name),"wb") as f:
            f.write(content)
            print(file_name,"成功下载文件")
            time.sleep(0.3)

    # 循环下载完毕，进行翻页操作 previous-comment-page
    next = wait.until(
        EC.presence_of_element_located((By.XPATH, '//*[@id="comments"]//a[@class="previous-comment-page"]'))
    )
    next.click()
    return get_content()  # 继续调用上面的网页源码分析流程
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的聚集地，零基础，进阶，都欢迎

【Python】煎蛋网XXOO图片抓取 - 文章图片

内容总结

以上是互联网集市为您收集整理的【Python】煎蛋网XXOO图片抓取全部内容，希望文章能够帮你解决【Python】煎蛋网XXOO图片抓取所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/749809.html

来源：【匿名】