利用python3爬虫爬取漫画岛-非人哉漫画
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了利用python3爬虫爬取漫画岛-非人哉漫画，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3802字，纯文字阅读大概需要6分钟。
内容图文
最近学了一点点python爬虫的知识，面向百度编程爬了一本小说之后感觉有点不满足，于是突发奇想尝试爬一本漫画下来看看。
一、效果展示
首先是我们想要爬取的漫画网页： http://www.manhuadao.cn/
网页截图：
其次是爬取下来的效果：
每一回的文件夹里面是这样的： (因为网站图片的问题...所以就成了这个鬼样子)
二、分析原理
1、准备：需要vscode或者其他能够编译运行python的软件，推荐python版本3.X ，否则有可能出现编译问题。
下载所需模块：win+R 进入命令行， 输入 pip install <模块名> 即可下载。例如：
pip install beautifulsoup4
2、原理： 模拟浏览器点击->打开漫画网页链接->获取网页源码->定位每一章漫画的链接->模拟点击->获取图片页面源码->定位图片链接->下载图片
三、实际操作（代码附在最后）
1、引入模块 （这里不再详述）
2、模拟浏览器访问网页
(1)、 这里我们打开漫画的目录页，如下： url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“ ，此链接就是目录页链接。
(2)、按F12打开此网页的源码（谷歌浏览器），选中上方NetWork，Ctrl+R刷新。
(3)、找到加载网页的源码文件，点击Headers，如下图： Status Code表示网页返回的代码，值为200时表示访问成功。
(4)、headers中的参数为下面红框User-Agent。
response = requests.get(url=url, headers=headers) # 模拟访问网页print(response) # 此处应输出 <Response [200]>print(response.text) # 输出网页源码
两个输出分别输出：
输出返回200表示访问成功。
（节选）
(5)、将html代码存入 data 中，xpath定位每一章链接。点击上方Element，点击：
将鼠标移至目录处：
右边代码区域出现每一章链接：
data = etree.HTML(response.text)
# tp = data.xpath(‘//ul[@class="read-chapter"]/li/a[@class="active"]/@href‘)
tp = data.xpath(‘//*[@class="yesReader"]/@href‘)
zhang_list = tp # tp为链接列表
输出zhang_list，结果如下：
(6)、获取图片链接（获取方式同上一步）
点进第一章，同上一步，寻找到图片链接：
1 i=1
2for next_zhang in zhang_list: # 在章节列表中循环
3 i=i+1
4 j=0
5 hui_url = r_url+next_zhang
6 name1 = "第"+str(i)+"回" 7 file = ‘C:/Users/wangyueke/Desktop/‘+keyword+‘/{}/‘.format(name1) # 创建文件夹
8ifnot os.path.exists(file):
9 os.makedirs(file)
10print(‘创建文件夹：‘, file)
11 response = requests.get(url=hui_url, headers=headers) # 模拟访问每一章链接
12 data = etree.HTML(response.text)
13# tp = data.xpath(‘//div[@class="no-pic"]//img/@src‘)14 tp = data.xpath(‘//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src‘) # 定位
15 ye_list = tp
(7)、下载图片
1
for k in ye_list: # 在每一章的图片链接列表中循环2 download_url = tp[j]
3print(download_url)
4 j=j+1
5 file_name="第"+str(j)+"页"6 response = requests.get(url=download_url) # 模拟访问图片链接7 with open(file+file_name+".jpg","wb") as f:
8 f.write(response.content)
五、代码
1
‘‘‘
2
用于爬取非人哉漫画
3
目标网址：http://www.manhuadao.cn/
4 开始时间：2019/8/14 20:01:26
5完成时间：2019/8/15 11:04:56
6作者：kong_gu
7‘‘‘ 8import requests
9import json
10import time
11import os
12from lxml import etree
13from bs4 import BeautifulSoup
141516def main():
17 keyword="非人哉"18 file = ‘E:/{}‘.format(keyword)
19ifnot os.path.exists(file):
20 os.mkdir(file)
21print(‘创建文件夹：‘,file)
22 r_url="http://www.manhuadao.cn/"23 url = "http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628"24 headers = { # 模拟浏览器访问网页25‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \\Chrome/75.0.3770.142 Safari/537.36‘}
26 response = requests.get(url=url, headers=headers)
27# print(response.text) # 输出网页源码28 data = etree.HTML(response.text)
29# tp = data.xpath(‘//ul[@class="read-chapter"]/li/a[@class="active"]/@href‘)30 tp = data.xpath(‘//*[@class="yesReader"]/@href‘)
31 zhang_list = tp
32 i=1
33for next_zhang in zhang_list:
34 i=i+1
35 j=0
36 hui_url = r_url+next_zhang
37 name1 = "第"+str(i)+"回"38 file = ‘C:/Users/wangyueke/Desktop/‘+keyword+‘/{}/‘.format(name1) # 这里需要自己设置路径39ifnot os.path.exists(file):
40 os.makedirs(file)
41print(‘创建文件夹：‘, file)
42 response = requests.get(url=hui_url, headers=headers)
43 data = etree.HTML(response.text)
44# tp = data.xpath(‘//div[@class="no-pic"]//img/@src‘)45 tp = data.xpath(‘//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src‘)
46 ye_list = tp
47for k in ye_list:
48 download_url = tp[j]
49print(download_url)
50 j=j+1
51 file_name="第"+str(j)+"页"52 response = requests.get(url=download_url)
53 with open(file+file_name+".jpg","wb") as f:
54 f.write(response.content)
555657if__name__ == ‘__main__‘:
58 main()
第一次写博客，如果有写的不对的地方，请大佬指正，谢谢！ _(:з」∠)_
原文：https://www.cnblogs.com/kong-gu/p/11360308.html
内容总结
以上是互联网集市为您收集整理的利用python3爬虫爬取漫画岛-非人哉漫画全部内容，希望文章能够帮你解决利用python3爬虫爬取漫画岛-非人哉漫画所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。