Python爬虫:短视频小姐姐哪家强，过来看看某间房

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python爬虫:短视频小姐姐哪家强，过来看看某间房，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1948字，纯文字阅读大概需要3分钟。

内容图文

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

( 想要学习Python？Python学习交流群：1039649593，满足你的需求，资料都已经上传群文件流，可以自行下载！还有海量最新2020python学习资料。 )

一、前言

看视频平台哪家强？存在自己硬盘中才最强叫你一招爬取某间房海量小姐姐短视频！

二、课程亮点

1、动态数据抓包演示(动态)
2、json数据解析方法(json)
3、视频数据保存

三、所用到得库

import re
import requests  # 第三方模块
import pprint  # 格式化输出

四、爬虫案例一般步骤(思路):

1. 找数据所在的url地址(分析网页性质<静态网页/动态网页>)
2. 发送url地址请求 requests
3. 数据解析
4. 数据保存(本地\数据库)
   

1.找数据所在的url地址(分析网页性质<静态网页/动态网页>)

def change_title(title):
    pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]")  # '/ \ : * ? " < > |'
    new_title = re.sub(pattern, "_", title)  # 替换为下划线
    return new_title

for page in range(8, 11):
    print(f'===================正在下载第{page}页视频数据=======================')
    # 1. 找数据所在的url地址(分析网页性质<静态网页/动态网页>)
    url = f'https://v.6.cn/minivideo/getMiniVideoList.php?act=recommend&page={page}&pagesize=25'
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}

2. 发送url地址请求 requests

# 2. 发送url地址请求  requests
    response = requests.get(url=url, headers=headers)
    json_data = response.json()
    # pprint.pprint(json_data)

3 数据解析

 # 3. 数据解析  剥洋葱
    data_list = json_data['content']['list']

    for data in data_list:
        video_title = data['alias'] + ".mp4" # 视频的标题, 尾缀  mp4 avi rmvb flv ...
        video_url = data['playurl']  # 视频的链接地址
        # print(video_title, video_url)

        # 请求视频链接地址数据
        print('正在下载:', video_title)
        video_data = requests.get(url=video_url, headers=headers).content  # 二进制

        new_title = change_title(video_title)

4.数据保存(本地\数据库)

 # 4.数据保存(本地\数据库)
        with open('video\\' + new_title, mode='wb') as f:
            f.write(video_data)
            print('下载完成...\n')

内容总结

以上是互联网集市为您收集整理的Python爬虫:短视频小姐姐哪家强，过来看看某间房全部内容，希望文章能够帮你解决Python爬虫:短视频小姐姐哪家强，过来看看某间房所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---