python爬虫：爬取豌豆荚APP第一页数据信息（爬虫三部曲）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python爬虫：爬取豌豆荚APP第一页数据信息（爬虫三部曲），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1471字，纯文字阅读大概需要3分钟。

内容图文

'''
爬取豌豆荚app数据
-请求url：
          page1：
           https: / /wwW . wandouj ia . com/wdjweb/api/ category/more?
           catId=6001&subCatId=0&page=2&ctoken=vbw9lj1sRQsRddx0hD-XqCNF
'''
# 1.发送请求
import  re
import  requests
from bs4 import BeautifulSoup
def get_page(url):
    requests.get(url)

# 2.解析数据
def parse_data(text):
    soup = BeautifulSoup(text,'lxml')
    print(soup)
    li_list = soup.find_all(name = 'li',class_='card')
    # print(li_list)

    for li in li_list:
        print(li)
        print('tank' * 100 )
        app_name = li.find(name = 'a',class_='name').text
        print(app_name)
        qpp_url = li.find(name = 'a',class_='name').attrs.get('href')
        print(qpp_url)

        download_num = li.find(name='span',class_='install-count').text
        print(download_num)

        app_size = li.find(name='span',attrs={"title":re._compile('\d+MB')}).text
        print(app_size)

        app_data ='''
        游戏名称：{}
        游戏地址：{}
        下载人数：{}
        游戏大小：{}
        \n
        '''.format(app_name,qpp_url,download_num,app_size)
        print(app_data)
        with  open('wandoujia.text','a',encoding='utf-8') as f:
            f.write(app_data)
            f.flush()


if __name__ == '__main__':
    for line in range(1,31):
        url='https: / /wwW . wandouj ia . com/wdjweb/api/ category/more?catId=6001&subCatId=0&page=2{}&ctoken=vbw9lj1sRQsRddx0hD-XqCNF'.format(line)
        print(url)

        # 1.发送请求
        # 往接口发送请求获取响应数据
        response = get_page(url)
        # print(response.text)
        import  json
        # json.loads(response.text)
        # print(type(response.jason()))
        # print(type(response.text))
        # print('tank' * 1000)

        # 把json数据格式转换成python的字典
        data = response.json()

        # print(data['state'])

        print(data.get('state').get('content'))

        parse_data(type(response.text))

　　

内容总结

以上是互联网集市为您收集整理的python爬虫：爬取豌豆荚APP第一页数据信息（爬虫三部曲）全部内容，希望文章能够帮你解决python爬虫：爬取豌豆荚APP第一页数据信息（爬虫三部曲）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---