Python爬虫-百度贴吧

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python爬虫-百度贴吧，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1405字，纯文字阅读大概需要3分钟。

内容图文

百度贴吧爬虫实现

　　GET请求

from urllib import request
import urllib
import time

# https://tieba.baidu.com/f?kw=python&fr=ala0&tpl=5    #第一页 
# https://tieba.baidu.com/f?kw=python&ie=utf-8&pn=50 #第二页 (2-1)*50
# https://tieba.baidu.com/f?kw=python&ie=utf-8&pn=100 #第三页 (3-1)*50    
# https://tieba.baidu.com/f?kw=python&ie=utf-8&pn=150 #第四页 (4-1)*50
# 第n页    (n-1)*50 
# 推测第一页：https://tieba.baidu.com/f?kw=python&ie=utf-8&pn=0 

headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36"
}

#根据url发送请求，获取服务器响应文件
def loadPage(url,filename):
    print("正在下载"+filename)
    req=request.Request(url,headers=headers)
    return request.urlopen(req).read()

#将HTML内容写到本地
def writePage(html,filename):
    print("正在保存"+filename)
    with open(filename,"wb") as f:
        f.write(html)
    print("---------------------------")    


def tiebaSpider(url,begin,end):
    for page in range(begin,end+1):
        pn=(page-1)*50
        fullurl=url+"&pn="+str(pn) #每次请求的url
        filename="D:/贴吧/第"+str(page)+"页.html" #每次请求后保存的文件名

        html=loadPage(fullurl,filename) #调用爬虫，爬取网页信息
        writePage(html,filename) #写入本地


if __name__=='__main__':
    while(True):
        kw=input("请输入字条：")
        begin=int(input("请输入起始页："))
        end=int(input("请输入结束页："))

        url="http://tieba.baidu.com/f?"
        key=urllib.parse.urlencode({"kw":kw})
        url=url+key
        tiebaSpider(url,begin,end)

 

内容总结

以上是互联网集市为您收集整理的Python爬虫-百度贴吧全部内容，希望文章能够帮你解决Python爬虫-百度贴吧所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---