首页 / 爬虫 / 使用Urllib爬虫(1)--简单的将数据爬到内存或硬盘中

使用Urllib爬虫(1)--简单的将数据爬到内存或硬盘中

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用Urllib爬虫(1)--简单的将数据爬到内存或硬盘中，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含647字，纯文字阅读大概需要1分钟。

内容图文

  • 将数据爬取到内存中 
    •                             import
                             urllib

                            import
                             urllib.request

                            import
                             re

                            #
                            打开京东网页并且进行读取，解码格式utf-8,ignore小细节自动略过，大大减少出错率
                            
#
                            将数据爬到内存中
                            
#
                            http://www.jd.com
url = "http://www.jd.com"
data = urllib.request.urlopen(url).read().decode("utf-8","ignore")
pat = "<title>(.*?)</title>"#re.S模式修正符，网页数据往往是多行的，避免多行的影响print(re.compile(pat,re.S).findall(data))
  • 将数据爬取到硬盘中 
    •                             import
                             urllib

                            import
                             urllib.request

                            import
                             re
url = "http://www.jd.com"#urlretrieve(网址，文件名filename),由于\有转义的作用所以改用为/或者\\
res = urllib.request.urlretrieve(url,filename="D:\\pythonstudy\\pachong\\jd1.html")
print(res)

       

    • 技术分享图片 技术分享图片

       

原文：https://www.cnblogs.com/u-damowang1/p/12724139.html

内容总结

以上是互联网集市为您收集整理的使用Urllib爬虫(1)--简单的将数据爬到内存或硬盘中全部内容，希望文章能够帮你解决使用Urllib爬虫(1)--简单的将数据爬到内存或硬盘中所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1265698.html

来源：【匿名】