Python天气预报采集器实现代码(网页爬虫)
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Python天气预报采集器实现代码(网页爬虫),小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1371字,纯文字阅读大概需要2分钟。
内容图文
![Python天气预报采集器实现代码(网页爬虫)](/upload/InfoBanner/zyjiaocheng/436/255715a30cf348c69d0b4b628761cace.jpg)
1、获得html文本。
python在获取html方面十分方便,寥寥数行代码就可以实现我们需要的功能。
代码如下:
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
这么几行代码相信不用注释都能大概知道它的意思。
2、根据正则表达式等获得需要的内容。
使用正则表达式时需要仔细观察该网页信息的结构,并写出正确的正则表达式。
python正则表达式的使用也很简洁。我的上一篇文章《Python的一些用法》介绍了一点正则的用法。这里需要一个新的用法:
代码如下:
def getWeather(html):
reg = '(.*?).*?(.*?).*?(.*?)'
weatherList = re.compile(reg).findall(html)
return weatherList
其中reg是正则表达式,html是第一步获得的文本。findall的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。
这里的正则表达式reg有两个地方要注意。
一个是“(.*?)”。只要是()中的内容都是我们将要获得的内容,如果有多个括号,那么findall的每个结果就都包含这几个括号中的内容。上面有三个括号,分别对应城市、最低温和最高温。
另一个是“.*?”。python的正则匹配默认是贪婪的,即默认尽可能多地匹配字符串。如果在末尾加上问号,则表示非贪婪模式,即尽可能少地匹配字符串。在这里,由于有多个城市的信息需要匹配,所以需要使用非贪婪模式,否则匹配结果只剩下一个,且是不正确的。
python的使用确实十分方便:)
内容总结
以上是互联网集市为您收集整理的Python天气预报采集器实现代码(网页爬虫)全部内容,希望文章能够帮你解决Python天气预报采集器实现代码(网页爬虫)所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。