python – 尝试使用BeautifulSoup从网页中获取绝对链接

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 尝试使用BeautifulSoup从网页中获取绝对链接，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1200字，纯文字阅读大概需要2分钟。

内容图文

我正在使用BeautifulSoup阅读网页的内容.我想要的只是抓住< a href>以http：//开头.我知道在beautifulsoup你可以搜索属性.我想我只是遇到语法问题.我想它会有类似的东西.

page = urllib2.urlopen("http://www.linkpages.com")
soup = BeautifulSoup(page)
for link in soup.findAll('a'):
    if link['href'].startswith('http://'):
        print links 

但那回归：

Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
  File "C:\Python26\lib\BeautifulSoup.py", line 598, in __getitem__
    return self._getAttrMap()[key]
KeyError: 'href'

有任何想法吗？提前致谢.

编辑
这不适用于任何网站.该脚本从用户获取URL.所以内部链接目标将是一个问题,这也是我只想要<'a'>的原因.从页面.如果我把它转向www.reddit.com,它会解析开始的链接,它会到达：

<a href="http://www.reddit.com/top/">top</a>
<a href="http://www.reddit.com/saved/">saved</a>
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
  File "C:\Python26\lib\BeautifulSoup.py", line 598, in __getitem__
    return self._getAttrMap()[key]
KeyError: 'href'

解决方法:

from BeautifulSoup import BeautifulSoup
import re
import urllib2

page = urllib2.urlopen("http://www.linkpages.com")
soup = BeautifulSoup(page)
for link in soup.findAll('a', attrs={'href': re.compile("^http://")}):
    print link

内容总结

以上是互联网集市为您收集整理的python – 尝试使用BeautifulSoup从网页中获取绝对链接全部内容，希望文章能够帮你解决python – 尝试使用BeautifulSoup从网页中获取绝对链接所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端