python – 使用HTMLParser从页面中提取绝对链接

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 使用HTMLParser从页面中提取绝对链接，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含877字，纯文字阅读大概需要2分钟。

内容图文

我正在使用以下代码段使用HTMLParser提取页面上的所有链接.我得到了不少相对网址.如何将这些转换为域的绝对网址,例如www.exmaple.com

import htmllib, formatter
import urllib, htmllib, formatter

class LinksExtractor(htmllib.HTMLParser):

   def __init__(self, formatter):
      htmllib.HTMLParser.__init__(self, formatter)
      self.links = []

   def start_a(self, attrs):
      if len(attrs) > 0 :
         for attr in attrs :
            if attr[0] == "href":
                self.links.append(attr[1])

   def get_links(self):
      return self.links


format = formatter.NullFormatter()
htmlparser = LinksExtractor(format)

data = urllib.urlopen("http://cis.poly.edu/index.htm")
htmlparser.feed(data.read())
htmlparser.close()

links = htmlparser.get_links()
print links

谢谢

解决方法:

你要

urlparse.urljoin(base, url[, allow_fragments])

http://docs.python.org/library/urlparse.html#urlparse.urljoin

这允许您提供绝对或基本URL,并将其与相对URL连接.即使它们有重叠的部分,也应该有效.

内容总结

以上是互联网集市为您收集整理的python – 使用HTMLParser从页面中提取绝对链接全部内容，希望文章能够帮你解决python – 使用HTMLParser从页面中提取绝对链接所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端