1.4.4python链接爬虫（每天一更）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了1.4.4python链接爬虫（每天一更），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1337字，纯文字阅读大概需要2分钟。

内容图文

# -*- coding: utf-8 -*-
'''
Created on 2019年5月7日

@author: 薛卫卫
'''
import re
import urllib.request

def download(url, user_agent="wswp",num_retries=2):
    print("Downloading: " , url)
    headers = { 'User-agent': user_agent}
    request = urllib.request.Request(url, headers=headers)
    try:
        html = urllib.request.urlopen(request).read()
    except urllib.request.URLError as e:
        print('Download error:' , e.reason)
        html = None
        if num_retries > 0 :
            if hasattr(e, 'code') and 500 <= e.code < 600:
                return download(url, user_agent, num_retries-1)
    return html

def link_crawler(seek_url, link_regex):
    """Crawl from the given seed URL following links matched by _link_regexes
    """
    crawl_queue = [seek_url]
    while crawl_queue:
        url = crawl_queue.pop()
        html = download(url)
        
        html = html.decode("UTF-8")
        # filter for links matching our regular expression
        for link in get_links(html):
            if re.match(link_regex, link):
                link = urlparse.urljoin(seek_url,link)
                crawl_queue.append(link)
                
def get_links(html):
    """Return a list of links from html
    """
    # a regular experssion to extract all links from the webpage
    webpage_regex = re.compile('<a[^>]+href=["\'](.*?)["\']', re.IGNORECASE)
    # list of all links from the webpage
    return webpage_regex.findall(html)

# seek_url = 'http://example.webscraping.com'
# link_regex = '/(index|view)'
# 
# link_crawler(seek_url, link_regex)

link_crawler("http://example.webscraping.com", '/(index|view)')

　　

内容总结

以上是互联网集市为您收集整理的1.4.4python链接爬虫（每天一更）全部内容，希望文章能够帮你解决1.4.4python链接爬虫（每天一更）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---