Python即时网络爬虫：API说明

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python即时网络爬虫：API说明，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1993字，纯文字阅读大概需要3分钟。

内容图文

API说明——下载gsExtractor内容提取器

1，接口名称

下载内容提取器

2，接口说明

如果您想编写一个网络爬虫程序，您会发现大部分时间耗费在调测网页内容提取规则上，不讲正则表达式的语法如何怪异，即便使用XPath，您也得逐个编写和调试。

如果要从一个网页上提取很多字段，逐个调试XPath将是十分耗时的。通过这个接口，你可以直接获得一个调测好的提取器脚本程序，是标准的XSLT程序，您只需针对目标网页的DOM运行它，就能获得XML格式的结果，所有字段一次性获得。

这个XSLT提取器可以是您用MS谋数台生成的，也可以是其他人共享给您的，只要您有读权限，皆可下载使用。

用于数据分析和数据挖掘的网络爬虫程序中，内容提取器是影响通用性的关键障碍，如果这个提取器是从API获得的，您的网络爬虫程序就能写成通用的框架。

3，接口规范

3.1，接口地址（URL）

http://www.gooseeker.com/api/getextractor

3.2，请求类型（contentType）

不限

3.3，请求方法

HTTP GET

3.4，请求参数

key 必选：Yes；类型：String；说明：申请API时分配的AppKey

theme 必选：Yes；类型：String；说明：提取器名，就是用MS谋数台定义的规则名

middle 必选：No；类型：String；说明：规则编号，如果相同规则名下定义了多个规则，需填写

bname 必选：No；类型：String；说明：整理箱名，如果规则含有多个整理箱，需填写

3.5，返回类型（contentType）

text/xml; charset=UTF-8

3.6，返回参数

HTTP消息头中的参数，如下：

more-extractor 类型：String；说明：相同规则名下有多少个提取器。通常只在可选参数没有填写的时候需要关注这个参数，用以提示客户端有多个规则和整理箱，客户端自己决定是否要在发送请求时携带明确的参数

3.7，返回错误信息

消息层错误以HTTP 400返回，比如，URL中的参数不符合本规范

应用层错误以HTTP 200 OK返回，具体错误码用XML文件放在消息体中，XML结构如下：

<return>
    <code>具体的错误码</code>
</return>

具体的code值如下：keyError：权限验证失败

keyError：权限验证失败
paramError：URL中传来的参数有误，比如，参数名称或值不正确

4，用法范例（python语言）

示例代码：

# -*- coding: utf-8 -*-
from urllib import request

url = 'http://www.gooseeker.com/api/getextractor?key=您的key&theme=您的提取器名'

resp = request.urlopen(url)
content = resp.read()
if(content):
    print(content)

接下来我会对此API进行测试

内容总结

以上是互联网集市为您收集整理的Python即时网络爬虫：API说明全部内容，希望文章能够帮你解决Python即时网络爬虫：API说明所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---