如何使用scrapyshell来验证xpath选择的结果详细教程
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了如何使用scrapyshell来验证xpath选择的结果详细教程，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2533字，纯文字阅读大概需要4分钟。
内容图文
1. scrapy shell是scrapy包的一个很好的交互性工具，目前我使用它主要用于验证xpath选择的结果。安装好了scrapy之后，就能够直接在cmd上操作scrapy shell了。
Scrapy Shell
Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。
如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。（推荐安装IPython）
启动Scrapy Shell
进入项目的根目录，执行下列命令来启动shell:
scrapy shell "http://www.itcast.cn/channel/teacher.shtml"
Scrapy Shell根据下载的页面会自动创建一些方便使用的对象，例如 Response 对象，以及 Selector 对象 (对HTML及XML内容)。
当shell载入后，将得到一个包含response数据的本地 response 变量，输入 response.body将输出response的包体，输出 response.headers 可以看到response的包头。
输入 response.selector 时， 将获取到一个response 初始化的类 Selector 的对象，此时可以通过使用 response.selector.xpath()或response.selector.css() 来对 response 进行查询。
Scrapy也提供了一些快捷方式, 例如 response.xpath()或response.css()同样可以生效（如之前的案例）。
Selectors选择器
Scrapy Selectors 内置 XPath 和 CSS Selector 表达式机制
Selector有四个基本的方法，最常用的还是xpath:
xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表
extract(): 序列化该节点为Unicode字符串并返回list
css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表，语法同 BeautifulSoup4
re(): 根据传入的正则表达式对数据进行提取，返回Unicode字符串list列表
2. ipython
在官网推荐使用ipython来跑scrapy shell，于是我尝试安装。因为之前我的python环境都是通过conda配置的（参看前一篇），通过conda安装ipython很方便
conda install -c conda-forge ipython
然后整个ipython的包就会下载下来，因为都是编译好的，没有了烦人的编译失败的过程了。
3. 运行ipython和在ipython上运行scrapy shell
在当前的cmd运行框中，因为已经配置了系统环境，是可以直接运行python包的，所以直接在cmd运行框中敲入ipython就会进入到ipython的运行框，跟系统标准的cmd差不多，但是功能更丰富，色彩更丰富，布局也能好。
但是当我直接在这上面敲scrapy shell命令，但是一直说没有此命令，失败。在这里卡住了。
后来通过仔细阅读scrapy shell的说明
If you have IPython installed, the Scrapy shell will use it (instead of the standard Python console).
意思就是scrapy shell会自己去找ipython的运行框。
于是直接在cmd的标准运行框中输入scrapy shell <url>，返回的结果直接调用到ipython的运行框了。
以上就是如何使用scrapy shell来验证xpath选择的结果详细教程的详细内容，更多请关注Gxl网其它相关文章！
内容总结
以上是互联网集市为您收集整理的如何使用scrapyshell来验证xpath选择的结果详细教程全部内容，希望文章能够帮你解决如何使用scrapyshell来验证xpath选择的结果详细教程所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。