首页 / 爬虫 / python爬虫需要安装什么
python爬虫需要安装什么
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python爬虫需要安装什么,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2249字,纯文字阅读大概需要4分钟。
内容图文
![python爬虫需要安装什么](/upload/InfoBanner/zyjiaocheng/425/4782be29881942bd936034a31b02372a.jpg)
世界上80%的爬虫是基于Python开发的,学好爬虫技能,可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。
python爬虫需要安装相关库:
python爬虫涉及的库:
请求库,解析库,存储库,工具库
1. 请求库:urllib/re/requests
(1) urllib/re是python默认自带的库,可以通过以下命令进行验证:
没有报错信息输出,说明环境正常
(2) requests安装
2.1 打开CMD,输入
pip3 install requests
2.2 等待安装后,验证
(3) selenium安装(驱动浏览器进行网站访问行为)
3.1 打开CMD,输入
pip3 install selenium
3.2 安装chromedriver
网址:https://npm.taobao.org/
把下载完成后的压缩包解压,把exe放到D:\Python3.6.0\Scripts\
这个路径只要在PATH变量中就可以
3.3 等待安装完成后,验证
回车后弹出chrome浏览器界面
3.4 安装其他浏览器
无界面浏览器phantomjs
下载网址:http://phantomjs.org/
下载完成后解压,把整个目录放到D:\Python3.6.0\Scripts\,把bin目录的路径添加到PATH变量
验证:
打开CMD
phantomjs console.log('phantomjs') CTRL+C python from selenium import webdriver driver = webdriver.PhantomJS() dirver.get('http://www.baidu.com') driver.page_source
2. 解析库:
2.1 lxml (XPATH)
打开CMD
pip3 install lxml
或者从https://pypi.python.org下载,例如,lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下载whl文件
pip3 install 文件名.whl
2.2 beautifulsoup
打开CMD,需要先安装好lxml
pip3 install beautifulsoup4
验证
python from bs4 import BeautifulSoup soup = BeautifulSoup('<html></html>','lxml')
2.3 pyquery(类似jquery语法)
打开CMD
pip3 install pyquery
验证安装结果
python from pyquery import PyQuery as pq doc = pq('<html>hi</html>') result = doc('html').text() result
3. 存储库
3.1 pymysql(操作MySQL,关系型数据库)
安装:
pip3 install pymysql
安装后测试:
3.2 pymongo(操作MongoDB,key-value)
安装
pip3 install pymongo
验证
python import pymongo client = pymongo.MongoClient('localhost') db = client['testdb'] db['table'].insert({'name':'bob'}) db['table'].find_one({'name':'bob'})
3.3 redis(分布式爬虫,维护爬取队列)
安装:
pip3 install redis
验证:
4.工具库
4.1 flask(WEB库)
pip3 install flask
4.2 Django(分布式爬虫维护系统)
pip3 install django
4.3 jupyter(运行在网页端的记事本,支持markdown,可以在网页上运行代码)
pip3 install jupyter
验证:
打开CMD
jupyter notebook
之后就可以在网页直接创建记事本,代码块和Markdown块,支持打印
相关推荐:《Python教程》
以上就是python爬虫需要安装什么的详细内容,更多请关注Gxl网其它相关文章!
内容总结
以上是互联网集市为您收集整理的python爬虫需要安装什么全部内容,希望文章能够帮你解决python爬虫需要安装什么所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。