Ubuntu下的Selenium爬虫的配置
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Ubuntu下的Selenium爬虫的配置,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2343字,纯文字阅读大概需要4分钟。
内容图文
![Ubuntu下的Selenium爬虫的配置](/upload/InfoBanner/zyjiaocheng/1210/c79df1d4e7194e9d9cc437861e3d57bd.jpg)
在服务器Ubuntu系统上跑爬虫,爬虫是基于Selenium写的,遇到好几个问题,现在这里记录一下。
1. 安装环境
阿里云,Ubuntu16.04,因为没有界面,所以远程命令行操作。爬虫是基于Selenium写的,需要安装Chrome浏览器和Chromedriver。
1.1安装Chrome和Chromedriver
Chrome直接去官网下载,安装稳定版,https://www.ubuntuupdates.org/ppa/google_chrome?dist=stable,下载deb格式的安装包,上传到服务器,用命令行安装:
1 sudo dpkg -i google-chrome*.deb 2sudo apt-get install -f
安装完成使用命令查看Chrome的版本,若出现版本号说明安装成功。
1 google-chrome --version
Chromedriver去淘宝镜像下载,http://npm.taobao.org/mirrors/chromedriver/,下载时选择与Chrome版本对应的Chromedriver,点开里面的notes.txt可以看到对应关系。下载后上传到服务器,或者 wget -N链接下载。下载后解压,若没有安装解压软件,使用下面的命令安装。
1 sudo apt-get installunzip
将解压后的文件移动到/usr/bin/文件下,添加执行权限。
1 sudo mv chromedriver /usr/bin/ 2sudochmod +x /usr/bin/chromedriver
1.2 安装Anaconda3
去清华源下载Anaconda3,https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/,下载后上传到服务器,使用命令安装,此处要注意把Anaconda安装为Linux下多用户共享的软件,避免多个用户重复安装。
1 sudo bash Anaconda3-5.2.0-Linux-x86_64.sh
安装时有一个步骤是要求你输入安装路径,Linux下多用户共享的软件是在/usr/local目录下,所以填写这个目录。安装最后会提示问你要不要把Anaconda添加到系统路径,选Yes,然后更新root用户的设置(这样做还会避免另一个大坑,下面会讲到)。关闭窗口后生效。
1 sudo source ~/.bashrc
若已经为root用户安装了Anaconda,建议卸载后重新安装。卸载方法是删除原来的/usr/local/bin下Anaconda的安装目录,编辑root用户的设置文件:
1 sudo vim ~/.bashrc
把里面原来添加的Anaconda路径设置删除,然后更新一下设置。
1 sudo source ~/.bashrc
在命令行里输入python,出现的python版本是3.6而不是系统自带的2.7或3.5,说明安装成功。
1.3 安装Selenium
在root用户下安装:
1 pip install selenium
打开python,输入以下代码,不报错说明安装成功。
1 from selenium import webdriver
安装到这里就能跑代码了嘛?不,还不行,哈哈哈。
2. 修改配置来执行代码
Selenium跑不起来,报错。就不截图了,只是说不能正常启动。经过我的搜索,有两个问题会导致这个错误:
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally (Driver info: chromedriver=........
1. 当前执行代码的用户是root用户,而root用户打开Chrome需要在沙盒里运行,webdriver里默认关闭了沙盒,所以报错。两种解决方法,为Ubuntu添加一个新用户或者修改代码里的设置。我只实验了第一种,添加了一个新用户,第二种没试。因为root用户只用来管理,新用户用来跑代码,分开不容易出错。
Ubuntu里添加新用户的方法是在root用户下执行:
1 sudo adduser username
会让你设置密码。companyname,phone之类的直接enter跳过就行。
2. 没有界面,所以装一个虚拟界面才行。
在root用户下安装pyvirtualdisplay:
1 pip install pyvirtualdisplay
然后在代码里添加以下几行,进行测试:
1 from selenium import webdriver 2from pyvirtualdisplay import Display 34if__name__ == ‘__main__‘: 5 display = Display(visible=0, size=(800, 800)) 6 display.start() 7 browser = webdriver.Chrome() 8 browser.get(‘http://www.baidu.com‘) 9print (browser.title)
大功告成。第一篇博客,嘻嘻。 如果还有问题那就是第一步安装的Chrome和Chromedriver版本不匹配导致的,仔细检查一下。
原文:https://www.cnblogs.com/baijing1/p/9751399.html
内容总结
以上是互联网集市为您收集整理的Ubuntu下的Selenium爬虫的配置全部内容,希望文章能够帮你解决Ubuntu下的Selenium爬虫的配置所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。