centos7.6下pyspider + python2.7安装
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了centos7.6下pyspider + python2.7安装,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2059字,纯文字阅读大概需要3分钟。
内容图文
![centos7.6下pyspider + python2.7安装](/upload/InfoBanner/zyjiaocheng/943/d8caea41f71d46f9a858d86675437e99.jpg)
- 升级pip
pip install --upgrade pip
- pip安装pyspider
pip install pyspider
- 安装phantomjs: https://phantomjs.org/download.html
wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
yum -y install bzip2
tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /opt/
mv phantomjs-2.1.1-linux-x86_64/ phantomjs
建立软链接
ln -s /opt/phantomjs/bin/phantomjs /usr/bin/
安装依赖
yum -y install fontconfig
启动验证
phantomjs
- pyspider启动报错
ValueError: Invalid configuration:
- Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.
在安装包中找到pyspider的资源包,然后找到webui文件里面的webdav.py文件打开,修改第209行即可。
'domaincontroller': NeedAuthController(app),
'http_authenticator':{
'HTTPAuthenticator':NeedAuthController(app),
},
- 使用mysql数据库
启动pyspider
pyspider
默认会在启动目录生成data目录,存放数据,默认使用SQLite数据库
[root@iZbp1gg50ddqbgxf1jpqwwZ opt]# cd data/
[root@iZbp1gg50ddqbgxf1jpqwwZ data]# ll
total 16
-rw-r--r-- 1 root root 3072 Jan 21 17:39 project.db
-rw-r--r-- 1 root root 0 Jan 21 17:39 result.db
-rw-r--r-- 1 root root 6 Jan 21 17:39 scheduler.1d
-rw-r--r-- 1 root root 6 Jan 21 17:39 scheduler.1h
-rw-r--r-- 1 root root 6 Jan 21 17:39 scheduler.all
-rw-r--r-- 1 root root 0 Jan 21 17:39 task.db
- 创建mysql数据库
pyspider_taskdb
pyspider_projectdb
pyspider_resultdb
- 配置文件
touch /usr/lib/python2.7/site-packages/pyspider/config.json
{
"taskdb": "mysql+taskdb://root:123456@121.40.112.188:3306/taskdb",
"projectdb": "mysql+projectdb://root:123456@121.40.112.188:3306/projectdb",
"resultdb":"mysql+resultdb://root:123456@121.40.112.188:3306/resultdb",
"message_queue": "redis://root@123456127.0.0.1:6379/db",
"webui": {
"port":5000,
"username": "evans",
"password": "123456",
"need-auth": true
}
}
- 安装组件
pip install mysql-connector
pip install redis 如果配置还用了redis的话
- 通过配置启动
pyspider -c config.json all
- 启动脚本
#!/bin/sh
cd `dirname $0`
if [ `ps -ef | grep 'pyspider' |grep -v 'grep' | wc -l` -lt "1" ];
then
nohup pyspider -c config.json all &
echo "pyspider started"
fi
内容总结
以上是互联网集市为您收集整理的centos7.6下pyspider + python2.7安装全部内容,希望文章能够帮你解决centos7.6下pyspider + python2.7安装所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。