pip install -i https://pypi.douban.com/simple/ scrapy出现错误： error: command ‘x86_64-linux-gnu-gcc‘ failed with exit status 1 将依赖包装全。sudo apt-get install libxml2-dev libxslt1-dev python-dev
sudo apt-get install zlib1g-dev
sudo apt-get install libevent-dev再试试，好像不行。sudo apt-get install portaudio19-dev python-all-dev 再试试，不行。sudo apt-get install python3-dev可以了因为是Py3的虚...
系统：deepin错误提示：pip3 安装scrapy之后，提示：bash: scrapy: 未找到命令解决方法：进入root权限创建软连接ln -s /home/用户名/.local/bin/scrapy /usr/bin/scrapy解决完毕 原文：https://www.cnblogs.com/wtil/p/11853465.html
这是一款提取网站数据的开源工具。Scrapy框架用Python开发而成，它使抓取工作又快又简单，且可扩展。我们已经在virtual box中创建一台虚拟机（VM）并且在上面安装了Ubuntu 14.04 LTS。
安装 Scrapy
Scrapy依赖于Python、开发库和pip。Python最新的版本已经在Ubuntu上预装了。因此我们在安装Scrapy之前只需安装pip和python开发库就可以了。
pip是作为python包索引器easy_install的替代品，用于安装和管理Python包。pip包的安装可见图...
.org/ftp/python/2.7.11/Python-2.7.11.tgz
tar zxvf Python-2.7.11.tgz
cd Python-2.7.11
./configure --prefix=/usr/local
make && make altinstall检查Python版本
python -V安装scrapy安装python-develyum search all python-devel
yum install python-devel.x86_64安装setuptoolswget --no-check-certificate
https://bootstrap.pypa.io/ez_setup.py–2016-05-10 10:48:35– https://bootstrap.pypa.io/ez_setup.py
Resol...
背景：在使用selenium时，在本地使用windows，都会有一个图形界面，但是到了生产环境linux上没有了图形界面怎么部署呢？
解决方案：
1.安装图形化界面，不推荐，因为安装图形化界面会占用很多内存，而且在linux上搞个图形界面，很不爽
2.使用虚拟化图形界面，就跟你的虚拟机一样，也是一套系统，不过不会弹出个界面，推荐使用
系统配置：
linux:CentOS Linux release 7.6.1810 (Core)
firefox：Mozilla Firefox 65.0.1
selenium: ...
1.在服务器中安装chrome1 sudo apt-get install libxss1 libappindicator1 libindicator7
2 wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
3 sudo dpkg -i google-chrome*.deb
4 sudo apt-get install -f
2.安装scrapysudo apt-get install python3-scrapy可能pip会熟悉一些，但是还是推荐使用这种方法。因为服务器可能并没有内置pip3，而pip是给python2安装的操作
3.一些非常麻烦的操作给予c...
系统：deepin
错误提示：
pip3 安装scrapy之后，提示：bash: scrapy: 未找到命令
解决方法：进入root权限
创建软连接
ln -s /home/用户名/.local/bin/scrapy /usr/bin/scrapy
解决完毕
我的scrapy_redis在windows上跑起来了，现在准备移植到Linux上。
项目中用到了MongoDb，Redis两个数据库，用到了scrapy框架，用到了scrapy-redis模块。
1. Linux上，安装MongoDb， 配置path
2. Linux上，安装Redis， 配置path2.1 Redis中配置下，允许共享。 3.1 配置redis.conf将 bind 127.0.0.1 使用#注释掉，改为# bind 127.0.0.1（bind配置的是允许连接的ip，默认只允许本机连接；若远程连接需注释掉，或改为0.0.0.0）将 prot...
本地电脑具有Scrapy爬虫环境，但是想让 爬虫一直工作，还是要把代码扔到服务器上，所以在linux服务器上安装Scrapy环境。
linux服务器原python2.7
经过一番操作，升级到python3.6
参考 https://www.cnblogs.com/kimyeee/p/7250560.html
我只是到 make install 为止
然后安装Scrapy，遇到问题1：
error: gcc failed with exit status 1
参考 https://blog.csdn.net/enweitech/article/details/80728434
安装python的devel环境，使...
二、 Splash的使用Splash是一个JavaSscript渲染服务，一个带有HTTP API的轻量级浏览器，同时对接了Python中的Twisted和QT库。使用它同样可以实现动态渲页面的抓取。Splash可以实现下面的这些功能：异步方式处理多个网页渲染过程；获取渲染后的页面的源代码或截图；通过关闭图片渲染或者使用Adblock规则来加快页面渲染速度；可执行特定的 JavaScript 脚本；可通过 Lua 脚本来控制页面渲染过程；获取渲染的详细过程并通过HAR(HTTP Ar...
本scrapy中文教程主要介绍，centos7 linux下scrapy的安装，python版本是2.7！上面我们已经介绍了如何安装centos linux，如果还木有安装好centos，请移步：《scrapy centos7 linux安装（一）：centos安装》 安装好之后，我们来看如何在centos7下面安装scrapy。这里有一点特殊的地方要说下，相对于Windows，centos7自带python2.7，也就是说我们并不需要再安装python了，当然如果你想使用python3.6，请看另一篇文章：《centos7 linux安...