首页 / UBUNTU / 基于Anaconda编译caffe+pycaffe+matcaffe in Ubuntu[不用sudo权限]

基于Anaconda编译caffe+pycaffe+matcaffe in Ubuntu[不用sudo权限]

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了基于Anaconda编译caffe+pycaffe+matcaffe in Ubuntu[不用sudo权限]，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含10342字，纯文字阅读大概需要15分钟。

内容图文

目录

caffe

编译

环境

  • Ubuntu16.04
  • CUDA10
  • cuDNN
  • gcc 5.4
  • g++ 5.4

大前提！！

在服务器上面装，但是没有sudo权限，所以依赖的包都只能装在自己用户下的conda环境里

  • 按理来说这个要求应该不少吧。。但是搜出来一大堆博客都是要sudo权限，动不动就卸载、升级。。做不到啊。。只能各种在conda里删删减减。。真的好艰难！！

github下载caffe源码

BVLC/caffe

依赖

  1. anaconda3

  2. 装好之后，新建环境，最好用python2.7。下面都是装在这个新建的conda环境里，所以要注意先进入该环境！

  3. 在caffe/python目录下

    pip install -r requirements.txt   #requirements.txt

  4. 在conda的环境中装必要的包

    我装的版本 python2, opencv3

    版本一致很重要！

    conda install boost

    conda install glog

    conda install gflags

    conda install libprotobuf

    conda install hdf5=1.8.16 #[!重要]

    conda install lmdb

    conda install leveldb

    conda install -c menpo opencv3 #[!重要 一定要指定好版本 用默认的命令会装最新的 之前用默认就装到了最新的4.1版 ...]

    由于我是在conda环境下的，还是装一下cudatoolkit：

    [！重要] 要和本机装的CUDA的版本一致！！ 包括后面的子编号！我之前只看到conda装的cudatoolkit是10，本机的CUDA也是10，就认为一致，但其实本机的CUDA是10.0.x，conda默认装了最新的 cudatoolkit是10.1.x，后来卸载掉conda装的高版本，重新装10.0.x版本的cudatoolkit才行

    • conda装 cudatoolkit 一般默认会装好cudnn，可以用 conda list | grep 'cu' 查看

  5. 装OpenBLAS

    从源码安装

    git clone https://github.com/xianyi/OpenBLAS.git
cd OpenBLAS
make FC=gfortran -j $(($(nproc) + 1))
make PREFIX=~/Openblas install
echo 'export LD_LIBRARY_PATH=/home/shaoxiaowen/Openblas/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

  6. [可选]如果要用matcaffe

    装matlab，在linux下装完之后要激活，因为是用学校买的正版产品，需要用桌面环境打开安装程序。。

    VNC用gnome桌面好难。。一直不出来terminal，最后还是改用xfce4桌面 照抄别人的配置。。终于激活上了！配置文件放在 ~/.vnc/xstartup

    #!/bin/sh                                                                                                                    
x-terminal-emulator -geometry 80x24+10+10 -ls -title "$VNCDESKTOP Desktop" &
session-manager & xfdesktop & xfce4-panel &                                     
xfce4-menu-plugin &                                                            
xfsettingsd &                                                                 
xfconfd &                                                             
xfwm4 &

修改源码的编译配置

修改Makefile.config，按照自身设备的条件

  • 使用cuDNN，将USE_cuDNN 这一句的注释去掉

  • 使用opencv3，将OPENCV_VERSION := 3 的注释去掉

  • BLAS 改为 open ，并且设置具体的include和lib路径，要具体到include文件夹  lib文件夹！

  • ANACONDA_HOME 这一句的注释去掉，改为自己的conda环境的路径

  • PYTHON_INCLUDE 和 PYTHON_LIB：把原本路径在系统下的那句注释掉，去掉ANACONDA_HOME下PYTHON_INCLUDE PYTHON_LIB 的注释

  • WITH_PYTHON_LAYER 这一句的注释去掉

  • 使用matcaffe，把 MATLAB_DIR 这一句的注释去掉，改为MATLAB所在路径

  • LIBRARY_DIRS 添加 /usr/lib/x86_64-linux-gnu

  • 根据CUDA版本注释一些 arch

修改Makefile

报错

tips

caffe源码的github仓库下的issue是个好东西，关键字search用起来！ https://github.com/BVLC/caffe/issues

==不用CMAKE，直接MAKE==

[LATEST!!]

make all -j32

报错要用c++11

原来一直没装上opencv

报错没有 boost_python

报错mexext command not found

  • 解决：改Makefile.config，MATLAB_DIR 要改为mexext在的父路径
  • 比如这里的mexext，在 /usr/local/MATLAB/R2019a/bin，则MATLAB_DIR=/usr/local/MATLAB/R2019a

报错 缺乏一些OpenCV的lib

  • 缺乏 libpng.16.so

  • 解决：

    按照帖子下面的两个方法都尝试，

    https://stackoverflow.com/questions/31962975/caffe-install-on-ubuntu-for-anaconda-with-python-2-7-fails-with-libpng16-so-16-n

    1，其实是lib的依赖库没有添加到路径！改Makefile.config， 添加到LIB_DIR里面

    • 用 ldd 查看缺失的库所依赖的库的路径：

      ldd libpng.16.so

    • 发现有一些库还是放在 /lib/x86_64-linux-gnu/ 下面的！！好坑

    2，在Makefile.config里添加LINKFLAGS， 相当于为Makefile里的LINKFLAGS设置默认的初值

  • LINKFLAGS，添加当前环境下的lib：anaconda3/envs/env_name/lib

    LINKFLAGS := -Wl,-rpath,/path/to/lib

    【我怀疑下面这个才是根本原因】：

    很可能是opencv的版本出了问题，原来现在真的有opencv4.1。。conda里面3和4 都装了。。而且指向的都是4.。

  • 我C，就是opencv的版本！！！！！！注意用conda装的时候一定要选好版本啊啊啊啊啊啊

  • 如果不小心装错了，先把conda环境里原本有的所有opencv都卸掉！然后再重新装！

没有报错了，接着编译pycaffe 和 matcaffe：

make pycaffe -j32
make matcaffe -j32

make runtest(其实这个没成功但是上面的都能正常用了就算了！)

==用CMAKE==

[貌似最后没完全成功，但是 make all 和 make pycaffe 似乎是OK的，

不过这些报错的解决方法应该是OK的，只是后面还有新的报错就懒得再管了，

放弃cmake直接在根目录下make了，这似乎是比较主流的做法]

cmake报的错：

注意，CMAKE编译时设置DEBUG or RELEASE模式

https://blog.csdn.net/u010103202/article/details/75447473

cmake -DCMAKE_BUILD_TYPE=RELEASE /DEBUG

不同模式最好放在不同目录下编译

报错boost

报错找不到boost python

  • 在Dependencies.cmake对应的那一行（报错的那一行）改 python为python27

    原本大概是： find_packages(Boost COMPONENTS python)，把这里的python改为python27

make阶段：
make all -j32

报错libprotobuf版本比较高 需要用C++11编译

  • error This file requires compiler and library support for the ISO C++ 2011 standard. This support is currently experimental, and must be enabled with the -std=c++11 or -std=gnu++11 compiler options.

  • 在CMakeList.txt里面添加 SET( CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11 -O3")
make pycaffe -j32

报错没有cudnn

  • 在conda下安装 cudatoolkit 注意看看本机装的CUDA版本
  • 在conda下安装cudnn

报错opencv

  • 这是因为opencv版本不一致造成的，这里用的opencv c++库是opencv 3，原来的caffe好像都用的opencv2 https://blog.csdn.net/qq_28660035/article/details/80772071

  • 改动的地方

    caffe/src/caffe/layers/window_data_layer.cpp 里面用到imread，读彩色图的参数要改变

    caffe/src/caffe/util/io.cpp 里面用到imread，读彩色图的参数要改变

    CV_LOAD_IMAGE_COLOR -> cv::IMREAD_COLOR

    CV_LOAD_IMAGE_GRAYSCALE -> cv::IMREAD_GRAYSCALE

make matcaffe -j32
  • cmake:
    • 打开CMakeLists.txt的BUILD_matlab
    • 报错的话，忽略那个错。。其实是作者代码没有处理好。。
      • 出错的地方在于，要把那些库文件转换为make命令中的 -l${lib_name} 的这个函数，因为库文件的变量中，还保存了PUBLIC、PRIVATE等cmake target_link_libraries这个函数的关键字，但是却没有在convert时解析这些关键字。。。所以遇到这些关键字就判为FATAL_ERROR了。。
      • 找到出错的那个文件，把报错等级的error改为warning。。
  • make

测试使用

https://blog.csdn.net/wzz18191171661/article/details/70149070

pycaffe

编译完之后，测试pycaffe：

  • 如果import失败可能是因为要添加pycaffe的路径(caffe根目录下的python文件夹)到 ~/.bashrc的PYTHONLIBRARY 并source
import caffe
caffe.__version__
  • 如果提示warning 缺少一些包或是版本不对应，用 pip install

caffe

测试caffe，在caffe的根目录下：

./data/mnist/get_mnist.sh
./examples/mnist/create_mnist.sh
./examples/mnist/train_lenet.sh
  • 可以看到训练的过程，最终测试的精度是　0.98+
  • 如果报错，去看看这些脚本文件都做了什么

Check failed: mdb_status == 0 (2 vs. 0) No such file or directory

一般报错这个，大多是 数据集的路径不对！看看prototxt里面指定了数据集的路径里，有没有数据集！

matcaffe

make mattest

报错 一大堆动态库找不到，这些动态库都是装在conda环境下的

  • 意味着编译matcaffe的时候用的是conda环境的，但是mattest不是

  • mattest竟然用的动态库都是系统下面的？为什么不是直接用编译时候指定的anaconda_home的那些？

  • 还要改 LD_LIBRARY_PATH ，添加conda环境下的lib路径，并且export，但是这个是很辣鸡的替代方法！【因为如果是其他情况下，需要用根目录的lib或是其他环境的lib怎么办？】

    export LD_LIBRARY_PATH=/path_to_conda/envs/env_name/lib:$LD_LIBRARY_PATH

  • well, 官方都这么说了

    Build MatCaffe

    Build MatCaffe with make all matcaffe. After that, you may test it using make mattest.

    Common issue: if you run into error messages like libstdc++.so.6:version 'GLIBCXX_3.4.15' not found during make mattest, then it usually means that your Matlab's runtime libraries do not match your compile-time libraries. You may need to do the following before you start Matlab:

    export LD_LIBRARY_PATH=/opt/intel/mkl/lib/intel64:/usr/local/cuda/lib64
export LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libstdc++.so.6

    Or the equivalent based on where things are installed on your system, and do make mattest again to see if the issue is fixed. Note: this issue is sometimes more complicated since during its startup Matlab may overwrite your LD_LIBRARY_PATH environment variable. You can run !ldd ./matlab/+caffe/private/caffe_.mexa64 (the mex extension may differ on your system) in Matlab to see its runtime libraries, and preload your compile-time libraries by exporting them to your LD_PRELOAD environment variable.

    After successful building and testing, add this package to Matlab search PATH by starting matlab from caffe root folder and running the following commands in Matlab command window.

    addpath ./matlab

    You can save your Matlab search PATH by running savepath so that you don't have to run the command above again every time you use MatCaffe.

报错 Could not convert handle to pointer due to invalid init_key. The object might have been cleared.

  • ./matlab/+caffe/private/Net.m

    ~isempty() 改为 self.isvalid， 参考自https://blog.csdn.net/jiao_mrswang/article/details/81180632

  • ./matlab/+caffe/private/Solver.m

    40行，用 if self.isvalid 包围， 参考自https://github.com/BVLC/caffe/pull/5588

    Error in caffe.Solver/delete (line 40)
    caffe_('delete_solver', self.hSolver_self);

    The solution to this issue as the same to @meixiaofeng way. I change the code to as follow:
    if self.isvalid
    caffe_('delete_solver', self.hSolver_self);
    end

在MATLAB使用的时候可能要先添加 matcaffe的路径：

  • 在caffe根目录下运行MATLAB
  • 在MATLAB命令行中 输入 addpath ./matlab %添加matcaffe的路径
  • 在MATLAB命令行中 输入 help caffe %如果输出caffe的详细信息则代表路径添加成功

内容总结

以上是互联网集市为您收集整理的基于Anaconda编译caffe+pycaffe+matcaffe in Ubuntu[不用sudo权限]全部内容，希望文章能够帮你解决基于Anaconda编译caffe+pycaffe+matcaffe in Ubuntu[不用sudo权限]所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/950974.html

来源：【匿名】