使用netlib-java进行“符号查找错误”
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了使用netlib-java进行“符号查找错误”,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2543字,纯文字阅读大概需要4分钟。
内容图文
![使用netlib-java进行“符号查找错误”](/upload/InfoBanner/zyjiaocheng/827/01da707799c04e8b83f4bc119d368e8a.jpg)
背景&问题
我在运行Fedora 23的机器上运行Spark的MLLib中的示例时遇到了一些麻烦.我已根据Spark文档使用以下选项构建Spark 1.6.2:
build/mvn -Pnetlib-lgpl -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
并在运行二进制分类示例时:
bin/spark-submit --class org.apache.spark.examples.mllib.BinaryClassification examples/target/scala-*/spark-examples-*.jar --algorithm LR --regType L2 --regParam 1.0 data/mllib/sample_binary_classification_data.txt
我收到以下错误:
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.92-1.b14.fc23.x86_64/jre/bin/java:符号查找错误:/tmp/jniloader5830472710956533873netlib-native_system-linux-x86_64.so: undefined symbol:cblas_dscal
此形式的错误(使用netlib的符号查找错误)不限于此特定示例.另一方面,弹性网示例(./bin/run-example ml.LinearRegressionWithElasticNetExample)运行没有问题.
试图解决方案
我尝试了许多解决方案无济于事.例如,我在这里查看了一些建议https://datasciencemadesimpler.wordpress.com/tag/blas/,虽然我可以从com.github.fommil.netlib.BLAS和LAPACK成功导入,但上述符号查找错误仍然存??在.
我已经阅读了fommil / netlib-java中的netlib-java文档,并确保我的系统具有libblas和liblapack共享对象文件:
$?ls /usr/lib64 | grep libblas
libblas.so
libblas.so.3
libblas.so.3.5
libblas.so.3.5.0
$ls /usr/lib64 | grep liblapack
liblapacke.so
liblapacke.so.3
liblapacke.so.3.5
liblapacke.so.3.5.0
liblapack.so
liblapack.so.3
liblapack.so.3.5
liblapack.so.3.5.0
我找到的最有希望的建议是http://fossdev.blogspot.com/2015/12/scala-breeze-blas-lapack-on-linux.html,其中包括
JAVA_OPTS =“ – Dcom.github.fommil.netlib.BLAS = com.github.fommil.netlib.NativeRefBLAS”
在sbt脚本中.因此,我在build / mvn脚本中将这些选项附加到_COMPILE_JVM_OPTS =“…”,这也没有解决问题.
最后,我在网上找到的最后一点建议建议将以下标志传递给sbt:
sbt -Dcom.github.fommil.netlib.BLAS=com.github.fommil.netlib.F2jBLAS -Dcom.github.fommil.netlib.LAPACK=com.github.fommil.netlib.F2jLAPACK -Dcom.github.fommil.netlib.ARPACK=com.github.fommil.netlib.F2jARPACK
问题仍然存在.我的帖子中仅限于两个链接,但建议可以在github上找到lildata的’scaladatascience’repo的README.md.
有人遇到过这个问题并成功解决了吗?任何和所有的帮助或建议深表感谢.
最佳答案:
已经过了几个月,但我回到了这个问题,并且能够得到一个正常运作的解决方法(如果其他人有同样的问题,可以在这里发帖).
它归结为图书馆优先;所以,通过调用:
$export LD_PRELOAD=/path/to/libopenblas.so
在启动Spark之前,一切都按预期工作.
我在阅读后想出了解决方案:
> https://github.com/fommil/netlib-java/issues/88(直接解决此问题)
> JNI “symbol lookup error” in shared library on Linux(类似的链接问题,与Spark没有关系,但答案是关于链接的信息)
内容总结
以上是互联网集市为您收集整理的使用netlib-java进行“符号查找错误”全部内容,希望文章能够帮你解决使用netlib-java进行“符号查找错误”所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。