spark上的深度学习——按照雅虎的做法，本质上就是rdd.pipe，推理部分直接代理给tensorflow
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了spark上的深度学习——按照雅虎的做法，本质上就是rdd.pipe，推理部分直接代理给tensorflow，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1304字，纯文字阅读大概需要2分钟。
内容图文
from:https://juejin.im/post/5ad4b620f265da23a04a0ad0 看原文代码即可知道本质
Deep Learning On Spark
经过刚才的介绍，我们知道spark是一个分布式的通用计算框架，而以tensorflow为代表的deep learning是一个分布式模型训练框架，它更多专注在梯度计算，那为什么要将两者整合呢？整合的意义在哪里？意义就是能实现更好的分布式训练和数据传输。
针对分布式训练的场景，雅虎开源了TensorflowOnSpark的开源框架，它主要实现tensorflow能够与spark相结合做分布式训练。同时也有其它的一些机制，例如，CaffeOnSpark、MMLSpark(CNTK)、PaddleOnSpark。
TensorflowOnSpark解决的核心问题是将spark作为分布式tensorflow的底层调动机制，通过spark executor去把tensorflow的进程调动起来，这样在进行tensorflow训练时就不需要手动地去组建网络。它也提供了一个API，通过调TFCluster.run这样一个API，可以快速获得tensorflow的一个分布式训练环境。
除此之外TensorflowOnSpark还提供了基于RDD的数据并行机制，如下图所示。这套机制非常方便地集成了spark已有的RDD处理机制，可以更好地跟spark sql或spark streaming去做相应的集成。
然后进入到另外一个方向，叫做spark-deep-learning，是由spark的创始公司—Data Bricks发起的，它主要的目标是提供一些high-level的API，把底层的模型进行组件化，同时它期望可以兼容底层深度式学习框架。
这里有个“Transfer Learning as a Pipeline”的例子供大家了解，如下图所示：
TensorflowOnSpark Pipeline开发了两个API，一个是TFEstimator，另一个是TFModel，提供了这两个之后，你可以直接把它们集成到spark-deep-learning pipeline里面，进行进一步的训练。
六.TensorflowOnSpark案例实践
最后一部分，我们来进行案例实践介绍，我们要解决的是一个图像分类问题，这里采用了一个kaggle dataset，叫做花朵识别，有5个类别，4000多张图片，包括郁金香、太阳花、蒲公英、玫瑰和雏菊这五种花。把这些数据预先存储于MongoDB中。我们的案例实践是一个分布式解决方案，包括分布式数据获取、分布式训练、分布式评估。
以下几张图片是代码示例，简单了解一下：
下面是效果演示，左边是图片，右边是模型预测结果，预测结果都是一个概率值，根据概率值的大小来判定这是哪一类花朵：
原文：https://www.cnblogs.com/bonelee/p/13202044.html
内容总结
以上是互联网集市为您收集整理的spark上的深度学习——按照雅虎的做法，本质上就是rdd.pipe，推理部分直接代理给tensorflow全部内容，希望文章能够帮你解决spark上的深度学习——按照雅虎的做法，本质上就是rdd.pipe，推理部分直接代理给tensorflow所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。