首页 / DOCKER / 基于Docker安装的MindSpore-1.2 GPU版本

基于Docker安装的MindSpore-1.2 GPU版本

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了基于Docker安装的MindSpore-1.2 GPU版本，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6224字，纯文字阅读大概需要9分钟。

内容图文

技术背景

在前面一篇博客中，我们介绍过MindSpore-CPU版本的Docker部署以及简单的案例测试，当时官方还不支持GPU版本的Docker容器化部署。经过MindSpore团队的努力，1.2.0版本的MindSpore-GPU终于推出了Docker版本的安装解决方案：
基于Docker安装的MindSpore-1.2 GPU版本 - 文章图片
在本文中我们将针对这一方案进行直接的测试，并补充其中一些很有可能被忽略的细节，接下来直接上手。

更换华为云镜像源

在华为云官方提供的镜像源仓库中找到适配自己系统的源，然后按照其中的指导进行配置。这里我们本地使用的是Ubuntu 20.04版本，可以按照如下的方法更新apt的源：

root@ubuntu2004:~# cp -a /etc/apt/sources.list /etc/apt/sources.list.bak
root@ubuntu2004:~# sed -i "s@http://.*archive.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list
root@ubuntu2004:~# sed -i "s@http://.*security.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list
root@ubuntu2004:~# apt-get update

更新镜像源会需要一定的时间，等待即可，这一步一般不会出什么问题。

MindSpore-GPU-Docker的安装

这里可以参考MindSpore官方的指导文档一步步的进行操作，其中遇到一些非常规问题时我们再看看解决的策略：

root@ubuntu2004:~# DISTRIBUTION=$(. /etc/os-release; echo $ID$VERSION_ID)
root@ubuntu2004:~# curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | apt-key add -
gpg: 找不到有效的 OpenPGP 数据。

第二步的操作时非常容易出问题的地方，因为本地的主机列表无法解析这个链接的ip地址。一开始我跟参考链接1的作者类似的，以为是需要上google才能够解决此类的问题，但是后来尝试了一下参考链接1中的解决方案，发现是可以生效的，这里直接演示解决的方法：

root@ubuntu2004:~# vi /etc/hosts # 在文档的最后面加上下面的四行ip地址与域名相对照的列表
root@ubuntu2004:~# cat /etc/hosts | grep nvidia # 查询修改情况
185.199.108.153 nvidia.github.io
185.199.109.153 nvidia.github.io
185.199.110.153 nvidia.github.io
185.199.111.153 nvidia.github.io

经过上述的简单配置之后，继续MindSpore-GPU-Docker的安装步骤：

root@ubuntu2004:~# curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | apt-key add -
OK
root@ubuntu2004:~# curl -s -L https://nvidia.github.io/nvidia-docker/$DISTRIBUTION/nvidia-docker.list | tee /etc/apt/sources.list.d/nvidia-docker.list
deb https://nvidia.github.io/libnvidia-container/stable/ubuntu18.04/$(ARCH) /
#deb https://nvidia.github.io/libnvidia-container/experimental/ubuntu18.04/$(ARCH) /
deb https://nvidia.github.io/nvidia-container-runtime/stable/ubuntu18.04/$(ARCH) /
#deb https://nvidia.github.io/nvidia-container-runtime/experimental/ubuntu18.04/$(ARCH) /
deb https://nvidia.github.io/nvidia-docker/ubuntu18.04/$(ARCH) /
root@ubuntu2004:~# apt-get update && sudo apt-get install -y nvidia-container-toolkit nvidia-docker2
root@ubuntu2004:~# systemctl restart docker

到这里所需要的依赖就已经安装完成了，最后还有一步是需要修改docker的配置文件，使得MindSpore可以使用Docker的nvidia-container-runtime：

root@ubuntu2004:~# vi /etc/docker/daemon.json # 修改成如下所示的配置
root@ubuntu2004:~# cat /etc/docker/daemon.json 
{
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

root@ubuntu2004:~# systemctl daemon-reload # 重新加载配置
root@ubuntu2004:~# systemctl restart docker # 重启Docker

上述配置都完成之后，终于到了最后一步，使用Docker来拉取MindSpore的官方镜像：

root@ubuntu2004:~# docker pull swr.cn-south-1.myhuaweicloud.com/mindspore/mindspore-gpu:1.2.0
1.2.0: Pulling from mindspore/mindspore-gpu
6e0aa5e7af40: Pull complete 
d47239a868b3: Pull complete 
49cbb10cca85: Pull complete 
4450dd082e0f: Pull complete 
b4bc5dc4c4f3: Pull complete 
5353957e2ca6: Pull complete 
f91e05a16062: Pull complete 
7a841761f52f: Pull complete 
698198ce2872: Pull complete 
05a2da03249e: Pull complete 
b1761864f72a: Pull complete 
29479e68065f: Pull complete 
4bf6be16ed12: Pull complete 
c429d95fc15b: Pull complete 
48c41c211021: Pull complete 
349cae3c1ede: Pull complete 
768237cdcd4d: Pull complete 
2fd2faf6c353: Pull complete 
268f4496a02c: Pull complete 
e962d4980323: Pull complete 
f1d280968a28: Pull complete 
bc3e02707e81: Pull complete 
Digest: sha256:3318c68d63cfe110e85d7ed93398b308f8458624dc96aad9a4d31bc6d345daa7
Status: Downloaded newer image for swr.cn-south-1.myhuaweicloud.com/mindspore/mindspore-gpu:1.2.0
swr.cn-south-1.myhuaweicloud.com/mindspore/mindspore-gpu:1.2.0

关于Docker这里要多说两点：

Docker在Ubuntu20.04上面的安装不是apt-get install docker，而是apt-get install docker.io
关于更多Docker的使用示例，可以参考这些以往的博客（博客1，博客2，博客3，博客4，博客5）。

MindSpore-GPU的测试

测试用例同样也来自于MindSpore的官方文档，这里只是额外补充了一个本地的目录映射，将测试目录/home/dechin/projects/mindspore/test/映射为MindSpore容器中的/home目录，这样在容器内操作所导致的文件变更都会在本地测试目录下同步。需要注意的是，这里的目录映射只能采用绝对路径而不能采用相对路径：

dechin@ubuntu2004:~/projects/mindspore/test$ sudo docker run -it -v /dev/shm:/dev/shm -v /home/dechin/projects/mindspore/test/:/home --runtime=nvidia --privileged=true swr.cn-south-1.myhuaweicloud.com/mindspore/mindspore-gpu:1.2.0 /bin/bash
[sudo] dechin 的密码： 
root@0b44a5a66fca:/# cd /home/
root@0b44a5a66fca:/home# vim mindspore_test.py # python文件的具体内容在后面
root@0b44a5a66fca:/home# python mindspore_test.py 
[[[[2. 2. 2. 2.]
   [2. 2. 2. 2.]
   [2. 2. 2. 2.]]

  [[2. 2. 2. 2.]
   [2. 2. 2. 2.]
   [2. 2. 2. 2.]]

  [[2. 2. 2. 2.]
   [2. 2. 2. 2.]
   [2. 2. 2. 2.]]]]

如下所示是刚才在容器中用于测试的python代码：

# mindspore_test.py

import numpy as np
import mindspore.context as context
import mindspore.ops as ops
from mindspore import Tensor

context.set_context(mode=context.PYNATIVE_MODE, device_target="GPU")

x = Tensor(np.ones([1,3,3,4]).astype(np.float32))
y = Tensor(np.ones([1,3,3,4]).astype(np.float32))
print(ops.add(x, y))

我们可以看到最终是成功的运行了，说明MindSpore-GPU的Docker容器化环境部署成功。

总结概要

继上一篇文章介绍了MindSpore的CPU版本的Docker容器化部署之后，MindSpore官方团队推出了MindSpore的GPU版本的Docker容器化部署方案，本文针对这一方案进行了安装测试，并且对于其中一些安装的时候可以遇到的问题的细节进行了处理。之所以采用容器化的解决方案，主要是为了做到SDK环境与编程环境的隔离，释放本地环境配置与部署的压力。当然，也使得本地的开发环境更加的“干净”。

版权声明

本文首发链接为：https://www.cnblogs.com/dechinphy/p/dmg.html
作者ID：DechinPhy
更多原著文章请参考：https://www.cnblogs.com/dechinphy/

参考链接

内容总结

以上是互联网集市为您收集整理的基于Docker安装的MindSpore-1.2 GPU版本全部内容，希望文章能够帮你解决基于Docker安装的MindSpore-1.2 GPU版本所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/989220.html

来源：【匿名】

【上一篇】Docker简介【下一篇】一个查看xhprof数据文件的docker镜像

更多 ►

【基于Docker安装的MindSpore-1.2 GPU版本】教程文章相关的互联网学习教程文章

Docker安装【代码】【图】

先上一个Docker架构图,看下Docker组成镜像(image): docker可以理解为模板,通过模板创建容器服务,比如tomacat镜像>run>tomacat01容器(提供服务) 通过这个镜像可以创建多个容器,而所有的服务和项目应用都是在容器中的容器(container): 利用容器技术,完全独立运行一个或者一组应用,通过镜像来创建启动,停止,删除,基本命令仓库(repository): 用来存放镜像的地方!! 分为公有仓库和私有仓库. Docker hub 阿里云等都有容器仓库.开始安装...

docker 安装docano (数据标注平台)【图】

1.拉取镜像这个镜像是dockerhub官网的，我测试没问题了上传到了我自己的仓库 zhoujun18855525303/doccano，所有小伙伴们可以直接拉下来使用docker pull zhoujun18855525303/doccano:1.02.本地创建文件夹，挂载目录保存平台数据app=pamirs-ner-doccano mkdir -p /storage/data/$appmkdir -p /storage/data/$app/datachmod 777 -R /storage/data/$app3. 启动容器 docker run -d --name doccano_platform -v /storage/data/pamirs-ner...

docker 的安装【代码】

官方网站上有各种环境下的安装指南，这里主要介绍下Ubuntu和CentOS系列的安装。Ubuntu 系列安装 Docker通过系统自带包安装Ubuntu 14.04 版本系统中已经自带了 Docker 包，可以直接安装。$ sudo apt-get update $ sudo apt-get install -y docker.io $ sudo ln -sf /usr/bin/docker.io /usr/local/bin/docker $ sudo sed -i ‘$acomplete -F _docker docker‘ /etc/bash_completion.d/docker.io 如果使用操作系统自带包安装 Docker...

Docker 之基本安装配置【代码】

一、安装epel源 yum install epel-release -y二、添加docker源yum install -y yum-utils yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo三、查看当前docer安装版本号yum list docker-ce --show-duplicates四、安装社区版dockeryum -y install docker-ce五、创建配置docker的配置文件docker]# vi /etc/docker/daemon.json {"graph": "/data/docker","storage-driver": "overlay2...

docker安装mysql-MacBook pro m1芯片

1、mac m1下载mysql镜像 docker pull --platform linux/x86_64 mysql:5.7注意：如果是mysql最新版本，连接：会报错 2、启动容器 docker run -itd --name mysql-test -v /Users/feifei/mysql-data:/var/lib/mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7注：持久化后，mysql的数据会存储在mac电脑的/Users/feifei/mysql-data文件夹。 3、用命令或者navicat连接成功 4、数据持久化新建数据库，在mysql中看到数据库 ...

树莓派上 Docker 的安装和使用【代码】【图】

Docker 是一个开源的应用容器引擎，可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口，容器性能开销极低。这对树莓派非常有用，本教程将介绍 Docker 这个工具以及如何在 Raspbian 上安装 Docker。Docker 的应用场景Web 应用的自动化打包和发布。自动化测试和持续集成、发布。在服务型环境中部署和调整...

centos7.3 docker安装grafana【代码】

一、编写docker-cmpose文件 docker-compose.yml文件如下： 1 version: "3.3" 2services:3 grafana:4 image: grafana/grafana:latest5 environment:6 GF_SECURITY_ADMIN_PASSWORD: aibili_grafana7 ports:8 - 3000:3000 9 user: "472"10 volumes: 11 - ./grafana_data:/var/lib/grafana 12 - ./log/grafana:/var/log/grafana 13 influxdb: 14 image: influxdb:latest 15 environm...

docker安装常用软件【代码】

docker基础移除旧版dockersudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine 使用yum安装docker#安装依赖包 sudo yu...

Notebook Docker 安装spark环境【代码】【图】

环境 Notebook docker环境https://registry.hub.docker.com/r/jupyter/datascience-notebook/ 下载安装包spark安装包http://mirror.bit.edu.cn/apache/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz pyspark安装包http://mirror.bit.edu.cn/apache/spark/spark-3.0.0/pyspark-3.0.0.tar.gz Py4j安装包https://pypi.org/simple/py4j/下载0.10.9版本 JDK安装包Jdk 1.8 安装 spark环境安装解压spark-3.0.0-bin-hadoop3.2.tgz ...

docker安装tomcat【图】

第一种方式官方方式 Mr.right 上面代表直接下载并运行tomcat第二种方式常用方式原文：https://www.cnblogs.com/rerise/p/15165088.html

Docker安装和基本操作【代码】

一、Docker安装 CentOS7安装Docker CE$sudo yum install -y yum-utils device-mapper-persistent-data lvm2 $sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo $sudo yum install docker-ce注意：以上安装的是最新版18.03，如果要安装指定版本可以使用以下命令# 查看可以安装的版本，从高到低 $yum list docker-ce --showduplicates | sort -r # 安装指定版本 $sudo yum install dock...

基于docker安装ELK【代码】【图】

巨坑提醒：ES和kibana的版本尽可能的保证一致，否则要去修改很多配置信息，而且不一定能安装成功，现象：ES安装成功了但是kibana无法链接到ES，报红（red）。ELK版本关系表ElasticsearchKibanaX-PackBeats^*Logstash^*ES-Hadoop (jar)*APM ServerApp SearchEnterprise SearchEndpoint Security5.0.x5.0.x5.0.x1.3.x-5.6.x2.4.x-5.6.x5.0.x-5.6.x 5.1.x5.1.x5.1.x1.3.x-5.6.x2.4.x-5.6.x5.0.x-5.6.x 5.2.x5.2.x5.2.x1.3.x-5.6...

docker安装mysql5.6

拉取镜像[root@localhost ~]# docker pull mysql:5.6 运行镜像docker run -p 3306:3306 --name mysql -v /usr/local/mysql5.6/conf:/etc/mysql/conf.d -v /usr/local/mysql5.6/logs:/logs -v /usr/local/mysql5.6/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6 参考：https://www.runoob.com/docker/docker-install-mysql.html 原文：https://www.cnblogs.com/moris5013/p/11000735.html

centos8飞行驾驶舱和docker安装【图】

一、安装飞行驾驶舱#yum install -y *cockpit*#systemctl start cockpit# systemctl enable --now cockpit.socket浏览器+ip+:9090 二、安装docker[root@localhost ~]# yum install -y docker-ceUpdating Subscription Management repositories.Unable to read consumer identityThis system is not registered to Red Hat Subscription Management. You can use subscription-manager to register.Docker CE Stable - x86_64 ...

Docker安装MySQL8.0【代码】【图】

环境CentOS 7.5Docker 1.13.1MySQL 8.0.16安装拉取镜像默认拉取最新版本的镜像$ docker pull mysql 如果要指定版本，使用下面的命令$ docker pull mysql:8.0.16 创建数据目录和配置文件在宿主机创建放置mysql的配置文件的目录和数据目录，并且进行授权$ mkdir -p /usr/mysql/conf /usr/mysql/data$ chmod -R 755 /usr/mysql/ 创建配置文件在上面创建的配置文件目录/usr/mysql/conf下创建MySQL的配置文件my.cnf$ vim /usr/mysql/con...

DOCKER - 技术教程分类

Docker 教程 Docker 架构 Debian Docker 安装 CentOS Docker 安装 Docker 镜像加速 Docker Hello World Docker 镜像使用 Docker 容器连接 Docker 仓库管理 Docker Dockerfile Docker Compose Swarm 集群管理 Docker 安装 Centos Docker 安装 MySQL Docker 安装 Redis Docker 安装 MongoDB Docker 命令大全 docker 全部

DOCKER - 最热教程

有时在Docker中导入数据Mysql非常慢 dockerfile中设置python虚拟环境+gunic...docker中编译nodejs并使用nginx启动 Gdal4Java Docker镜像创建使用Yearning 做MYSQL审计docker+K8S部...PHP-docker容器中的环境变量 Docker – 安装php-memcached扩展无法正...Ubuntu编译安装HAprox+Keepalived+MySQ...linux – 在Dockerfile中找不到tar命令修改 docker 的运行根目录

首页 / DOCKER / 基于Docker安装的MindSpore-1.2 GPU版本

基于Docker安装的MindSpore-1.2 GPU版本

内容导读

内容图文

技术背景

更换华为云镜像源

MindSpore-GPU-Docker的安装

MindSpore-GPU的测试

总结概要

版权声明

参考链接

内容总结

内容备注

内容手机端

【基于Docker安装的MindSpore-1.2 GPU版本】教程文章相关的互联网学习教程文章

Docker安装【代码】【图】

docker 安装docano (数据标注平台)【图】

docker 的安装【代码】

Docker 之基本安装配置【代码】

docker安装mysql-MacBook pro m1芯片

树莓派上 Docker 的安装和使用【代码】【图】

centos7.3 docker安装grafana【代码】

docker安装常用软件【代码】

Notebook Docker 安装spark环境【代码】【图】

docker安装tomcat【图】

Docker安装和基本操作【代码】

基于docker安装ELK【代码】【图】

docker安装mysql5.6

centos8飞行驾驶舱和docker安装【图】

Docker安装MySQL8.0【代码】【图】

DOCKER - 相关标签

安装 - 相关标签

DOCKER - 技术教程分类

DOCKER - 最新教程

DOCKER - 最热教程