k8s笔记（7）-- 存储卷

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了k8s笔记（7）-- 存储卷，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含11608字，纯文字阅读大概需要17分钟。

内容图文

存储卷

k8s存储卷（Volume）和docker存储卷功能类似，都是用来提供数据永久存储或数据共享的。不过docker存储卷是挂载在容器上，可以伴随着容器的生命周期，而k8s存储卷是挂载在pod上，可以伴随着pod的生命周期，因此pod中的容器重启不影响卷，但pod被重建时卷可能会被影响。

存储卷类型

k8s支持很多种卷，这里仅介绍一些简单的存储卷：emptyDir，hostpath，nfs， pvc、pv，configmap和secret。分布式存储卷或云存储不做介绍。

# 指定挂载卷的类型
kubectl explain pod.spec.volumes
# 指定每个容器的挂载点
kubectl explain pod.spec.containers.volumeMounts

卷使用注意：

卷不能挂载到其他卷上，也不能具有到其他卷的硬链接。
Pod中的每个容器必须独立指定每个卷的安装位置。

emptyDir

当Pod分配到Node上时，将会创建emptyDir，并且自动分配对应Node的某个空目录。只要Node上的Pod一直运行，emptyDir就会一直存在。本文中只有emptyDir是伴随Pod生命周期的，当Pod（不管任何原因）从Node上被删除时，emptyDir也同时会删除，存储的数据也将永久删除。注：删除Pod中容器不影响emptyDir。

emptyNode使用场景：

1）程序临时目录

2）memory：在以内存文件系统（tmps）挂载到系统中时，如果node重启，emptyDir会自动清空；同时写入emptyDir的任何文件都将计入Container的内存使用限制。

# cat emptyDir-demo.yaml
apiVersion: v1
kind: Pod
metadata:
        name: emptydir-demo
        namespace: default
        labels:
                demo: emptydir
spec:
        containers:
        - name: nginx
          image: nginx:1.17.5-alpine
          imagePullPolicy: IfNotPresent
          ports:
          - name: http
            containerPort: 80
          volumeMounts:
          - name: html
            mountPath: /usr/share/nginx/html/
        - name: busybox
          image: busybox:latest
          imagePullPolicy: IfNotPresent
          command: 
          - "/bin/sh"
          - "-c"
          - "while true; do date >> /www/index.html ;sleep 10;done"
          volumeMounts:
          - name: html
            mountPath: /www
        volumes:
        - name: html
          emptyDir: {}

创建访问测试，可以看到emptydir是共享的

# curl 10.244.1.62
Thu Dec 05 04:16:03 UTC 2019

#  kubectl exec -it emptydir-demo -c nginx cat /usr/share/nginx/html/index.html
Thu Dec 05 04:16:03 UTC 2019
Thu Dec 05 04:16:13 UTC 2019
Thu Dec 05 04:16:23 UTC 2019

# kubectl exec -it emptydir-demo -c busybox cat /www/index.html
Thu Dec 05 04:16:03 UTC 2019
Thu Dec 05 04:16:13 UTC 2019
Thu Dec 05 04:16:23 UTC 2019

删除重建pod看下，emptydir也被删除重建了

# kubectl replace -f emptyDir-demo.yaml --force
# curl 10.244.1.63
Thu Dec 05 04:24:56 UTC 2019
# kubectl exec -it emptydir-demo -c busybox tail /www/index.html
Thu Dec 05 04:24:56 UTC 2019
Thu Dec 05 04:25:06 UTC 2019

hostPath

类似emptyDir，hostpath可以将本地node已存在的文件或目录挂载到pod中，且不随pod周期，实现持久化存储或共享。但是如果pod发生跨主机重建，容器hostPath文件的内容可能变动。因此hostPath一般和DaemonSet搭配使用，如本节点容器日志收集。

DirectoryOrCreate：如果给定路径上不存在任何内容，则将根据需要在其中创建一个空目录，并将权限设置为0755。该目录与Kubelet具有相同的组和所有权，即进程必须用root权限写入目录，或手动修改挂载目录权限。

kubectl explain pod.spec.volumes.hostPath

# 因为之前测试创建那个容器时间是UTC，所以这里顺便也用hostPath修改下
# cat hostPath-demo.yaml
apiVersion: v1
kind: Pod
metadata:
        name: pod-hostpath-demo
        namespace: default
        labels:
                app: mynginx
                tier: frontend
        annotations:
                bubble/createby: "cluster admin"
spec:
        containers:
        - name: nginx
          image: nginx:1.17.5-alpine
          imagePullPolicy: IfNotPresent
          ports:
          - name: http
            containerPort: 80
          volumeMounts:
          - name: html
            mountPath: /var/log/nginx
          - name: localtime
            mountPath: /etc/localtime
        volumes:
        - name: html
          hostPath:
            path: /data/pod/hostPath
            type: DirectoryOrCreate
        - name: localtime
          hostPath:
            path: /etc/localtime
            type: File

访问测试，可以看到pod重建后hostpath内容没变

# kubectl exec -it pod-hostpath-demo tail /var/log/nginx/access.log
10.244.0.0 - - [05/Dec/2019:16:57:00 +0800] "HEAD / HTTP/1.1" 200 0 "-" "curl/7.29.0" "-"
# kubectl replace -f pod-hostpath-demo.yaml  --force
pod "pod-hostpath-demo" deleted
pod/pod-hostpath-demo replaced

# kubectl exec -it pod-hostpath-demo tail /var/log/nginx/access.log
10.244.0.0 - - [05/Dec/2019:16:57:00 +0800] "HEAD / HTTP/1.1" 200 0 "-" "curl/7.29.0" "-"

nfs

nfs是网络存储，可以直接作为存储卷使用，实现pod间数据共享。如果pod被删仅会自动卸载nfs，nfs中内容仍保留。

# cat nfs-demo.yaml 
apiVersion: v1
kind: Pod
metadata:
        name: nfs-demo
        namespace: default
        labels:
                app: nfs
spec:
        containers:
        - name: nginx
          image: nginx:1.17.5-alpine
          imagePullPolicy: IfNotPresent
          ports:
          - name: http
            containerPort: 80
          volumeMounts:
          - name: html
            mountPath: /usr/share/nginx/html/
        volumes:
        - name: html
          nfs:
            path: /data/pod/nfs
            server: node2.xlbubble.xyz

访问测试

# curl 10.244.1.66
nfs on node2.xlbubble.xyz
# pod启动检查：确保各node能访问nfs目录

PV 和PVC

pv（PersistentVolum）是集群中的存储资源，基于物理存储。其生命周期和pod无关。

pvc（PersistentVolumClaim）是基于pv抽象的存储请求。Pod通过PVC请求物理存储。

pv卷插件支持的物理存储（Kubernetes v1.13+）：本地存储，iscsi，云硬盘，Vsphere存储等,具体看官网。

创建pv

先创建类型为nfs的持久化存储卷，用于为pvc提供存储卷。

# 确认node2.xlbubble.xyz的nfs正常
[root@node2 ~]# exportfs -arv
exporting *:/data/pod/v4
exporting *:/data/pod/v3
exporting *:/data/pod/v2
exporting *:/data/pod/v1
exporting *:/data/pod/nfs

可以创建多个pv，并提供各种不同的功能，包括卷大小和IO方式，IO性能等。

# cat  pv-demo.yaml 
apiVersion: v1
kind: PersistentVolume
metadata:
    name: pv001
    labels:
        name: pv001
spec:
    nfs:							# 创建nfs类型存储卷
    path: /data/pod/pv1				# nfs目录
        server: node2.xlbubble.xyz	# nfs server 
    accessModes: ["ReadWriteOnce"]  # 仅单节点读写
    capacity:						# pv大小
        storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
    name: pv002
    labels:
        name: pv002
spec:
    nfs:
        path: /data/pod/pv2
        server: node2.xlbubble.xyz
    accessModes: ["ReadWriteMany","ReadWriteOnce"]
    capacity:
        storage: 5Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
    name: pv003
    labels:
        name: pv003
spec:
    nfs:
        path: /data/pod/pv3
        server: node2.xlbubble.xyz
    accessModes: ["ReadWriteMany","ReadWriteOnce"]
    capacity:
        storage: 10Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
    name: pv004
    labels:
        name: pv004
spec:
    nfs:
        path: /data/pod/pv4
        server: node2.xlbubble.xyz
    accessModes: ["ReadWriteMany","ReadWriteOnce"]
    capacity:
        storage: 20Gi

# kubectl get pv
NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
pv001   2Gi        RWO            Retain           Available                                   33s
pv002   5Gi        RWO,RWX        Retain           Available                                   33s
pv003   10Gi       RWO,RWX        Retain           Available                                   33s
pv004   20Gi       RWO,RWX        Retain           Available                                   33s

创建pvc，再创建pod并指定pvc

# cat pvc-demo.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
    name: mypvc
    namespace: default
spec:
    accessModes: ["ReadWriteMany"]
    resources:
        requests:
            storage: 4Gi		# 创建4G的pvc

# cat pvc-pod-demo.yaml 
apiVersion: v1
kind: Pod
metadata:
        name: pvc-demo
        namespace: default
        labels:
                app: mynginx
                tier: frontend
        annotations:
                bubble/createby: "cluster admin"
spec:
        containers:
        - name: nginx
          image: nginx:alpine
          imagePullPolicy: IfNotPresent
          ports:
          - name: http
            containerPort: 80
          volumeMounts:
          - name: html
            mountPath: /usr/share/nginx/html/
        volumes:
        - name: html
          persistentVolumeClaim:
            claimName: mypvc

目前pvc使用绑定了pv002号存储卷，这里是自动寻找并绑定符合要求的静态pv，如果没有符合要求的pv，pvc会一直处于pending状态，直到出现符合要求的pv才创建。

静态pv：如上。

动态pv：如果没有符合要求的pv，会将多个pv捆绑在一块，提供存储。当pv集群仍未符合要求，则pvc会一直pending，直到pv集群符合要求。动态pv基于StorageClasses,需要有支持StorageClasses的卷插件。

# kubectl get pvc
NAME    STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
mypvc   Bound    pv002    5Gi        RWO,RWX                       11s

# kubectl get pv
NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM           STORAGECLASS   REASON   AGE
pv001   2Gi        RWO            Retain           Available                                           22s
pv002   5Gi        RWO,RWX        Retain           Bound       default/mypvc                           22s
pv003   10Gi       RWO,RWX        Retain           Available                                           22s
pv004   20Gi       RWO,RWX        Retain           Available                                           22s

访问测试

# curl 10.244.2.72
pv2 on node2.xlbubble.xyz

注意！本次测试的IO模式：nfs(rw) --> pv(rw) --> pvc(rw)。在配置过程中，要确保每次配置的存储权限都符合要求。

卷的删除

使用中的存储对象保护机制

删除pvc前k8s会先确认pvc是否有绑定pod，如果有绑定则不会立即删除，会一直等待pod那边主动解除绑定。同理，删除pv前也先确认是否有绑定pvc，如果有绑定则不会立即删除，会一直等待pvc那边主动解除绑定。Finalizers: [kubernetes.io/pvc-protection]

# kubectl describe pvc mypvc
Name:          mypvc
Namespace:     default
StorageClass:  
Status:        Bound
Volume:        pv003
Labels:        <none>
Annotations:   kubectl.kubernetes.io/last-applied-configuration:
                 {"apiVersion":"v1","kind":"PersistentVolumeClaim","metadata":{"annotations":{},"name":"mypvc","namespace":"default"},"spec":{"accessModes"...
               pv.kubernetes.io/bind-completed: yes
               pv.kubernetes.io/bound-by-controller: yes
Finalizers:    [kubernetes.io/pvc-protection]

删除后的回收策略

回收策略包括：保留，删除和回收（已弃用）。

静态pv默认使用保留策略：删除pvc或pv后，数据还是会保存在原来的物理存储上，如确认无需数据，可以去手动清理。

在删除pvc后pv处于Released状态，pv仍是有pvc声明的 default/mypvc （pvc和pv一对一映射），无法在重新绑定pvc。可以手动删除重建pv或修改pv声明。

kubectl delete -f pvc-demo.yaml
# kubectl get pv
NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM           STORAGECLASS   REASON   AGE
pv001   2Gi        RWO            Retain           Available                                           93m
pv002   5Gi        RWO,RWX        Retain           Released    default/mypvc                           93m
pv003   10Gi       RWO,RWX        Retain           Available                                           93m
pv004   20Gi       RWO,RWX        Retain           Available                                           93m

# kubectl edit pv
...
    claimRef:
      apiVersion: v1
      kind: PersistentVolumeClaim
      name: mypvc
      namespace: default
      resourceVersion: "3498958"
      uid: 2a110677-d6d6-495e-8b95-5f7cbb49e104
...

动态pv默认使用删除策略：删除pvc或pv后，原来物理存储上的数据也会被删除。

官方建议通过kubectl patch pv YOURPVNAME -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'修改pv的回收策略。

configmap和secret

To Be Continued

参考与扩展

k8s-storage

内容总结

以上是互联网集市为您收集整理的k8s笔记（7）-- 存储卷全部内容，希望文章能够帮你解决k8s笔记（7）-- 存储卷所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1009559.html

来源：【匿名】

【上一篇】k8s安装【下一篇】关于k8s部署php镜像实例

更多 ►

【k8s笔记（7）-- 存储卷】教程文章相关的互联网学习教程文章

一、搭建NFS服务器 1、安装NFS服务 yum install nfs-utils -y2、创建共享挂载目录 mkdir -p /data/nfs-volume3、设置访问权限 [root@test-operator nfs-volume]# cat /etc/exports /data/nfs-volume 10.3.153.0/24(rw,no_root_squash) 原文：https://blog.51cto.com/12965094/2489006

k8s学习-存储【代码】

4.6、存储4.6.1、ConfigMap创建方式文件夹/文件创建mkdir dir cd dir cat > c1.properties <<EOF c1.name=c1 EOF cat > c2.properties <<EOF c2.name=c2 EOFcd .. cat > c3.properties <<EOF c3.name=c3 EOF# configmap 简写为 cm # 根据目录创建 kubectl create configmap cm-c1 --from-file=dir # 根据文件创建 kubectl create configmap cm-c2 --from-file=c3.properties# 查看 [root@k8s-master configmap]# kubectl get cm NA...

k8s存储方式的介绍及应用【代码】【图】

k8s存储: (持久化) docker容器是有生命周期的。volume1，存储类（Storage class）是k8s资源类型的一种，它是有管理员为管理PV更加方便创建的一个逻辑组，可以按照存储系统的性能高低，或者综合服务质量，备份策略等分类。不过k8s本身不知道类别到底是什么，它这是作为一个描述。2，存储类的好处之一就是支持PV的动态创建，当用户用到持久性存储时，不必再去提前创建PV，而是直接创建PVC就可以了，非常的方便。3，存储类对象的名称很...

从零开始入门 K8s | 应用存储和持久化数据卷：存储快照与拓扑调度

作者 | 至天阿里巴巴高级研发工程师一、基本知识存储快照产生背景在使用存储时，为了提高数据操作的容错性，我们通常有需要对线上数据进行 snapshot ，以及能快速 restore 的能力。另外，当需要对线上数据进行快速的复制以及迁移等动作，如进行环境的复制、数据开发等功能时，都可以通过存储快照来满足需求，而 K8s 中通过 CSI Snapshotter controller 来实现存储快照的功能。存储快照用户接口-Snapshot我们知道，K8s 中通过 pvc ...

k8s之数据存储-高级存储【代码】

PV和PVC前面已经学习了使用NFS提供存储，此时就会要求用户会搭建NFS系统，并且会在yaml配置nf‘s，由于k8s支持的存储系统有很多，要求客户全部掌握，显然不现实。为了能够屏蔽底层存储实现的细节，方便用户使用，k8s引入PV和PVC两种资源对象。PV（Persistent Volume）是持久化卷的意思，是对底层的共享存储的一种抽象。一般情况下PV由k8s管理员进行创建和配置，它与底层具体的共享存储技术有关，并通过插件完成与共享存储的对接。P...

k8s无脑系列（三）-NFS存储(简单版本)【代码】

k8s无脑系列（三）-NFS存储(简单版本)1.概念搞清楚pv,pvcpv = PersistentVolume 持久化存储控制器，面向集群而不是namespace。 pvc = PersistentVolumeClaim 对接pod与pv，关系，官方说明A PVC to PV binding is a one-to-one mapping, using a ClaimRef which is a bi-directional binding between the PersistentVolume and the PersistentVolumeClaim大体意思如下：pvc与pv的绑定关系是一一对应的。注意！这里的一一对应是每个p...

k8s存储卷mysql故障转移

yum install -y rpcbind nfs-utils创建共享目录mkdir /home/sharedir修改目录权限chmod 0755 -R sharedir修改NFS配置文件vi /etc/exports/home/sharedir 192.168.2.0(rw,no_root_squash,no_all_squash,sync) ----------------------------yum install -y nfs-utilsshowmount -e 192.168.2.120mkdir /mnt/sharedirmount -t nfs 192.168.2.120:/home/sharedir /mnt/sharedir ----------------------------------------pv创建配置mysq...

利用文件存储NAS搭建K8S集群的Mysql主从复制+读写分离【代码】【图】

本文介绍如何利用阿里云文件存储NAS替代K8S原生NFS系统，从而实现存储系统脱离于集群之外的可弹性扩展，高可用，高性能的部署搭建的结构一个 master 节点和多个从 master 上异步复制数据的 slave 节点组成，即一主多从复制模型。其中，master 节点可用来处理用户的读写请求，slave 节点只能用来处理用户的读请求。通过statefulset部署的mysql能通过无头服务的域名发现彼此，实现主从表同步。我们除了要实现这个之外，还需要将my...

k8s存储卷mysql故障转移

在K8S集群中搭建REDIS集群搭配CEPH存储【代码】【图】

作者：李毓 redis是属于数据库，在ceph为后端存储的情况下，适合rbd模式。所以我们先搭建RBD模式的存储。紧接上一节CEPH所讲，创建自动供给PV. [root@adm-master src]# cd external-storage-master/ceph/rbd/deploy/ [root@adm-master deploy]# ls non-rbac rbac README.md [root@adm-master deploy]# pwd /usr/local/src/external-storage-master/ceph/rbd/deploy kubectl apply -f ./rbac[root@adm-master rbac]# kubectl get...

K8S使用ceph实现持久化存储【代码】

一、概述 ceph为k8s提供存储服务主要有两种方式，cephfs和ceph rdb；cephfs方式支持k8s的pv的3种访问模式ReadWriteOnce，ReadOnlyMany，ReadWriteMany ，RBD支持ReadWriteOnce，ReadOnlyMany。二、部署k8s和ceph 2.1、部署k8s集群部署方式见《基于kubeadmin安装Kubernetes集群》 2.2、部署ceph集群部署方式见《ceph分布式集群的搭建》三、在k8s集群中配置ceph 3.1、使用cephfs (1) 在ceph集群创建cephfs #以下操作在ceph集群的...

CNCF接纳Rancher Longhorn为沙箱项目，加速K8S持久化块存储发展【图】

这一举措显示了Rancher对加速企业采用云原生技术的持续承诺。2019年10月29日，业界采用最为广泛的Kubernetes管理平台的创建者Rancher Labs（以下简称Rancher）宣布，CNCF（云原生计算基金会，The Cloud Native Computing Foundation）正式接受Rancher研发的容器存储解决方案Longhorn加入CNCF社区，作为其最新的沙箱（Sandbox）项目。当前，CNCF拥有20个沙箱项目。被CNCF接受为沙箱项目，充分表明了Longhorn作为新一代的容器化分布式...

k8s-存储-pv和pvc和StatefulSet【代码】【图】

k8s-存储-pv和pvc和StatefulSet 一概念1.1 pvPersistentVolume （PV）是由管理员设置的存储，它是群集的一部分。就像节点是集群中的资源一样，PV 也是集群中的资源。 PV 是Volume 之类的卷插件，但具有独立于使用 PV 的 Pod 的生命周期。此 API 对象包含存储实现的细节，即 NFS、iSCSI 或特定于云供应商的存储系统1.2 pvcPersistentVolumeClaim （PVC）是用户存储的请求。它与 Pod 相似。Pod 消耗节点资源，PVC 消耗 PV 资源。Pod...