[Kubernetes-Storage] CentOS 8에 Dynamic NFS Client Provisioner 구성하기

<h1>[Kubernetes - Storage] How to configure a dynamic storage provisioner for Kubernetes using a network file system on CentOS 8</h1>
<blockquote>
<h2><strong>참고</strong></h2>
<p>이 문서는 Network File System을 CentOS 8에 설치하여 NFS Server로 운영하면서 Kubernetes의 PVC (Perssistent Volume Claim) - StorageClass - NFS 로 연동되는 PV (Persistent Volume)를 자동으로 구성하는 방법을 정리한 것입니다.</p>
</blockquote>
<p>CentOS 8에 설치되는 NFS를 Kubernetes의 Dynamic Storage Provisioning 으로 활용해서 PV (Persistent Volume)를 구성해 본다.</p>
<h2>Network file system 구성</h2>
<p>NFS 서버를 구성하는 부분은 <a href="https://ccambo.blogspot.com/2020/12/centos-nfs-centos-8-nfs.html">CentOS 8에 NFS 설정 및 테스트</a> 글을 참고해서 진행하도록 한다.</p>
<p><strong>NFS 서버는 물리적인 머신으로 네트워크 상에 존재하면 되며, Network을 통해서 Kubernetes Cluster에서 NFS 서버로 접근할 수 있어야 한다.</strong></p>
<p>위에서 구성한 NFS 서버를 사용할 수 있도록 처리하는 NFS Provisioner Pod가 Kubernetes Cluster에 PV를 배포할 수 있도록 하기 위해서는 필요한 권한 설정이 필요하다. 따라서 PV를 배포할 수 있도록 ClusterRole, ClusterRoleBinding, Role, RoleBinding 설정을 가지는 Service Account를 생성해 줘야 한다.</p>
<h2>Service Account 생성</h2>
<p>서비스 계정을 생성한다. (serviceaccount.yaml)</p>
<pre><code class="language-yaml">apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-provisioner</code></pre>
<p>아래의 명령을 사용해서 Kubernetes에 적용한다.</p>
<pre><code class="language-bash">$ kubectl apply -f serviceaccount.yaml</code></pre>
<h2>ClusterRole 생성</h2>
<p>Cluster를 위한 역할을 생성한다. (clusterrole.yaml)</p>
<pre><code class="language-yaml">kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["services", "endpoints"]
    verbs: ["get"]
  - apiGroups: ["extensions"]
    resources: ["podsecuritypolicies"]
    resourceNames: ["nfs-provisioner"]
    verbs: ["use"]</code></pre>
<p>아래의 명령을 사용해서 Kubernetes에 적용한다.</p>
<pre><code class="language-bash">$ kubectl apply -f clusterrole.yaml</code></pre>
<h2>ClusterRoleBinding 생성</h2>
<p>Cluster를 위한 역할 바인딩을 생성한다. (clusterbinding.yaml)</p>
<pre><code class="language-yaml">kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-provisioner
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-provisioner-runner
  apiGroup: rbac.authorization.k8s.io

---

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: nfs-provisioner-otherRoles
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]

---

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: nfs-provisioner-otherRoles
subjects:
  - kind: ServiceAccount
    name: nfs-provisioner
    namespace: default    # provisioner가 배포될 네임스페이스
roleRef:
  kind: Role
  name: nfs-provisioner-otherRoles
  apiGroup: rbac.authorization.k8s.io</code></pre>
<p>아래의 명령을 사용해서 Kubernetes에 적용한다.</p>
<pre><code class="language-bash">$ kubectl apply -f clusterbinding.yaml</code></pre>
<h2>NFS Client Provisioner 생성</h2>
<p>Provisioner는 PVC와 StorageClass를 통해서 자동으로 PV를 구성해 주는 역할을 담당한다.</p>
<p>NFS 서버를 Dynamic Storage Provisioning으로 사용할 수 있도록 NFS Client Dynmaic Provisioner Pod를 배포하도록 구성한다. (deployment-nfs.yaml)</p>
<pre><code class="language-yaml">kind: Deployment
apiVersion: apps/v1
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccount: nfs-provisioner
      containers:
        - name: nfs-client-provisioner
          image: registry.cn-hangzhou.aliyuncs.com/open-ali/nfs-client-provisioner
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: fuseim.pri/ifs
            - name: NFS_SERVER
              value: 10.0.1.20
            - name: NFS_PATH
              value: /data/NFS
      volumes:
        - name: nfs-client-root
          nfs:
            server: 10.0.1.20
            path: /data/NFS</code></pre>
<p>아래의 명령을 사용해서 Kubernetes에 적용한다.</p>
<pre><code class="language-bash">$ kubectl apply -f deployment-nfs.yaml</code></pre>
<h2>StorageClass 생성</h2>
<p>NFS 연계를 위한 StorageClass를 생성한다. (storageclass-nfs.yaml)</p>
<pre><code class="language-yaml">apiVersion: storage.k8s.io/v1beta1
kind: StorageClass
metadata:
  name: managed-nfs-storage 
provisioner: fuseim.pri/ifs</code></pre>
<p>아래의 명령을 사용해서 Kubernetes에 적용한다.</p>
<pre><code class="language-bash">$ kubectl apply -f storageclass-nfs.yaml</code></pre>
<h2>Statefulset 생성 및 PV 검증</h2>
<p>NFS 연계를 검증하기 위한 Statefulset을 생성하고 PV의 생성여부를 검증한다. (statefulset-nfs.yaml)</p>
<pre><code class="language-yaml">apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  serviceName: "nginx1"
  replicas: 1
  selector:
    matchLabels:
      app: nginx1
  volumeClaimTemplates:
  - metadata:
      name: test 
      annotations:
        volume.beta.kubernetes.io/storage-class: "managed-nfs-storage"
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 2Gi 
  template:
    metadata:
     labels:
       app: nginx1
    spec:
     serviceAccount: nfs-provisioner
     containers:
     - name: nginx1
       image: nginx:1.7.9
       volumeMounts:
       - mountPath: "/mnt"
         name: test</code></pre>
<p>아래의 명령을 사용해서 Kubernetes에 적용한다.</p>
<pre><code class="language-bash">$ kubectl apply -f statefulset-nfs.yaml</code></pre>
<h2>Dynamic Provisioner Pod 실행 상태 확인</h2>
<pre><code class="language-bash">$ kubectl get all
NAME                                       READY   STATUS    RESTARTS   AGE
pod/nfs-pod-provisioner-5f8686f8dd-bfkgz   1/1     Running   0          8m51s</code></pre>
<blockquote>
<h2><strong>주의</strong></h2>
<p>만일 어느 정도의 시간이 지나도 STATUS가 <code>ContainerCreating</code> 또는 <code>Pending</code> 이라고 나오는 경우는 NFS 설정에 따라서 오류가 발생했을 수 있다.<br><code>kubectl describe <pod name></code>으로 확인해 보면 오류 상황을 알 수 있다.  </p>
<ul>
<li><strong>connection timeout</strong>: NFS 서버의 IP에 접근이 안되는 경우이므로 실제 접근 가능한 IP인지 확인해야 한다. IP가 맞다면 NFS 서버에서 /etc/exports 설정을 다시 확인해 보고 <code>sudo exportfs -ra</code>를 수행하고 다시 처리한다.</li>
<li><strong>access denied by server</strong>: NFS 서버에는 접근을 했지만 권한이 없는 경우이므로 NFS 서버에서 <code>sudo chmod 666 <nfs directory></code>를 수행하고 다시 처리한다.  </li>
<li><strong>wrong fs type, bad option...</strong>: NFS 관련 패키지가 설치되지 않았을 경우이므로 클러스터의 각 노드에 <code>sudo dnf install -y nfs-utils</code>를 수행하고 다시 처리한다.</li>
</ul>
<p>그 이외의 오류가 발생했다면 관련된 메시지를 통해서 원인을 파악하고 해결해야 한다.</p>
</blockquote>
<h2>PVC (Persistent Volume Claim)를 통한 PV 생성 검증</h2>
<p>StorageClass를 이용해서 간단한 테스트를 위한 PVC를 구성한다. (fns-pvc.yaml)</p>
<pre><code class="language-yaml">apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc-test
spec:
  storageClassName: managed-nfs-storage # StorageClass 명
  accessModes:
    - ReadWriteMany # 생성될 PV에 적용할 사용 모드
  resources:
    requests:
      storage: 10Mi  # 생성될 PV 크기</code></pre>
<blockquote>
<h2><strong>참고</strong></h2>
<p>사용할 수 있는 AccessMode는 다음과 같다.</p>
<ul>
<li>ReadWriteOnce (RWO): 하나의 Pod에만 마운트되고 하나의 Pod에서만 읽고 쓰기 가능</li>
<li>ReadWriteMany (RWX): 여러 개의 Pod에 마운트 가능하고 여러 개의 Pod에서 읽고 쓰기 가능</li>
<li>ReadOnlyMany (ROX): 여러 개의 Pod에 마운트 가능하고 여러 개의 Pod에서 읽기는 가능하지만 쓰기는 불가능</li>
</ul>
</blockquote>
<p>테스트이므로 작은 크기로 설정하고 Kubernete에 적용하고 확인한다.</p>
<pre><code class="language-bash">$ kubectl apply -f nfs-pvc.yaml
persistentvolumeclaim/nfs-pvc-test created

$ kubectl get pv,pvc
NAME                                                        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                  STORAGECLASS         REASON   AGE
persistentvolume/pvc-2dca7757-d8c1-4e80-8a21-f1d661d69b19   10Mi       RWX            Delete           Bound    default/nfs-pvc-test   managed-nfs-storage            7s

NAME                                  STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS         AGE
persistentvolumeclaim/nfs-pvc-test    Bound     pvc-2dca7757-d8c1-4e80-8a21-f1d661d69b19   10Mi       RWX            managed-nfs-storage   7s</code></pre>
<h2>NFS 서버에서 실제 생성된 정보 확인</h2>
<p>PVC를 통해서 생성된 PV를 확인했으므로 실제 NFS 서버에도 생성이 되었는지 확인해 보면 된다.</p>
<pre><code class="language-bash"># NFS 서버에서 공유 디렉터리 확인
$ sudo ls /data/NFS
default-nfs-pvc-test-pvc-2dca7757-d8c1-4e80-8a21-f1d661d69b19</code></pre>
<p>실제 PVC와 PV 관련된 이름으로 유추할 수 있는 디렉터리가 생성된 것을 확인할 수 있다.</p>
<h2>Deploy된 Pod의 Volume Mount 확인</h2>
<p>실제 사용할 애플리케이션 Pod에서도 정상적으로 동작하는지를 확인하기 위해서 간단한 샘플을 구성해 보도록 한다. (nfs-test-app.yaml)</p>
<pre><code class="language-yaml">apiVersion: apps/v1
kind: Deployment
metadata:
  name: ccambo-nfs-test
  labels:
    app: nginxnfs
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginxnfs
  template:
    metadata:
      labels:
        app: nginxnfs
    spec:
      containers:
      - name: nginxnfs
        image: nginx:latest
        ports:
        - containerPort: 80
        volumeMounts:                    
          - mountPath: /nfs
            name: nfsvolume          
      volumes:                           
      - name: nfsvolume
        persistentVolumeClaim:           
          claimName: nfs-pvc-test</code></pre>
<p>위의 YAML을 Kubernetes에 적용하고 확인한다.</p>
<pre><code class="language-bash">$ kubectl apply -f nfs-test-app.yaml
deployment.apps/ccambo-nfs-test created

# Deployment 확인
$ kubectl get deploy
NAME                    READY   UP-TO-DATE   AVAILABLE   AGE
ccambo-nfs-test           0/1   1            0           15s
nfs-client-provisioner    1/1   1            1           75m

# Pod 확인
$ kubectl get pods
NAME                                     READY   STATUS    RESTARTS   AGE
ccambo-nfs-test-9d7fc4c6c-25xr4            1/1   Running   0          39s
ccambo-nfs-test-9d7fc4c6c-js5pl            1/1   Running   0          39s
nfs-client-provisioner-775496b5bb-vpglp    1/1   Running   0          82m</code></pre>
<p>생성된 두 개의 Pod 중에 하나의 Pod에 접속해서 마운트된 경로에서 테스트용 파일을 생성한다.</p>
<pre><code class="language-bash">$ kubectl exec -it ccambo-nfs-test-9d7fc4c6c-25xr4 -- /bin/bash

# 연결된 Pod에서 마운트된 /nfs 디렉터리로 이동해서 테스트용 파일을 하나 생성한다.
> cd /nfs
> echo "This is NFS test" > /nfs/test.log
> cat /nfs/test.log
This is NFS test</code></pre>
<p>다른 Pod에 연결해서 마운트된 /nfs 디렉터리에 파일이 존재하는지 확인한다.</p>
<pre><code class="language-bash">$ kubectl exec -it ccambo-nfs-test-9d7fc4c6c-js5pl -- /bin/bash

# 연결된 Pod에서 마운트된 /nfs 디렉터리로 이동해서 테스트용 파일을 확인한다.
> ls /nfs
test.log

> cat /nfs/test.log
This is NFS test</code></pre>
<p>위의 테스트와 같이 생성된 POD가 동일한 NFS를 PV로 마운트해서 사용하고 있는 것을 확인할 수 있다.</p>

OData 에 대해서 알아보자.

얼마 전에 어떤 회사에 인터뷰를 하러 간 적이 있었다. 당시 그 회사는 자체 솔루션을 개발할 기술인력을 찾고 있었고 내부적으로 OData를 사용한다고 했다. 좀 창피한 이야기일 수도 있지만 나름 기술적인 부분에서는 많은 정보를 가지고 있다고 했던 것이 무색하게 OData란 단어를 그 회사 사장님에게서 처음 들었다. 작고, 단순한 사이트들만을 계속해서 작업을 하다 보니 어느덧 큰 줄기들을 잃어버린 것을 느끼기 시작했다. 명색이 개발이 좋고, 기술적인 기반을 만들려고 하는 인간이 단어조차도 모른다는 것은 있을 수 없는 것이라서 다시 새로운 단어들과 개념들을 알아보는 시간을 가지려고 한다. OData (Open Data Protocol) 란? 간단히 정리하면 웹 상에서 손쉽게 데이터를 조회하거나 수정할 수 있도록 주고 받는 웹(프로토콜)을 말한다. 서비스 제공자 입장에서는 웹으로 데이터를 제공하는 방식으로 각 포탈 사이트들이 제공하는 OPEN API 포맷을 독자적인 형식이 아니라 오픈된 공통규약으로 제공 가능하며, 개발자는 이 정보를 다양한 언어의 클라이언트 라이브러리로 어플리케이션에서 소비할 수 있도록 사용하면 된다. 공식 사이트는 www.odata.org 이며 많은 언어들을 지원하고 있다. 좀더 상세하게 정의를 해 보면 OData는 Atom Publishing Protocol (RFC4287) 의 확장 형식이고 REST (REpresentational State Transfer) Protocol 이다. 따라서 웹 브라우저에서 OData 서비스로 노출된 데이터를 볼 수 있다. 그리고 AtomPub 의 확장이라고 했듯이 데이터의 조회만으로 한정되는 것이 아니라 CRUD 작업이 모두 가능하다. Example 웹 브라우저에서 http://services.odata.org/website/odata.svc 를 열어 보도록 하자. This XML file does not appear to have any style inform

자세한 내용 보기

MSFL :: 모리스 소프트웨어 공작소

이 블로그 검색

[Kubernetes-Storage] CentOS 8에 Dynamic NFS Client Provisioner 구성하기

태그

댓글

댓글 쓰기

이 블로그의 인기 게시물

OData 에 대해서 알아보자.

[Java] Divide by Zero 예외는 항상 발생할까?

C# 에서 Timer 사용할 때 주의할 점.