csi-driver-lvm

테스트 환경 설정 방법¶

• 설치한 패키지는 가능한 최신 패키지로 사용

# Rocky linux 9 minimal standard installation
# dnf upgrade -y만 진행
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

systemctl disable --now firewalld

swapoff -a
sed -i '/swap/d' /etc/fstab

modprobe overlay
modprobe br_netfilter

# 재부팅시에도 커널 모듈 올라오게
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

# 필요한 sysctl 파라미터를 설정하면, 재부팅 후에도 값이 유지된다.
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

# 재부팅하지 않고 sysctl 파라미터 적용하기
sysctl --system

# 도커 전체 말고 containerd만 설치
dnf -y install dnf-plugins-core
dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
dnf install containerd.io
systemctl enable --now containerd

# /etc/containerd/config.toml에서 cri diabled_plugins에서 지우기
# 안지우면 k8s init 할 때, 에러남

cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://pkgs.k8s.io/core:/stable:/v1.34/rpm/
enabled=1
gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v1.34/rpm/repodata/repomd.xml.key
exclude=kubelet kubeadm kubectl cri-tools kubernetes-cni
EOF

dnf install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
systemctl enable --now kubelet

# 쿠버네티스 클러스터 초기화
kubeadm init --pod-network-cidr=10.244.0.0/16

# 이건 쉘 나가면 풀리니까 .bashrc에 넣기
export KUBECONFIG=/etc/kubernetes/admin.conf
# 아니면 이렇게 해도 되는 듯?
mkdir -p ~/.kube
cp /etc/kubernetes/admin.conf ~/.kube/config

# 네트워크 플러그인 설치 (Flannel)
kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

# 마스터 노드에서도 워커 역할 수행
kubectl taint nodes --all node-role.kubernetes.io/control-plane:NoSchedule-

# helm 설치
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-4 | bash

helm version

# metal-stack lvm csi driver 설치
dnf install -y git
git clone https://github.com/metal-stack/csi-driver-lvm.git
cd csi-driver-lvm/charts
helm install csi-driver-lvm ./csi-driver-lvm --set lvm.devicePattern='/dev/sd[b-d]'


# 확인
kubectl get pods -n default
kubectl get ds -n default

cd csi-driver-lvm
kubectl apply -f examples/csi-pvc-raw.yaml
kubectl apply -f examples/csi-pod-raw.yaml
kubectl apply -f examples/csi-pvc.yaml
kubectl apply -f examples/csi-app.yaml

kubectl delete -f examples/csi-pod-raw.yaml
kubectl delete -f examples/csi-pvc-raw.yaml
kubectl delete -f  examples/csi-app.yaml
kubectl delete -f examples/csi-pvc.yaml

# pv 확인
kubectl get pv

# 실제 확인
lvs

# nfs csi driver 설치
helm repo add csi-driver-nfs https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/master/charts
helm install csi-driver-nfs csi-driver-nfs/csi-driver-nfs --set controller.runOnControlPlane=true --version 4.12.0

CSI 드라이버를 설정 및 동작 확인은 마무리하였습니다.
추가로 하려 했던 헌제씨가 작업하신 내용 붙여서 테스트 진행을 잠깐 했었는데 초기버전으로 오류가 있어 테스트 진행을 멈춘 동안
CSI 관련 작업이 아닌 다른 작업을 하게 되어 해결 처리합니다.