갑자기 k3s 클러스터가 죽었다.

 

1월 26일 밤 12시 30분경 부터 갑자기 서버에 접속이 안되기 시작했다. 

그냥 잘 돌고있나 확인차 ssh로 들어갔는데 응답이 없었고,

ping을 날렸는데도 지연시간이 3000ms정도로 뜨다가 

그러다가 결국 아예 연결이 끊겼는지 tailscale의 last seen 시간이 12시 39분으로 찍혀있는 상태로 완전 멈춰버렸다. 

 

주말동안 본가에 있던 나로서는 서버를 만질 수가 없었기에 평일에 서버가 있는 자취방으로 돌아와서 확인해본 결과, 

 

일단 인터넷 모뎀에 문제가 있었는지 집 와이파이가 인터넷이 안되는 상태였고, 

왜인지 마스터노드인 n100 미니pc는 랜선이 꽂혀있었음에도 공유기에 연결이 안되어있었다. 

 

아예 모니터를 연결하고 재부팅을 해주니 이젠 다시 정상적으로 네트워크도 연결이 되었고, 서비스들도 다시 돌아가기 시작했다. 

 

 

일단 인터넷만의 문제는 아니었던게, 서버 접속이 끊긴 12시 30분부터 정확하게 prometheus의 기록이 끊겨있다. 

또 보면 죽기 직전까지 급격하게 디스크 사용량이 계단식으로 증가하는걸 볼 수 있는데, 

막상 집에 와서 접속해보니 디스크 상태는 너무 널널한 상태였다. 

 

일단 crash라는 로그가 보이긴 하고, 

디스크 사용량이 계단식으로 늘어났던게 좀 불안하긴 하지만, 원인을 찾을 수 없으니 할 수 있는 조치만 해보려고 한다.

 

조치

1. 커널 사망 -> 재부팅 설정

# 커널 패닉 발생 시 10초 후 자동 재부팅
echo "kernel.panic = 10" | sudo tee -a /etc/sysctl.conf
echo "kernel.panic_on_oops = 1" | sudo tee -a /etc/sysctl.conf
# 설정 즉시 적용
sudo sysctl -p

 

2. 로그 보존 설정

sudo mkdir -p /var/log/journal
sudo systemctl restart systemd-journald

기존에는 로그가 남아있지 않았기 때문에 위 명령으로 메모리가 아닌 디스크에 영구 저장되도록 바꿔주었다. 

 

 

계획

일단 라즈베리파이 2대를 마스터로 돌려서 taint를 걸어둔 상태로 마스터노드가 3개인 HA모드로 구축해보려고 한다. 

그리고 그만큼 worker가 줄어들었으니 n100 미니pc의 taint를 해제해서 연산용으로 사용하면서, 마스터노드의 역할도 할 수 있도록 해줄 생각이다.

어차피 etcd 관리는 taint 걸린 파이 2대가 잘 해주지 않을까 싶다.