[자문 자답] 도커로 배포 시 커넥션 풀이 300초, 5분 간격으로 모두 끊어지는 현상

Question

안녕하세요,현재 Spring boot로 개발한 어플리케이션을 서비스로 만들어 배포하고 관리 중에 있었습니다.이 때 까지는 아무런 문제가 없는걸 확인했구요.데이터베이스는 동일 서버에 직접 설치 되어 있습니다.사내에서 도커 의견이 나와서 테스트 겸 다른 서버에 도커로 동일 어플리케이션을 배포하여 문제가 없는 것을 확인했습니다.API 통신도 되고, 아무런 문제가 없었죠.그런데 나중에 확인해보니 로그에 커넥션 검증에 실패했다는 로그가 어마어마하게 있더군요.이리저리 테스트해보니 요청이 발생한 이후 약 5분정도 아무런 통신이 없으면 도커에서 연결 된 모든 커넥션이 MariaDB에서 소멸되고 있다는걸 알았습니다.그래서 서버에서는 커넥션이 당연히 존재한다고 알았는데 없으니까 검증에 실패했다고 로그 띄우고 다시 연결하고...(이 때 다시 커넥션은 생깁니다. 물론 또 몇 분 안쓰면 전부 사라지죠)딱히 도커에 데이터베이스 관련 설정을 넣은것도 아니고, 어플리케이션도 모두 동일한데 도커에서만 이런 일이 발생하니 어리둥절하네요.상황상 MariaDB를 10.3을 쓰고 있긴 한데 도커랑 관련이 있나 싶기도 하고...비슷한 문제를 겪으신 분이 계실까요?위의 사진을 누락하여 첨부합니다.첫번째 사진에서 빨간색 네모가 직접 배포중인 서버, 파란색 네모가 도커로 배포중인 서버입니다.약 5분 뒤 확인해보면아래 사진처럼 파란색 네모의 커넥션풀이 전부 소멸합니다..

캐티 · Answer

이렇게 보면 정확한 진단이 어렵지 않겠나요.스프링 부트와 데이터베이스 사이에 커넥션 풀을 사용하는데 대기시간 초과로 인하여 끊어진 연결이 반환되지 않음으로 이미 끊어진 연결을 사용해버리는 문제점이 있는 것 같습니다. tcp 소켓 통신은 생각보다 복잡한 커뮤니케이션 매커니즘을 가지고 있어요. 아무런 신호를 보내거나 받지 않으면 연결 상태를 추적 할 수 없는데 네트워크 이론 기초에 나오는 부분일 것이어요. 더 설명 하는 것은 의미가 없을 것 같습니다.연결 상태를 추적하기 위하여 keep-alive 라는것이 있고요. 이것은 http keep-alive와 다르며 tcp keep-alive로 찾아보아야 해요!이것은 이렇고 재연결 매커니즘은 일반적으로 집어넣지 않는데 이유는 커넥션 풀 설정에 대기 상태의 최대 유지 시간을 적당한 1분 또는 30초처럼 해 놓으면 시간이 지나서 연결이 완전히 회수할 것이고 다음 번 연결할 때 새롭게 연결을 할 것이어요.어느 누군가가 매커니즘을 이해하지 않고 단순히 연결이 끊어지는 것이 보기 싫어서 대기 시간을 무한에 가깝게 설정 하였거나 .. ㅠ

yeori · Answer

도커 디비 컨테이너 안에 들어가서 wait_timeout은 찍어보셨겠쥬?show variables like '%timeout%';

카카오콘 · Answer

자문 자답합니다.Docker, 특히 저 같은 경우 최소한의 설치를 위해 기본 시스템에 Docker Rootless Mode만 설치해두었습니다.그 결과 Docker Rootless Mode가 Network 로 Vpnkit를 사용하게 되었고, 여기서 문제가 발생했습니다.Vpnkit의 경우 기본 유휴연결종료 시간이 300초로 설정 되어 있습니다. 여기서 부터는 추론입니다만300초 동안 요청이 없었던 데이터베이스에 어플리케이션 대신 전부 종료 요청을 보내버린 것 같습니다.그 결과 어플리케이션은 커넥션이 사라진지 모르고 있고, 데이터베이스는 종료 요청을 받았으니 커넥션을 전부 지워버린거죠..그래서 이 경우 임시방편 또는 테스트를 해보고 싶다면 도커 실행 시sysctls: - net.ipv4.tcp_keepalive_time&#61;200옵션을 넣어주면 됩니다. 원래 7200초(기본 값) 마다 발생하는 유휴 체크 시간을 200초로 줄여버리면,(사실 200초 말고 300초 아래기만 하면 됩니다, 200초마다 살아있어? - 어 살아있어 라고 .. 체크한다고 알고 있습니다.)300초의 제한에 걸리지 않아 살아있는 연결로 간주되는거죠..근데 사실 이건 임시방편이고, Docker Rootlees Mode는 애초에 slirp4netns 를 쓰라고 권장하고 있으며 slirp4netns 가 없을 때에만 vpnkit를 쓴다고 나와 있습니다.Docker with rootless mode uses slirp4netns as the default network stack if slirp4netns v0.4.0 or later is installed. If slirp4netns is not installed, Docker falls back to VPNKit성능 상으로 보나 어디로 보나 slirp4netns 를 쓰는게 이득이기도 하고, slirp4netns 로 전환하는 순간 이런 유휴 문제는 전부 해결됩니다.정말 불가피하게 slirp4netns 를 못쓰는 상황에서, 혹은 깜빡 한 상황에서 저같은 문제를 맞닥뜨리셨다면, vpnkit 를 쓰고 있는게 아닌가 확인해보시기 바랍니다.ps aux | grep dockerd명령어는 위와 같이 작성하시면 되고,proc/self/exe --net&#61;vpnkit --mtu&#61;1500 --slirp4netns-sandbox&#61;auto --slirp4netns-seccomp&#61;auto --disable-host-loopback --port-driver&#61;builtin --copy-up&#61;/etc --copy-up&#61;/run --propagation&#61;rslave -p 0.0.0.0:2375:2375/tcp /home/ubuntu/bin/dockerd-rootless.sh같은.. 내용이 출력되었다면 vpnkit를 쓰고 있는게 맞습니다. (뒤에 옵션에 따라 이어지는 내용은 다를 수 있습니다)뒤에 slirp4.. 가 보여도 --net&#61;vpnkit 로 돌아가고 있다는 내용입니다.rootlesskit --net&#61;slirp4netns --mtu&#61;65520 --slirp4netns-sandbox&#61;auto --slirp4netns-seccomp&#61;auto --disable-host-loopback --port-driver&#61;builtin --copy-up&#61;/etc --copy-up&#61;/run --propagation&#61;rslave -p 0.0.0.0:2375:2375/tcp /home/ubuntu/bin/dockerd-rootless.sh네트워크 드라이버를 바꾸면..이렇게 slirp4netns 를 쓰고 있다고 나오기 때문이지요.이것만 가지고 오늘 반나절 이상을 잡아먹었는데 속 시원히 해결해서 다행입니다.혹시나 문제를 맞닥뜨리실 미래의 누군가를 위해 이 글을 남깁니다.

[자문 자답] 도커로 배포 시 커넥션 풀이 300초, 5분 간격으로 모두 끊어지는 현상

3개의 답변

Q&A 목록