히카리 풀 커넥션 dead lock...

Question

centos 서버, nginx, spring boot, oracle 기반으로 돌리는 웹 (jar 파일)이 12시~12시 10분에만 2025-04-01 00:01:46.632 DEBUG 54125 --- [HikariPool-1 housekeeper] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Pool stats (total=10, active=10, idle=0, waiting=35)2025-04-01 00:01:56.558 DEBUG 54125 --- [http-nio-8888-exec-5] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Timeout failure stats (total=10, active=10, idle=0, waiting=38)2025-04-01 00:01:56.559 WARN 54125 --- [http-nio-8888-exec-5] o.h.engine.jdbc.spi.SqlExceptionHelper : SQL Error: 0, SQLState: null해당 에러들을 뿜으며 빈 페이지를 보여줬다가 시간지나면 복구되는 이상현상이 나타나고 있습니다..외부 네트워크 정상통신 (tcping test)메모리 50% 남아있음 (top 명령어로 모니터링)오라클 정상 접속 (같은 서버에서 sqlplus로 정상접속)문제되는 스케쥴 없음 nginx 로드 밸런싱 등을 적용해둔 상태인데 별 진전이 없네요제가 생각하는 원인: 트래픽이 자정에 몰린다제가 생각한 임시방편 : 히카리풀커넥션을 기본10에서 30 정도로 올린다저의 의문: 하나의 test.jar 파일을example:80example:81example:82포트 3개로 분산했는데 이러면 트래픽이 몰려도 문제 없어야 하는 게 아닌지..?트래픽을 나눠봤자 하나의 jar 파일로 돌리기 때문에 히카리 풀은 여전히 10이 최대라 그런 건가요?그럼 각 포트별로 소스 파일을 하나씩 굴려줘야 하는지요???? ...도움 좀 부탁드립니다 ,,ㅠㅠ

전뚱이인데요 · Accepted Answer

2025-04-01 00:01:46.632 DEBUG 54125 --- [HikariPool-1 housekeeper] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Pool stats (total=10, active=10, idle=0, waiting=35)2025-04-01 00:01:56.558 DEBUG 54125 --- [http-nio-8888-exec-5] com.zaxxer.hikari.pool.HikariPool : HikariPool-1 - Timeout failure stats (total=10, active=10, idle=0, waiting=38)웨이팅이 46분에서 ~ 56분 10분동안 풀 10개가 돌아가고 있는데 웨이팅이 점점 늘어나는걸로 보아서 (35 개에서 38개 늘어남 )DB 커넥션 계속 물고 있다가 요청 스레드 wait 하다가 타임아웃 난거네요이거 풀 사이즈 안늘리면 나중에는 서버 뻗습니다특정 시간대 스케쥴 요청 많이 오는거 같은데해당 스케쥴 처리 하는 쿼리 살펴보세요 작업이 오래걸려서 그러는거 같은데그리고 데드락 상황은 아닌거 같아요 데드락이면 서버 복구도 못하고 죽을텐데 아닌가..?저같으면풀 사이즈 20개로 일단 늘려봄 (어처피 메모리 50% 사용중인데 좀더 늘려도 괜찮을듯)해당 작업이 오래 걸릴 수 밖에 없는 요청이면 time out 시간 늘려줘요현재 상황은 요청 몰리다가 요청 다 못받아주고 요청 스레드 timeout 내서 다시 스스로 복구하는겁니다(timeout 내서 다행이지 안그랬으면 oom 하고 서버 딱 죽기 좋겠네요 )그리고 못받은 요청에 대해서는 로그 남기셔야 할거 같네요port 번호 3개로 각 인스턴스로 올린거면 괜찮은데nginx 로드 밸런싱 재대로 되어있는지 확인해보세요요청이 한개의 포트로만 가는거 같기도합니다잉그게 아니라면 3 인스턴스 모두 요청 받아들이드라 허덕이거나..

Nuker · Answer

제가 예전에 비슷한 문제가 있었습니다. 동일하게 히카리 풀사용중이었구요.저희는 커넥션 최대허용 개수로 인한 문제였습니다.

Hmnya · Answer

CPU 퍼센테이지는 어떤가요?전 xss 방지 관련 정규식이 최적화되기전에 이런 현상이 있었습니다...

데브폐인 · Answer

12시 00 이면 백업 도는거가 젤 의심스럽죠.백업은 디비말고 파일백업 포함입니다. 같은 디스크면 io wait 라서 db도 대기 상태로 바뀌게 됩니다. 백럽 아니면 날짜별로 페이지에 쿼리 통계내는 배치나 코드 박혀 있을사능성...셜론은 db 접속하는 모든 서비스 전수검사. 담당자들한테 모두 확인..

hieroglyphs · Answer

CPU 사용량, 메모리 사용량, load average, 해당 시간에 실행되는 job이 있는지 등 봐야할게 많습니다. 단순히 풀만 늘린다고 근본적인 해결이 되는 경우는 거의없습니다

히카리 풀 커넥션 dead lock...

5개의 답변

기술 목록