DB 속도 저하 문제

Question

내부망 내에서 DB와 java 서버를 같이 두고 사용하고 있습니다.그런데 사용자가 아침부터 사용하기 시작해서오후 3시가 넘어가면 속도가 현저히 떨어집니다.서버 로그로는 DB 커넥션이 리셋되었다는 로그와 JDBC 롤백이 실패했다는 로그가 myBatis 실행시마다 발생합니다.자바 서버, DB를 전부 껐다가 다시 켜도 변함이 없고 오직 컴퓨터 재부팅을 할때만 속도가 다시 원래대로 돌아옵니다.CPU와 메모리 점유율은 속도가 느릴 때각각 8%, 20%였다가 재부팅시에만CPU만 2%로 떨어집니다.사정상 원격 프로그램을 써서 서버에 접근하는데재부팅시에만 원격 프로그램도 체감되게 속도 개선이 있습니다.서버는 동시 접속자나 데이터 부하량이 많은 편은 아닙니다. 기껏해야 10명을 넘지 않습니다.조회 데이터도 테이블 조인이 4~7개 있긴한데절대적인 양이 많은 편은 아닙니다.커넥션 풀 설정도 따로 해봤고 DB 버퍼쪽도 살펴봤는데 큰 이상은 없네요.DB는 mysql 쓰고 있습니다.사내에 기술적으로 조언을 구하기가 여의치 않아 질문드립니다.힌트라도 얻을 수 있으면 합니다.당장은 재부팅을 점심시간과 정각에 하는식으로대처하고 있습니다.

으아악밥먹자 · Answer

일반적인 시나리오는 TCP 포트 부족입니다.커널 파라미터를 조정해보시기 바랍니다.(한 번에 하나씩 적용해보면서 테스트해보세요.)TCP Timewait Reuse를 활성화하세요.(tcp_tw_reuse)TCP Dynamic Port Range를 늘려보세요.(ip_local_port_range)아마 이건 문제 없을텐데 만약 위 2개로도 해결이 안된다면 Open file 제한도 늘려보세요.

캐티 · Answer

netstat -anWAIT_CLOSED 상태가 많이 나타나면 연결이 정상적으로 종료되지 않은 것이고, 누군가는 신속한 통신 종료가 되겠다고 graceful-shutdown을 안 걸었겠쩌. 물론 머 애초에 통신 오류로 인하여 이케 될 수도 있겠스빈다.이렇다 하더라도 여러가지 타임아웃 설정을 사용하여 적절한 통신이 없으면 종료하거나 tcp keep-alive이나 ping-pong 패킷을 보낼 수도 있쩌.

MSSQL 튜너 · Answer

mysql 버전중에 최신으로 패치해야 속도가 나오는 경우 있었어요~확인해보세요

데브폐인 · Answer

mysql 서버가 기본 옵션으로 되어 있을거라 생각합니다.서버의 메모리나 cpu 상황에 맞게 my.cnf 설정 조정하세요.트랜젝션이 반드시 필요한 작업이 아니면 mysql isolation level 을 한단계 낮추세요.기본 옵션으로 셋팅되었다고 가정하면 "REPEATABLE READ" 입니다."READ COMMITTED" 로 변경하고, 트랙젝션이 필요한 경우 프로그램 코드에서 처리하세요.

jeoyjng1 · Answer

원인 분석DB 커넥션 리셋 및 JDBC 롤백 실패MyBatis 실행 시마다 DB 커넥션 리셋 및 롤백 실패 로그가 발생하는 것은 DB 커넥션 풀의 과도한 사용 또는 리소스 누수가 원인일 수 있습니다.DB 커넥션이 정상적으로 반환되지 않아 풀(pool)이 고갈되는 현상이 발생할 가능성이 있습니다.속도가 느려지는 시점과 재부팅 후 개선사용자가 증가하면서 DB 연결 및 자원 사용이 누적되고, 서버가 부하를 제대로 처리하지 못하고 있을 가능성이 높습니다.서버 재부팅 시 속도가 개선되는 것은 리소스(메모리, 네트워크 소켓 등)가 재초기화되기 때문으로 보입니다.원격 프로그램 속도 저하네트워크나 I/O 관련 리소스가 병목이 발생하고 있을 가능성이 있습니다. 재부팅으로 개선되는 것은 TCP 연결 재설정이나 네트워크 자원 초기화 때문일 수 있습니다.해결 및 점검 방안1. DB 커넥션 관련 점검커넥션 풀 설정 확인MyBatis나 사용 중인 커넥션 풀(HikariCP, C3P0 등)의 maxConnections 설정이 적절한지 확인하세요.적절한 연결 제한과 타임아웃 설정을 적용합니다. 예:propertiesCopy codemaxIdle=10 maxActive=50 maxWait=30000커넥션 반환 확인SQL 세션이 닫히지 않거나, 커넥션이 반환되지 않는 코드가 있는지 확인합니다.finally 블록에서 sqlSession.close()를 호출하도록 합니다.DB 로그 확인DB 서버의 로그를 확인하여 잠금 현상, 커넥션 풀 고갈, 또는 과도한 쿼리 실행이 있는지 분석합니다.2. 자바 서버 점검GC(Garbage Collection) 확인JVM이 과도한 메모리 누수나 GC 문제로 인해 성능 저하를 겪고 있을 수 있습니다.JVM 로그를 활성화하여 GC 동작을 분석합니다:rubyCopy code-XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:gc.log스레드 상태 확인사용 중인 스레드 수가 급격히 증가하거나 스레드가 데드락 상태인지 확인합니다.JMX(Java Management Extensions) 도구나 jstack을 사용해 스레드 상태를 분석합니다.3. 네트워크 및 원격 프로그램 점검네트워크 상태 확인원격 접속 프로그램과 서버 간 네트워크 상태를 확인합니다.패킷 손실, 지연 시간 문제를 확인하려면 ping 또는 traceroute 같은 도구를 사용합니다.I/O 병목 점검네트워크 소켓이나 파일 I/O가 병목이 될 가능성을 점검합니다.서버의 포트 사용 상태를 확인합니다:perlCopy codenetstat -an | grep ESTABLISHED4. 시스템 리소스 모니터링CPU와 메모리 점유율은 비교적 낮으나, 특정 I/O 리소스 병목이 있을 수 있습니다.iostat 또는 vmstat 같은 도구를 사용해 디스크 I/O나 스왑 사용량을 확인합니다.리소스 사용 상태를 주기적으로 로깅하여 원인을 추적합니다.5. 캐싱 도입반복적으로 호출되는 쿼리나 데이터를 캐싱하여 DB 부하를 줄입니다.Redis, Ehcache 등 분산 캐시를 고려할 수 있습니다.단기적인 대응 방안서버 프로세스만 재시작하는 대신 JVM 힙 메모리를 덤프하거나 GC를 수동으로 실행하여 리소스 상태를 점검합니다.DB 커넥션 풀과 SQL 세션 종료 여부를 철저히 확인합니다.장기적인 해결 방안시스템 및 네트워크 리소스 병목 원인을 지속적으로 분석하고, 필요 시 서버 하드웨어 업그레이드나 클러스터링을 통해 확장성을 확보합니다.애플리케이션 레벨에서 로깅 및 모니터링 시스템을 강화해, 문제 발생 시 신속한 대응이 가능하도록 합니다.by ChatGPT

초무쿤 · Answer

Connection Pool Leak 나는 상황일껍니다.특정 SQL 실행이 오래결려서 커넥션풀에 제대로 반환이 안되서 계속 커넥션이 늘어나는 현상.문제되는 SQL 찾아서 튜닝하거나 캐싱처리하거나 하셔야 해결될듯 하네요.(mysql 이면 slow query 로그 활성화 후 확인, hikari같은 경우 leak detaction하는 옵션을 활성화하면.. 로그에 경고 메시지가 출력됨... 기타 기술 스택마다 찾는 방법이 있으니 한번 확인해보시는것이..)

DB 속도 저하 문제

6개의 답변

Q&A 목록