스카우터 모니터링툴로 서버를 지켜보고 있는데요 이상하게 T-GAP 시간 지연 증상이 나타나서 문의 드리게 되었습니다.

Question

저희 서버 모니터링 중 일부인데 저렇게 상단에 찍힌 로그들 중에는 튜닝이 필요한 SQL문도 있지만 일부는 이상하게 getConnection 직전의 작업과 getConnection 작업 사이의 T-GAP 시간이 2초, 5초 이런식으로 대중없이 지연되는 증상들로 인한 로그들이 보이더라고요. close 이후 getConnection 사이의 T-GAP 시간이 2초 CLOSE [0ms] T-GAP 시간이 2초 OPEN-DBC jdbc:oracle:thin:&#64;211.../pos (org.apache.tomcat.dbcp.dbcp2.BasicDataSource#getConnection) [1ms] -- OPEN-DBC jdbc:oracle:thin:&#64;211..***/pos (org.apache.tomcat.dbcp.dbcp2.BasicDataSource#getConnection) setAutoCommit이후 getConnection 사이의 T-GAP 시간이 9초 setAutoCommit(false) [0ms] -- setAutoCommit(false) T-GAP 시간이 9초 org.springframework.jdbc.datasource.DataSourceUtils#getConnection [0ms] -- org.springframework.jdbc.datasource.DataSourceUtils#getConnection이런 경우는 어떻게 사태를 판단해야 하는지 아시는 분 계신가요? 설마 DB서버가 노후화되어서 이럴 수 있을까요? 관리업체 말로는 해당 시간대의 DB서버 상태 점검 결과 메모리나 CPU상태는 괜찮다고 하더라고요. 검색해보면 메소드 프로파일링을 좀더 상세하게 걸어서 지연 구간을 확인해봐야 한다란 의견이 있던데 https://github.com/scouter-project/scouter/blob/master/scouter.document/use-case/Method-Profiling.md 여기 보면 hook_method_patterns &#61; com.scouter.HelloWorld.hello 이것 대신 hook_method_patterns &#61; com.scouter.*.*이렇게 hook_method_patterns 을 설정하면 되는것 같긴 하던데 헷갈리네요.. 막상 적용해도 이전 프로파일링과 달라진것도 못 느끼겠고.. 당연히 stop, startup은 했지만요.

인성 절구로 빻음 · Answer

connetion pool이 부족한건 아닐까요?

집킨 · Answer

T GAP 은 위에 있는 행의 처리에 걸린 시간이 아니라, 위에 있는 행을 처리 완료하고 아래행을 처리 시작하는데 까지 걸린 시간을 의미합니다그러니까 setAutoCommit 처리가 끝나고 getConnection을 시작하기 까지 9초가 걸린거죠그럼 두 명령 사이에 다른 동작을 했다는건데 이게 프로파일링이 안됐으니 메소드 프로파일링을 상세하게 해봐라는 거죠hook_method_patterns = com.scouter.HelloWorld.hello 이건 예제일 뿐이구요

톰소여 · Answer

예전에 국내 2위 db 컨설팅 업체에 의뢰해서 거의 8개월 동안 튜닝을 진행한 경험이 있는데요.connection pool은 일시적인 해법일 뿐이에요..사용하던 느린 페이지가 빨라지면 사용자들이 그 페이지를 자주 호출하게 되면 결국은 전체 사이트가 느려지는 것은 같아요.쿼리 튜닝도 있어야 하고 app 튜닝도 있어야 한다고 하더라고요. 쿼리 튜닝이야 잘 아시겠지만... 생각 외로.. app 튜닝을 생각 못하는 경향이 있습니다.일반적으로 serviceImpl에 함수레벨에 tx를 잡아두는데.. 그 안에서는 db 데이터 조회나 처리만을 진행하고 나머지 처리 사항은 tx가 안걸리는 클래스나 함수에서 처리를 해야 해요. 안그러면 후처리를 하는 동안 계속 tx를 열게 되어서 이에 db가 좋지 않다고 합니다. 예를 들어서 db 테이블 조회를 해서 데이터를 가져와서 파일을 생성해서 원격서버에 템프 파일을 갱신하는 기능이 필요하다고 하면..serviceImpl의 한 함수에서 위의 처리를 모두 하면 시스템은 망하는 거에요. 원격지 서버에 템프 파일 복사가 끝나야 tx가 종료되기 때문이죠.데이터 조회까지만 serviceImpl에서 처리하고 나머지 부분은 tx 안걸리는 다른 클래스에서 처리를 하게끔 해야 한다고 합니당.혹시 이런 부분도 잘 챙겨보세요.그럼 화이팅 하십시오.

초무쿤 · Answer

ConnectonPool 갯수가 부족해서 발생하는 문제인거 같은데.사용량에 비해 너무 작게 설정(기본10개일텐데 따로 설정이 되어있는지 확인필요)SQL중 너무 오래 걸래는 쿼리들이 있어서 풀에 바로 반환이 않되서 leak이 나는 상태(leakDetection옵션 활성화 해서 확인해보셔야될듯. leak이 발생하면 로그에 찍힙니다. )보통 대부분의 경우는 2번입니다.

스카우터 모니터링툴로 서버를 지켜보고 있는데요 이상하게 T-GAP 시간 지연 증상이 나타나서 문의 드리게 되었습니다.

4개의 답변

기술 목록