DB 커넥션 풀 에러가 해결이 되지 않고 있습니다. 도와주세요

Question

스프링부트로 개발한 프로젝트를 릴리즈 했는데 몇 주째 커넥션 풀에 대한 에러가 해소가 되지않아서 고수분들에게 도움을 요청합니다. 먼저 에러입니다. org.apache.ibatis.exceptions.PersistenceException: ### Error updating database. Cause: org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is org.apache.tomcat.jdbc.pool.PoolExhaustedException: [pool-3-thread-1518] Timeout: Pool empty. Unable to fetch a connection in 30 seconds, none available[size:100; busy:100; idle:0; lastwait:30000]. ### Cause: org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is org.apache.tomcat.jdbc.pool.PoolExhaustedException: [pool-3-thread-1518] Timeout: Pool empty. Unable to fetch a connection in 30 seconds, none available[size:100; busy:100; idle:0; lastwait:30000]. 에러 발생 스택은 의미가 없어 보이기에 핵심에러만 복사했습니다. 보시다시피 100개 풀을 다 사용했다고 나오고 있죠. netstat 찍어봤습니다. # netstat -an | grep 3306 tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN tcp 0 0 127.0.0.1:3306 127.0.0.1:47126 ESTABLISHED tcp 0 0 127.0.0.1:3306 127.0.0.1:51060 ESTABLISHED tcp 0 0 127.0.0.1:3306 127.0.0.1:47122 ESTABLISHED tcp 0 0 127.0.0.1:3306 127.0.0.1:47134 ESTABLISHED tcp 0 0 127.0.0.1:3306 127.0.0.1:47128 ESTABLISHED tcp 0 0 127.0.0.1:3306 127.0.0.1:47138 ESTABLISHED tcp 0 0 127.0.0.1:3306 127.0.0.1:51064 ESTABLISHED tcp 0 0 127.0.0.1:3306 127.0.0.1:47123 ESTABLISHED tcp6 0 0 127.0.0.1:47122 127.0.0.1:3306 ESTABLISHED tcp6 0 0 127.0.0.1:47138 127.0.0.1:3306 ESTABLISHED tcp6 0 0 127.0.0.1:47128 127.0.0.1:3306 ESTABLISHED tcp6 0 0 127.0.0.1:51064 127.0.0.1:3306 ESTABLISHED tcp6 0 0 127.0.0.1:47123 127.0.0.1:3306 ESTABLISHED tcp6 1 0 192.168.168.179:43912 222.117.228.47:3306 CLOSE_WAIT tcp6 0 0 127.0.0.1:47126 127.0.0.1:3306 ESTABLISHED tcp6 0 0 127.0.0.1:51060 127.0.0.1:3306 ESTABLISHED tcp6 0 0 127.0.0.1:47134 127.0.0.1:3306 ESTABLISHED # netstat -an | grep 3306 | wc 18 108 1440 소켓이 적은 이유는 my.cnf에 다음 옵션을 추가했기 때문입니다. [mysqld] wait_timeout &#61; 300; interactive_timeout &#61; 300; 참고로 DB는 MariaDB이고 버전은 10.0.34, 5.5.56 두개 버전에서 테스트 해봤습니다. 커넥션 풀을 생성하기 위한 Database의 클래스는 다음과 같습니다. MyBatis 사용합니다. &#64;Configuration &#64;Primary &#64;MapperScan(value &#61; { &#34;com.example.mapper&#34; }, sqlSessionFactoryRef &#61; &#34;baseSqlSessionFactory&#34;) &#64;EnableTransactionManagement &#64;PropertySource(value &#61; { &#34;classpath:properties/db.properties&#34;, &#34;file:properties/db.properties&#34; }, ignoreResourceNotFound &#61; true) public class DatabaseConfig { public static SqlSessionFactory sqlSessionFactory; &#64;Autowired private ApplicationContext applicationContext; &#64;Primary &#64;Bean(name &#61; &#34;baseDataSource&#34;) &#64;ConfigurationProperties(prefix &#61; &#34;spring.datasource.tomcat&#34;) public DataSource dataSource() { return DataSourceBuilder.create().driverClassName(&#34;org.apache.tomcat.jdbc.pool.DataSource&#34;).build(); } &#64;Primary &#64;Bean(name &#61; &#34;baseSqlSessionFactory&#34;) public SqlSessionFactory sqlSessionFactory(&#64;Qualifier(&#34;baseDataSource&#34;) DataSource dataSource) throws Exception { SqlSessionFactoryBean sessionFactory &#61; new SqlSessionFactoryBean(); sessionFactory.setDataSource(dataSource); sessionFactory.setMapperLocations(applicationContext.getResources(&#34;classpath:mapper/**/*Mapper.xml&#34;)); sessionFactory.setConfigLocation(applicationContext.getResource(&#34;classpath:mybatis/MyBatisConfig.xml&#34;)); sqlSessionFactory &#61; sessionFactory.getObject(); return sqlSessionFactory; } public static SqlSessionFactory getSessionFactory() { return sqlSessionFactory; } } 처음엔 DBCP2를 사용했으나 싱글 스레드를 사용한다는 글을 보고 톰캣풀로 바꿨습니다. 하지만 여전히 에러는 발생합니다. 가장 처음의 프로퍼티스의 구성은 다음과 같습니다. spring.datasource.tomcat.driver-class-name&#61; net.sf.log4jdbc.sql.jdbcapi.DriverSpy spring.datasource.tomcat.url&#61;jdbc:log4jdbc:mysql://127.0.0.1:3306/db?autoReconnect&#61;true spring.datasource.tomcat.username&#61;user spring.datasource.tomcat.password&#61;pass spring.datasource.tomcat.test-while-idle&#61;true spring.datasource.tomcat.time-between-eviction-runs-millis&#61;500000 spring.datasource.tomcat.validation-query&#61;SELECT 1 spring.datasource.tomcat.test-on-borrow&#61;true test-on-borrow 옵션이 자원을 많이 소비하고 톰캣풀의 time-between-eviction-runs-millis 옵션 기본값이 5000 이란 글을 보고(짧아도 된다는 글) 다음과 같이 바꿨습니다. spring.datasource.tomcat.test-on-borrow&#61;false spring.datasource.tomcat.time-between-eviction-runs-millis&#61;60000 remove-abandoned 시리즈 옵션이 잃어버린 세션을 지워준다는 글을 보고 다음과 같이 추가도 해봤습니다. spring.datasource.tomcat.remove-abandoned&#61;true spring.datasource.tomcat.remove-abandoned-timeout&#61;10 세션 검사와 타임아웃 옵션도 있다길래 추가해 봤습니다. spring.datasource.tomcat.num-tests-per-eviction-run&#61;5 spring.datasource.tomcat.max-wait&#61;30 세션풀을 자동으로 없애버리면 안좋다는 글도 봐서 추가해 봤습니다. spring.datasource.dbcp2.min-evictable-idle-time-millis&#61;-1 처음에 풀을 많이 생성하면 안좋나 해서 다음과 같이 추가해 봤습니다. spring.datasource.tomcat.initial-size&#61;5 spring.datasource.tomcat.min-idle&#61;2 spring.datasource.tomcat.max-idle&#61;50 spring.datasource.tomcat.max-active&#61;50 위에 옵션들은 얄짤없이 에러가 뜬 옵션들이며 에러가 뜨기까지는 최소 3일씩 걸렸습니다. 평소같으면 &#64;Autowired 로 매퍼를 생성하면 되지만 gradle에 spring-boot-starter-web가 없는 프로젝트면 사용이 되지 않기 때문에 다음과 같이 DB 세션을 생성하고 호출합니다. SqlSession sqlSession &#61; sqlSessionFactory.openSession(); Mapper mapper &#61; sqlSession.getMapper(Mapper.class); try { mapper.insertValue(vo); result &#61; true; } catch (Exception e) { logger.error(&#34;Can't insert value.&#34;, e); e.printStackTrace(); result &#61; false; } sqlSession.close(); mapper &#61; null; close() 구문을 finally에 추가해야 하지만 여러개의 쿼리를 처리하는 경우도 있기에 위와같이 처리하고 닫아주고 있습니다. DB도 바꿔보고 프로퍼티스 옵션 씨름도 해보고 세션을 안닫았나 로그도 찍어보고 몇주째 해결이 안되고 있습니다. 아시는분 도움을 부탁드립니다.

yeori · Answer

mysqld 설정에서 wait_timeout을 무려 5분(300초)으로 설정하신 이유가 있나요?

호러블 · Answer

wait_timeout을 별도로 설정하지 않으면 (기본값은) 28800초 라서 별도로 설정하지 않고 냅뒀더니 소켓이 어마어마하게 쌓이더군요.그래서 처음에 180초로 했다가 혹시 몰라서 300초 정도로 해놨습니다.

zepinos · Answer

spring boot 2 부터는 hikari cp 가 기본으로 바뀌었을 겁니다. 예전에 부하테스트 할 때 가장 빠르긴 했습니다. 그리고, timeout 은 분 단위가 아니라 30초 단위로 짧게 한 번 가져가보시고, validation query 도 주기적으로 실행되는지 모니터링 해보세요. 실제로 DBMS 쪽에서 연결이 되어 있지만 유휴한 것인지 확인도 필요하고, hikari cp 에도 공식 문서는 max conn 을 10 개만 잡으라고 가이드 하지만, 정말 쿼리량이 어마어마하게 들어올 때에는 그런거 없습니다. 서버당 몇 백개씩, DBMS 에서는 몇 천개씩 열어놓고 사용했었습니다.

호러블 · Answer

yeori님, zepinos님 감사합니다. 스프링 부트 버전을 안적어 놨네요. 1.4.5 버전 쓰고있습니다. 순정으로만 쓸 줄 알았지 튜닝을 별로 해본적이 없었는데 타임아웃을 엄청 짧게 쓰나 보네요. 제가 한 조치는 다음과 같습니다.1. SqlSession.close() 부분은 무조건 finally 코드로... 여러개 처리할땐 2중 try~catch 사용 2. timeout 관련 설정 30초로 짧게[mysqld] wait_timeout &#61; 30; interactive_timeout &#61; 30; 3. 프로퍼티스 수정 - 시간 관련된 부분은 최대한 짧게spring.datasource.tomcat.time-between-eviction-runs-millis&#61;10000 spring.datasource.tomcat.max-wait&#61;20 더 테스트는 해봐야 알겠지만 변화가 있는 것 같습니다. DB에서 show processlist 해보면 이미 수백초가 지나서 새로 생성된게 많이 보였는데 바꾸고 나서는 아직 새로 생성된게 없이 기존 생성된 풀로 돌리고 있는 것 같습니다. 몇시간 테스트 해 보고 결과가 괜찮으면 적용 할 생각입니다. 다시한번 답변 감사드립니다

DB 커넥션 풀 에러가 해결이 되지 않고 있습니다. 도와주세요

4개의 답변

Q&A 목록