[부하 테스트] 동시 접속자 증가에 따라 쿼리 실행 시간 길어지는 원인

Question

토이 프로젝트 API에 대해서 nGrinder로 부하 테스트 진행하고 성능을 개선하는 작업을 해보려고 합니다.테스트 대상 API는 부하가 없는 경우 응답시간이 350ms 정도 나옵니다. (특정 쿼리의 실행 시간이 300ms 이상 차지함)그런데 nGrinder로 부하 테스트를 진행하며 동시 요청 수(Vuser)를 점진적으로 늘리면 응답시간이 계속 증가해서 20,000ms를 넘어갑니다. 이 때 응답시간의 99% 이상은 특정 쿼리의 실행 시간이 차지하는데, 동시 요청 수가 증가함에 따라 이 쿼리의 실행 시간이 계속 증가하는 이유와 이런 문제를 보통 어떻게 해결하는지 궁금합니다.해당 쿼리는 COUNT 함수를 포함하는 쿼리로 COUNT 함수를 사용하는 이상 더 이상의 성능 개선은 어렵다고 생각하고 있습니다.그래서 DB 서버(EC2) 성능을 업그레이드 하거나 DB를 아예 MariaDB에서 Aurora DB로 바꿔서 테스트 해볼까 하는데 보통은 어떻게 접근하는지 궁금합니다.질문 요약아래와 같은 부하 테스트 결과를 보고 API 응답 시간이 지속적으로 증가하는 문제의 원인을 파악하고 해결하기 위해 어떻게 접근해야 할지?nGrinder로 특정 API에 부하 테스트를 진행했는데, Vuser가 증가함에 따라 지속적으로 API 응답시간이 늦어지는 문제가 있음APM으로 부하 테스트의 개별 요청 확인해보니, 해당 API가 실행시키는 특정 쿼리의 실행 시간이 300ms 에서 지속적으로 증가함 (~7,000ms 이상까지)해당 쿼리의 실행시간이 API 응답 시간의 대부분을 차지함현재 해당 쿼리의 성능을 개선하는 방법은 어플리케이션 레벨에서는 어렵다고 판단함 (DB 성능을 높이는것 이외에는 어렵다고 생각)nGrinder 부하 테스트 결과nGrinder - 부하 테스트 결과 리포트: Vuser가 증가함에 따라 API 응답 시간도 증가함부하 테스트 환경

츄님 · Answer

쿼리 인덱스 추가하시면 빨라지지 않을까요??Dbcp 같은 커넥션 풀 사용Cache 적용이렇게 하면 빨라질꺼 같은데요

냥냥가면 · Answer

전 카운트 같은 경우는 따로 테이블 하나 만들어서 업데이트 시키고 있어요!트리거 걸어서요!

siva6 · Answer

이런 선형적인 증가라면, 모든 요청이 대기를 타며 순서대로 수행되는 것 같습니다.애플리케이션 문제일 가능성이 커 보입니다.count 수를 저장하는 별도의 테이블을 가져가거나, 정확하지 않아도 된다면 캐시를 두는 방법도 있습니다.

테스트맨 · Answer

일단 시간복잡도 그래프에서O(1) ~ O(log n) 의 그래프가 나와야 할 것 같은데... 그렇다고 하면 어디서 병목이 걸리는지 확인해야하는데 DB쪽이라고 한다면 커넥션 개수가 부족한건 아닐지 생각해보는게 좋을거같고.. 0.3초는 좀 느린거 같네여.조금 더 개선해보시길..

집킨 · Answer

DB서버의 커넥션풀과 애플리케이션 서버의 커넥션풀을 하나씩 늘려가면서 부하테스트 해보세요처음엔 성능이 점점 개선되다가 어느순간부터는 개선이 안되는 시점이 올건데 그때부턴 쿼리튜닝이나 설계를 바꾸거나 스케일업을 해야됩니다

Devvy · Answer

병목은 데이터베이스에서 발생하고 있으므로 다음과같이 개선할 수 있을 것 같습니다.count를 위한 별도의 테이블을 생성해서 관리count 쿼리 결과를 캐시 -> count 값을 별도의 in-memory db(레디스) 등에 저장하고 해당 값을 리턴(데이터베이스 부하 감소, 다만 데이터베이스와 동기화하는 별도의 작업 필요)데이터베이스 read replica 추가. 읽기 요청을 처리할 수 있는 복제본 추가애플리케이션의 스레드 수를 증가하거나 커넥션 풀의 커넥션 수를 증가시킨다해도 현재는 데이터베이스 단에서 병목이 발생하는 것이기 때문에 오히려 성능이 나빠질 수 있습니다.

[부하 테스트] 동시 접속자 증가에 따라 쿼리 실행 시간 길어지는 원인

6개의 답변

#ngrinder 목록