스레드풀을 사용한 비동기 + 병렬 처리 시 적절한 스레드 개수 선택 방법

Question

안녕하세요.네트워크 I/O가 많은 작업을 비동기 &#43; 병렬 처리로 개선하는 작업을 진행 중입니다.tcpdump로 패킷 캡쳐해서 분석했을 때.. 전체 실행 시간의 97%를 네트워크 대기 시간으로 사용 중이여서 비동기 처리로 성능을 높일 수 있겠다고 생각했구요.서버가 2core 짜리라 병렬 처리도 가능하고.. 네트워크 I/O를 발생시키는 각 작업들이 서로 공유하는 데이터가 없어서 경합이 발생하지 않을 것이라 예측이 돼서 병렬 처리로도 성능 향상이 되겠다고 생각했습니다.자바에서 CompletableFuture로 비동기 처리를 구현하고 ExecutorService로 직접 스레드풀 만들어서 해보니, 이 작업이 성능이 개선되는 것을 실제로 확인했습니다.근데 흠.. 스레드풀의 사이즈.. 를 몇으로 하는게 적당할지, 어떤 지표를 근거로 해야 할지 잘 모르겠습니다.스레드 개수가 적으면 전체 작업을 처리하는 시간이 느려질 수 있고,, 반면 너무 많아지면 컨텍스트 스위칭 비용 증가나 메모리 사용률이 증가해서 성능 저하가 될 수 있다는 정도로만 알고 있는 상태입니다.스레드 사이즈 10개로 해서 돌릴 때는 메모리 사용률은 변화가 없었구요.그렇다고 스레드를 50개 80개 이렇게 만들어서 하자니 이게 맞나 싶기도 하구요. (톰캣 기본 설정이 200개로 아는데.. 느낌상 50개면 꽤 많은 것 같아서요)우선 10개로 해도 성능 향상은 되긴 한건데.. 실제로 어떤 방식으로 스레드 개수를 정하는지 알고 싶네여. 동적으로 조절한다면 어떤 메트릭을 기준으로 하는지도 알고 싶어요.제가 놓치고 있는 부분 있다면 함께 알려주시면 감사하겠습니다.

사과맛오렌지 · Answer

보통 귀찮으면 코어 개수로 두기도 하지요.정확한 건 프로그램마다, 머신마다 다 다르니 직접 벤치마크를 해보는 것밖에 뾰족한 수가 없습니다.

정말잘하고싶은사람 · Answer

(자문자답)최대 스레드 개수를 "CPU 수 X (1+대기 시간/서비스 시간)"으로 잡을 수 있다고 하네요.이론적인 관점이긴 한데.. 근데 저렇게 하면 CPU를 꽉꽉 쓰는 거구,목표 CPU 사용률이 있다면 ( 0~ 1사이로) "CPU 수 X (1+대기 시간/서비스 시간) X 목표 CPU 사용률"로 할 수 있다고 합니다. 어디까지나 이론적인 내용..

스레드풀을 사용한 비동기 + 병렬 처리 시 적절한 스레드 개수 선택 방법

2개의 답변

Q&A 목록