다량의 api 호출 및 데이터 적재시 OOM 문제 해결방법 조언 부탁드립니다.

Question

안녕하세요. 초급 개발자입니다.특정 데이터셋의 데이터를 수집하는 작업을 하고 있는데 회사내부에 물어볼 사람이 없어서여기에 질문을 남깁니다.,,과거에 쌓여있는 데이터부터 오늘날의 데이터를 계속 수집하는 어플리케이션을 개발하는데수집해야하는 데이터가 너무 많아서 발생하는 OOM 때문에 진도가 나가질 않는데 조언 부탁드립니다.자바, 스프링 부트, jpa 사용하고있습니다. 일단 저는 데이터 수집을 다음과 같이 진행하고 있습니다.데이터 수집 프로세스1. url 생성 저장 1-1. 다중포문을 2단계로 나누고 2단계 loop를 n개씩 나누어 url list 생성 1-2. jpa batch insert size를 임의로 지정하여 bulk insert 저장 - http:// defaultUrl ? 날짜 & 조건1 & 조건2 & 조건3 ... &조건 n(과거 날짜부터 지금까지 * 조건이 많아서 url이 매우 많음) - 작업이 진행된 일자를 기록하기때문에 순차적으로 포문을 사용 (쓰레드 사용 x) - 오래걸리는 것은 5시간 이상걸리기도 합니다. (과거데이터 수집시)2. api 호출 및 저장 2-1. url 조회 2-2. url로 api 호출 2-3. api 데이터 파싱 2-4. 데이터 적재 ( url 1 : 데이터 n) 현재 2단계 소스int coreCount = Runtime.getRuntime().availableProcessors(); ExecutorService es = Executors.newFixedThreadPool(coreCount); for (Url url : urlList) { es.execute(() -> { 작업 2-2, 2-3, 2-4 }); } 예를들어 1000만개 이상의 url api를 호출해서 받은 json 데이터를 DB에 적재하여야하는데1단계 작업 (url 생성 및 저장)은시간이 오래걸려도 어찌어찌하여 작업을 완료하였습니다.이제 2단계 메소드를 호출하여 api 호출 -> json 파싱 -> 데이터 적재 작업을 진행하게됩니다.이 프로세스는 시간이 많이 들것 같아서 쓰레드를 사용하는데 초장부터 OOM을 맞이하게 되었습니다. 이전에는 1단계와 2단계를 하나의 메소드안에서 진행하였었는데 OOM이 발생하여한번에 작업이 이루어지던 것을 2단계로 나누었고 또 OOM이 발생하여 다음과 같은 로직으로 진행하려고합니다.변경예정인 2단계 소스int coreCount = Runtime.getRuntime().availableProcessors(); ExecutorService es = Executors.newFixedThreadPool(coreCount); int startIndex = 0; int urlListSize = collectingTargetUrls.size(); int listSeparatorCount = 2000; int lastIndex; List urlSubList; //시작 인덱스가 list 크기보다 커지면 종료한다. while(startIndex <= urlListSize) { lastIndex = startIndex + listSeparatorCount; if (lastIndex >= urlListSize) { lastIndex = urlListSize + 1; } //조회할 url 리스트를 잘라 쓰기! urlSubList = collectingTargetUrls.subList(startIndex, lastIndex); //적재된 데이터 갯수 int savedDataCount = service.count(); //지정갯수로 나누었을때 나머지가 0이면 다음 subList 진행 //lastIndex가 urlListSize를 넘으면 (마지막 갯수가 부족할 수 있어서) boolean nextSubListContinue =((savedDataCount % listSeparatorCount) == 0) || (lastIndex == (urlListSize + 1)); if (nextSubListContinue) { for (CollectingTargetUrl url : urlSubList) { es.execute(() -> { 1. url api 조회; 2. 데이터 파싱; 3. 데이터 적재; }); } startIndex = lastIndex; } }진행되는 작업은 빠르게 하고싶어 쓰레드를 사용하고, subList만큼을 묶음 작업을 하고 싶은데 쓰레드는 병렬처리이기 때문에 할수가 없어서강제로 subList 개수 만큼 적재한 후에 다음 쓰레드를 적용할 수 있도록 데이터 카운트를 조회하여 플래그 변수를 사용하도록 할 예정입니다.이 로직이 어떻게 생각하시나요??메모리는 한계가 있기때문에 메모리를 확장하는것 말고 로직으로 처리해야하는데...도움없이 개발하려니까 너무 답답합니다.선배님들 이런 경험이 있으시다면 조언 부탁드립니다. 기타질문1.save all 하는데 배치 인서트 사이즈 최적의 값은 무엇일까요?2.Executors.newFixedThreadPool 사용중인데 최적의 코어 갯수는 몇개일까요...? (최대치로쓰면 뻑날것같은데..) 감사합니다!!!

__jj__ · Accepted Answer

우선 Threadpool의 Thread 개수와 성능은 단순 비례 하지 않습니다. thread 수와 성능은 시스템의 환경에 따라 달라지므로 최적의 수를 추천하기는 어렵습니다. 실제 운영환경에서 thread수를 늘려가며 성능을 측정하여 최적치를 구해보시길 조언드립니다.그리고 thread 내부 로직에 대해서 추가하자면, 굳이 한 thread 안에서 조회, 파싱, 적재를 순서적으로 할 필요는 없습니다. 분명 세개의 작업에는 속도가 다를겁니다. 아마 조회가 시간을 제일 많이 잡아 먹겠지요? 이럴 경우 작업을 분리시키는게 유리할 수 있습니다. 한 threadpool은 조회만 계속해서 data를 큐에 넣고, 다른 threadpool은 큐에서 데이터를 꺼내어 저장만 하는 거죠. 이러면 조회에 더 많은 thread를 할당할 수 있고, 동시 조회의 속도를 높일 수 있습니다.

yeori · Answer

OOM 이 발생하면 정리되지 않은 인스턴스들이 있다는건데, 코드 전체를 보지 않는 이상, 다른 사람들은 OOM을 유발시킨 원인은 모르는거구요int urlListSize &#61; collectingTargetUrls.size();이게 사이즈가 평균 어느정도인지?코드를 보면 2천개씩 쪼개서 뭔가를 하시려는거같은데... 코어갯수만큼 스레드를 돌려서 job 을 처리하겠다면 매개역할을 하는 queue가 있어야 의미가 있을겁니다concurrent 하게 작동하는 코드를 만드신거같은데 구조가 일반적이진 않고, 이게 OOM 의 원인인지는 모릅니다코드를 다 보지 않는 이상

스즈흐 · Answer

yeori 답변 감사합니다. 데일리로 진행되면 10000 단위에서 머물겠지만, 초기 데이터를 쌓는다면 1000만건 이상일것 같습니다!쪼개서 api 조회, 파싱, 적재 하려고 합니다. 비효율적이겠지만 다른 방법을 모르겠어서 DB에서 데이터 갯수가 2000개씩 늘어나면 그다음 2000개 작업을 진행하려고 flag변수를 지정해놓았습니다.

스즈흐 · Answer

__jj__ 답변 감사합니다.전혀 생각해보지 못했던 방법이네요 ㅜㅜ 한번 진행해보겠습니다.ExecutorService es &#61; Executors.newFixedThreadPool(coreCount);es.execute(() -> api 호출 및 파싱, 큐에 인큐);es.execute(() -> 큐에 디큐, 데이터 적재); 궁금한점이 있습니다. (진행하면서 알게되겠지만..)1. executorService를 새로 선언하여 사용해야하는지 혹은 위처럼 같은 es를 사용하여도 되는지가궁금합니다. (어차피 한 시스템의 쓰레드라서 변수를 새로 선언해도 똑같을것 같습니다-제의견)

빨간오이 · Answer

대량 data 처리에서 oom 피하려면, streaming 처리를 해야 합니다.제대로 스트리밍으로 하려면, 1단계를 일종의 generator 로 만들어 놓고, 2단계가 쓸 url 이 바닥날 때마다 부분적으로 돌려서 채워야 합니다.url 도 메모리에 넘 많이 적재하면, oom 이죠. 1단계를 일괄처리로 하고싶으면, db나 file 에 appened 로 채워야겠죠.1단계가 2단계보다 매우 빠를 거기 때문에 url 이 한 2000개 생성된 시점부터 2단계 시작하면, 무정지로 돌겠죠.2단계는 http를 타는 api 호출이네요. 요건 무조건 멀티스레드를 해야 시간절약됩니다. ExecutorService.invokeAll() 같은 거 쓰세요. 한꺼번에 넘긴 Callable 목록이 모두 완료될 때까지 기다릴 수 있어요. 5갠지 10갠지 한꺼번에 호출한 api가 모두 응답하기를 기다려서 일괄처리합니다. 2단계가 쓸 일감이 되는 url은 1단계가 저장한 db나 파일에서 딱 필요한 개수만 읽어오던지, 아님 generator 방식의 1단계를 딱 필요한 개수만 돌려서 url 목록이 너무 커지지 않게 해야 합니다.

스즈흐 · Answer

빨간오이 상세하게 흐름을 정리해주셔서 감사합니다 ㅠㅠ빨간오이님께서 말씀해주시기 전까지의 목표가 OOM없이 늦더라도 그냥 계속 진행하자여서api url 생성 및 데이터 수집의 날짜 기준을 하루로 변경하여 계속 돌도록 진행해 놓은 상태입니다.이렇게 했음에도 안된다면 빨간오이님께서 말씀해주신대로 리팩토링하는데 참고하겠습니다! 정말 감사합니다.

터프남 · Answer

스즈흐 잘 해결되었나요??

다량의 api 호출 및 데이터 적재시 OOM 문제 해결방법 조언 부탁드립니다.

7개의 답변

#apicall 목록