신입 자바 프로그램 성능 개선법 좀 알려주세요..ㅜㅠ

Question

안녕하세요, 최근 중소기업에 자바 개발자로 입사한 신입입니다... 회사에서 프로그램 하나를 만들라고 시켰는데, 성능이 안나와서 너무 고민입니다.. 고수님들 살려주시면 감사하겠습니다.상황 : IoT 회사로, 센서에서 데이터들을 서버로 보내서 csv 파일이 생성되면 그걸 읽고 필요한 연산들을 수행해서 일부 DB에 업로드 하고 analysis.csv 파일을 만듭니다.각각의 센서마다 4개의 작업이 수행됩니다.fin.csv 파일 읽기 -> 연산하여 event.csv 파일 생성event.csv 파일 읽기 -> 연산하여 track.csv 파일 생성track.csv 파일 읽기 -> analysis.csv 파일 생성analysis.csv 파일 읽기 -> DB에 한줄 삽입센서는 테스트 상황에서 대략 20개 정도 있습니다. 연산하는 방식은 정렬 시켜서 특정 값들하고 비교하는 식인데, 주로 stream을 사용했습니다. 예시로 다음과 같습니다..sameIdEvents.stream().max(comparatorByRssiMax)저희 8코어 짜리 서버에 올리면, 처음에는 10초 안에 처리될 정도로 빠릅니다. 그런데 시간이 지나면, 30초~1분이 들쭉날쭉하게 걸립니다. 어떨때는 1분도 넘습니다.원인이 도대체 뭘까요? 여러가지 방식을 시도해봤는데, 여러개의 센서폴더를 돌면서 parallelStream 을 사용도 해봤고, 각각의 폴더 주소를 넘겨서 그냥 jar파일을 센서 개수만큼 실행시키기도 해봤는데 결과가 비슷하더라고요, 처음엔 빠릿빠릿하다가 30분 정도 지나면 느려집니다.이건 8코어 짜리에서 돌렸을 때 htop인데요, 짚이시는게 있을까요? 32코어 서버에서도 돌려봤는데 결과는 같았습니다...살려주세요 고수님들.. 더 필요한 정보가 있으면 말씀주세요! 어떻게하면 일관적으로 빠른 결과를 낼 수 있을까요?

kenu,전독시 · Answer

profiling 해보셨나요?특히 느려지는 메소드 있나요?메모리 상태 추이는 어떤가요?

Devvy · Answer

"처음에는 잘 수행되다가 시간이 지나면 안되는 현상"을 통해 다음과 같이 유추해볼 수 있을 것 같습니다. -> 메모리 leak이 발생해서 가용 메모리가 점차 줄어듬. 가용 메모리가 줄어들면서 스와핑 발생. 연산 속도가 스와핑으로 인해 느려짐 혹시 시간에 따라 참조해야하는 데이터의 양이 늘어나지는 않는가요? 만약 데이터의 양이 늘어나는 경우 정렬하는데 걸리는 시간도 함께 증가할 수 있습니다.

초무쿤 · Answer

처음에는 잘되다가 점잠 느려진다는거 봐서는 리소스 leak 이 아닐까 싶은데요.파일처리 후 파일 및 관련 리소스 close 여부최정집계값을 sb에 입력하시는가 같은데 connection pool 사용시 풀에 반환은 잘되는지, 사용하지 읺는다면 close는 질되는지.소켓 관련 close 여부정도가 대표적으로 leak나는 케이스일거 같은데용.서버쪽 파일 디스크터 열린가랑 db쪽 connection abort된갓들 있는지 힌반 찾아보시는게 좋을거 같네요.

신입 자바 프로그램 성능 개선법 좀 알려주세요..ㅜㅠ

3개의 답변

Q&A 목록