사용자가 몰릴때 서버가 다운되는 문제

Question

안녕하세요.1년차 신입 개발자입니다.다름이 아니라, 업무중에 사용자가 몰리는 특정일때 서버가 항상 뻗어 관련 해결책을 찾고있습니다.현재 운영중인 사이트는 tomcat을 사용하고있고 규모가 크진않아 대략 수백명 정도의 사용자가 이용하고있습니다.의심가는 부분은 서버가 뻗을때 항상 이용자들의 Excel업로드가 집중된다는 점인데,사용자들이 업로드한 엑셀 파일에 수백개 단위의 데이터들을 아파치 POI 라이브러리를 통해 읽어 DB작업을 하는 기능이 하나의 트랜젝션으로 묶여있습니다.평상시에는 수십개의 엑셀파일과 수백개 정도의 데이터들을 처리하는 정도인데,이용자가 몰리는 특정일의 로그들을 살펴본 결과 수백개의 엑셀파일과 수천개의 데이터 정도(수천개의 db update)의 작업량입니다.또한 해당 작업을 할때 로그를 살펴보면 데드락이 다수 발생하고있다는 특징이 있습니다.궁금한점은 이러한 상황에서 수백개정도의 엑셀파일을 읽었다고 서버가 뻗는 정도인지..아니면 또다른 이유가 있는 것인지 아직 아무것도 모르는 초보 개발자라 감이 잡히질 않네요..ㅠㅠ서버가 뻗었을때, 관련 web 로그나 tomcat 로그에는 아무런 exception이나 에러가 찍히지않고 그냥서버가 응답하지않는 상태라 매번 was 재기동하여 문제를 해결하고있는데 로그에서도 확인이 안되니 근본적인 해결책을 못찾고있습니다.어느부분을 살펴봐야할지 경험많으신 선배님들의 생각을 여쭙고자 질문드립니다.

AskeTeddy · Answer

file upload 는 원래 oom 을 달고 삽니다저는 비용최적화, auto scale out(oom X) 를 위해, aws s3의 pre-signed url 방식을 사용합니다https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/ShareObjectPreSignedURL.html

잠자는사자 · Answer

엑셀 업로드, 처리시 뻗는 경우 많습니다. 서버 뻗는 경우 ram용량의 차이에 따라 차이가 나며 사실 그보다 중요한게 업로드시 처리 방법입니다.루프에서의 업데이트 처리가 제일 중요합니다. 루프에서의 처리는 곱하기로 부하가 몰립니다.결론적으로 루프에서의 업데이트 처리가 제대로 안되는 상태라고 하겠습니다.

양반후반 · Answer

우선은 모니터링 환경을 구축 하시고 메모리 덤프도 뜨도록 세팅 하시고나서 확인을 해보시는게 좋을 것 같습니다.

ccat · Answer

이거 저도 겪었던 문제인데 엑셀을 만들 때 루프쪽에서 리소스를 너무 먹어서 oom이 터져서 멈추더라구여, 이거에 관해서 엑셀을 만들 때 리소스를 줄이는 방법은 구글에 많이 나와있습니다. 참고하셔서 로직 수정하시구요, 저는 그렇게 로직 수정을 하고도 가끔 터지는일이 있어서 제약을 걸어두고 하긴합니다..

HJOW · Answer

엑셀 업로드/다운로드, 아파치 POI 는 램 문제와 항상 달고 살아야 하는 문제...였습니다.이거 해법 있습니다.우선 업로드의 경우 SheetJS 로 대체하는 방법이 있습니다.https://sheetjs.com/이거 프론트 자바스크립트 라이브러리입니다. 엑셀 파일을 서버로 가져갈 필요없이, 스크립트 단에서 읽어 JSON으로 변환할 수 있는 엄청난 녀석입니다. Pro 필요없고 커뮤니티 에디션 쓰세요.자바스크립트 코드는 사용자의 웹 브라우저에서 실행되죠. 즉 엑셀파일을 읽는 고부하 작업이 서버가 아닌 사용자 PC에서 실행된다는 겁니다.JSON으로 읽어 AJAX같은 얘들로 서버에 전송하면 끝이죠.물론 전체를 트랜잭션으로 묶어야 한다면 좀 고민을 해야 할 텐데, 그냥 중간테이블을 하나 두세요.테이블 하나를 새로 만들어서, 업로드한거 넣을 때 그 테이블에 넣고화면에서 버튼 누르면 그때 UPDATE문 하나 돌려서 목적지 테이블로 옮겨버리는 거죠.다운로드의 경우 POI의 SXSSFWorkbook 를 사용하세요. XSSFWorkbook 대신.임시폴더를 얘가 알아서 찾아서 사용합니다. 램 대신 임시폴더를 POI가 알아서 활용해서 램을 절약하죠.

2948284 · Answer

수백수천개 수준으론 안뻗을거같고 데드락이 문제같네요

배움은끝이없다 · Answer

서버가 뻗었다면 was cpu 사용량이 초과됐거나, db 서버가 다운됐을 가능성이 큽니다.현재 엑셀업로드시 대량의 데이터를 1개의 api 로 업로드 하고계시다면 프론트단에서 대량의 데이터를 4개의 데이터로 분할하여 소량의 데이터를 4번 호출하는 방법도 해결방안이 될 수 있습니다.한번 고려해보세요

basscraft · Answer

엑셀파일 처리는 메모리를 상당히 많이 차지합니다.업로드 완료되고 해당 파일을 읽어서 Worksheet를 메모리에 다 올려야 작업이 가능합니다.이게 많이 몰리면 처리하는 동안 서버 메모리를 다 잡아 먹습니다.보통 기본 설정이면 jvm에 할당되는 메모리는 생각보다 작습니다.그리고 데드락은 엑셀파일의 로우를 읽어서 루프돌면서 DB처리하는 시간이 많이 걸린다는 이야기 같네요우선 불특정다수의 사용자가 이용하는 어플리케이션에서 엑셀 업로드 -> 일괄처리 하는 기능을 구현한 것이 문제라고 생각합니다.진짜 꼭 해야 한다면 CSV 업로드로 바꾸던가...꼭 죽어도 엑셀로 해야 한다면... 업로드와 DB처리를 분리 하는 것을 생각해 볼 수 있을 것 같습니다.사용자는 엑셀 업로드로 끝나고 서버에서 배치로 올린 파일을 처리 하는 것... 정도 타협그리고 데드락이 걸린다는 것은 업로우 이후 DB처리도 튜닝을 해야 할 것 같습니다.우선은 급한대로 JVM 메모리 할당을 좀 늘려주고 스카우터 APM 같은 것을 올려서 문제되는 곳을 찾아보시는게 어떨지...

ansdbduf · Answer

POI xml 구문 분석기를 dom parser에서 sax parser로 변경해보새요. dom parser 방식은 메모리를 많이 먹습니다. 왜냐면 엑셀 모든 데이터를 메모리에 올립니다. 반면 sax parser 방식은 엑셀의 1row를 읽을때마다 이벤트가 발생하고 1row에 대해서 데이터를 처리하기 때문에 메모리를 적게 사용하지만 cpu를 많이 씀.

더미 · Answer

수백개 엑셀이면 어지간히 램이 많지 않으면 뻗을겁니다.수십개라도 엑셀 파일이 크면 뻗어요.

사용자가 몰릴때 서버가 다운되는 문제

10개의 답변

Q&A 목록