java] 파일업로드와 Out Of Memory......

Question

안녕하세요......열심히 구글링도 하고있는 와중에 질문도 하나 올려봅니다 ㅜㅠspring 3.2이며 멀티파트로 업로드를 구현하였고... 처리방법을 정확히 모르고 코드 복붙만 하니 수박 겉핡기 식으로만 알고 넘어가는 것 같아 답답합니다. 질책도 좋고 조언도 좋습니다. ㅜㅠ1. 버퍼처리 관련하여MultipartHttpServletRequest requestList fileList = request.getFiles("file");for (MultipartFile mf : fileList) {File file = new File(PATH + mf.getOriginalFilename());mf.transferTo(file);}업로드 코드는 이게 전부입니다.그냥 request.getFiles로 가져온 MultipartFile 객체를 transferTo 하여 서버 경로에 넣는 코드가 다입니다..대용량 파일을 업로드 하려면 추가 설정이 필요한 것 같은데 버퍼처리도 필요하고 용량제한?? 이런설정도 필요해 보이는데...우선 궁금한것은.. 대용량 업로드를 대비해서 근데 지금 제가 해놓은 코드에는 아무것도 되어있지 않은 게 맞는거죠...?그럼 지금 저 위의 소스에는 파일이 필요한 만큼 한꺼번에 메모리에 담아서 업로드 하고 있는 게 맞나요?그래서 버퍼를 이용해서 버퍼크기만큼 짤라서 업로드하는 코드로 수정이 필요한가요?File file = new File(PATH + mf.getOriginalFilename()); file.createNewFile(); try (BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream(file)); BufferedInputStream bis = new BufferedInputStream(mf.getInputStream());) { byte[] buffer = new byte[4096 * 2]; int read = 0; while ((read = bis.read(buffer)) != -1) { bos.write(buffer,0,buffer.length); } bos.flush(); } catch (Exception e) { logger.info("{}", e); }이렇게 수정하면 맞나요??2. 대용량 업로드 용량제한제가 수정 전 코드로 테스트로 큰 파일을 올려보았을 때 에러가 났었습니다.정확한 에러 까지는 저장을 안해놔서 기억이 안나는데당시 구글링해서 대응한 부분이 spring servlet-context.xmlmultipartResolver 설정에 maxInMemorySize사이즈를 주라는 얘기가 있었습니다.아마 최대로 올릴 수 있는 용량을 넘어섰다는 내용이었는데이렇게 설정을 추가해줬었습니다.근데 오히려 이것때문에 톰캣에서 힙 메모리를 많이 차지하고 있어서 페이지 로드시 Out Of Memory 가 날 수 있나요??지금 cafe24의 서버를 사용중인데 서비스 사양이 JVM메모리가 128M밖에 안됩니다.근데 희안한건 특정 페이지를 들어가려고 할 때만 에러가 나고 다른 페이지에서는 괜찮습니다.아마....그 특정 페이지를 로드할때 필요한 리소스가 다른 페이지보다 많은 것 같습니다....그래서 또 구글링을 해보니.... maxInMemorySize 설정이 있어서 그렇다고 이 설정을 빼주라는데제 기억에 분명이 이유가 있어서 maxInMemorySize 설정을 해줬던 것 같은데 ㅜㅠㅜ 이 설정을 삭제해도 될지....확신이 안섭니다.. 당장 서비스 중인 프로젝트라 고객사의 엄청난 쿠사리를 먹고있는 상황입니다 흑흑 ㅜㅠㅡㅜㅡㅜㅡㅠㅜㅠㅡㅜㅠㅡㅜㅠㅡㅜㅠ이게 1번 에서 잘못 코딩한 멀티파트 코드랑 연관이 있을까요..?일단 당장 maxInMemorySize설정을 제거하고 재기동을 해봐도 될런지...일단 급하게는 페이지를 로드할때 필요한 리소스를 좀 줄여보고자 리스트에 필요한 변수만 남기고 나머지 변수는 리스트에 담지 않도록 쿼리를 수정했습니다. 또 언제 OOM장애가 날지 미지수입니다....멀티파트 설정과 업로드 부분에 대해 조금이라도 조언 주신다면 정말 감사하겠습니다.

NULL만나면 · Answer

https://velog.io/&#64;secho/%EC%8A%A4%ED%94%84%EB%A7%81-09-%ED%8C%8C%EC%9D%BC%EC%97%85%EB%A1%9C%EB%93%9C-%EB%A7%8C-%EC%B2%98%EB%A6%ACCommonsMultipartResolver 설정 부분 설명이 나와있는데 한 번 시도해보세요.

adduci · Answer

maxInMemorySize 지우면 해당 용량만큼의 파일 업로드 시 에러가 날 여지가 있겠죠사실 OOM 문제는 정확히 언제 발생할지 예측하기가 어렵습니다단순히 로직 상의 문제일 수도 있고 특정 시점에 메모리 사용량이 몰려서 평소엔 문제 없는데 갑자기 문제가 발생할 수도 있거든요우선 로직에서 최적화할 방법은 없는지도 보고 쿼리도 최적화해보는게 최선입니다좀 딥하게 들어가면 JVM 옵션을 좀 손봐야합니다그러려면 먼저 성능 모니터링 툴로 jvm 메모리의 어느 영역이 문제인지 파악하고 해당 영역과 관련된 설정을 서버 메모리를 극도로 활용하도록 수정하시면 됩니다그래도 안되면 결국 돈 더주고 비싼 서버 써야죠^^; 물리적 한계를 극복 못하는거라서..ㅎ

하다11 · Answer

혹시 업로드 코드 부분에는 BufferedInputStream 안 써도 문제없나요?

하다11 · Answer

해결: 게시판 리스트페이지에서만 OOM 에러가 났었는데 업로드 문제가 아니라 리스트에 내용을 불러오는 부분에서 내용부분 용량이 너무 많아서 이걸 리스트만큼 가져오려니 메모리가 부족하여 OOM에러가 발생하는 것이었습니다. 내용검색과 리스트 조회를 분리하여 처리하도록 하고 리스트 검색시에는 내용부분을 빼도록 쿼리 수정하여 해결하였습니다.

java] 파일업로드와 Out Of Memory......

4개의 답변

#oom 목록