java.lang.OutOfMemoryError 해결 못한지 2주째...도와주세요.

Question

코드상의 문제는 아닐거라고 봅니다..만.. 코드도 올려보아요..왜 코드상의 문제가 아닐거라고 하냐면....옆 개발자 컴퓨터에 있는 이클립스, java, workspace 있는 폴더를 통채로 카피해서 제 컴에 붙여넣기 해도..옆 개발자는 결과가 15초이내로 나오는데..저는 30초즘 걸리다가 메모리 에러나거든요...더이상. 대책이 없이 2주가 흐르고있음....이클립스 ini 파일 -vmargs의 -Xms1024m, -Xmx1024m 라던지.. 이클립스 preference의 installed JREs의 항목에 -XX:PermSize=2048M -Xms=2048M -Xmx4096M 파라메터 라던지..이런건 해봤는데... 안되네요..-------------------------------------------------------------------------------------------------------------- 개발환경 : java1.6, tomcat1.7, Spring, eGovFramework기반, mybatis, mariaDB 윈도우10 64비트, 메모리8기가.쿼리 실행까지는 잘 되는듯. 가져와서 List에 넣을때 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.lang.OutOfMemoryError: Java heap space발생.-------------------------------------------------------------------------------------------------------------- ### Controller AnalysisService service = getService("posautoService", AnalysisService.class); List entities = service.selectResultList(conditions); // <---- 시작지점 -------------------------------------------------------------------------------------------------------------- ### Service public interface AnalysisService extends GenericService { public List selectResultList(EgovMap param);} -------------------------------------------------------------------------------------------------------------- ### bean### Controller 에서 posautoService로 getSerfvice 호출. 그에 맞는 mapper 반환.

-------------------------------------------------------------------------------------------------------------- ### ServiceImpl### PosAutoServiceImpl로 왔더니 AnalysisServiceImpl가 extends 되어있어 AnalysisServiceImpl 에서 selectResultList 를 실행### 앞에 bean에서 받아온 mapper 2개를 AnalysisServiceImpl로 넘김 public class PosAutoServiceImpl extends AnalysisServiceImpl{ public PosAutoServiceImpl(AnalysisMapper mapper, AnalysisMapper resultMapper) { super(mapper, null, resultMapper); }} -------------------------------------------------------------------------------------------------------------- ### ServiceImpl### 앞에서 받아온 mapper 2개를 mapper, resultMapper로 지정. selectResultList 에서 resultMapper 사용 public abstract class AnalysisServiceImpl implements AnalysisService { protected AnalysisMapper mapper; protected AnalysisMapper stateMapper; protected AnalysisMapper resultMapper; public AnalysisServiceImpl(AnalysisMapper mapper, AnalysisMapper stateMapper, AnalysisMapper resultMapper) { this.mapper = mapper; this.stateMapper = stateMapper; this.resultMapper = resultMapper; } @Override public List selectResultList(EgovMap param) { return resultMapper.selectList(param); }} -------------------------------------------------------------------------------------------------------------- ### collectAutoPosResultInfoMapper @Mapper("collectAutoPosResultInfoMapper")public interface CollectAutoPosResultInfoMapper extends AnalysisMapper{ } -------------------------------------------------------------------------------------------------------------- ### mapper xml### 쿼리 결과 : 8~20만건. DB툴 접속 쿼리실행시간 1초이하. 이클립스 쿼리 실행시간 4초이하. --------------------------------------------------------------------------------------------------------------

냥길동 · Answer

이클립스가 아니라 톰캣의 메모리값을 조정해 보시면 어떨라나요.

bar · Answer

아마도 톰캣 설정때문일겁니다. 기본 설정은 256MB 로 설정이 되어있을거예요.

zepinos · Answer

한 번에 수~수십만개의 값을 가져오면 Map 이 수~수십만개 생성되고, 그걸 List 등에 담게 되겠죠. 당연히 그걸 담느라 시간이 무지하게 오래 걸립니다. 이런 경우는, MyBatis 에서 java.sql.Connection 을 직접 받아와서 ResultSet 으로 결과를 받아오도록 수정해야 합니다. ResultSet 은 결과를 저장하고 있는게 아니라, 결과 테이블(DBMS 의 임시 테이블 형태겠죠)의 커서를 가리키고 있는 형태이기 때문에 양이 많아도 즉각적으로 값을 읽어오지 않습니다. JSP 등에서 모든 내용을 출력해야 한다면, ResultSet 을 Attribute 에 넣어서 JSP 로 보낸 다음, 거기서 직접 ResultSet 을 loop 로 돌면서 출력하는게 좋습니다. 개체에 담으려고 하는 순간...메모리를 어마어마하게 사용하게 될꺼고, 중간중간에 GC 도 막 생기고 그럴 겁니다.

jcpark1220 · Answer

톰켓 메모리 설정은.. 기본설정으로 되어있기는 한데..512MB가 1024MB로 수정해서 돌려봐도..소용이 없네요..JConsole로 돌아가는 모양을 보니..1024MB를 해도 1024MB를 풀로 다 쓰면서 돌다가 벋어버리네요 ㅠㅠ JSP에서 바로 사용하지는 않지만..컨트롤러에서 저 호출 이후에 가져온 데이터를 토대로 계산하는 루틴이 있습니다. (공통모듈)ResultSet 을 이용하라는 조언은.. 한번 찾아보겠습니다.

pardon · Answer

OLTP 환경에 매 트랜잭션마다 8-20만건인가요?왜요... 왜요... 로컬이 OOM이 떨어지는데, 운영 포팅후에는 오죽할까요.OOM이 안나는게 더 싱기합니다.. 소스보니, 통신분석 관련 데이타 처리를 하려는거 같은데...배치를 사용하면 안되는 업무요건 인가요? 온라인으로 8-20만건은... 전 반대입니다. 현업이 머라카든 전 반대입니다.

jcpark1220 · Answer

이벤트 자체가 자주 일어나는 일이 아닙니다.애초에 매일 매일 수천만 건의 데이터가 오가는 다른 DB에 대한 통계(?) 사이트인데다가매일 자동으로 생성되는 fileDB중 해당하는 건에대한 정보를 읽어다가 가져와서 그 수치를 계산해서 통계를 보여주는 이벤트인데요.. 이게 fileDB까지는 앞단에서 배치로 돌아서 생성되는데.. 이 이벤트는 관리자가 들어와 검색해서 하나 선택시 발생하는 건인데.. 솔직히 그리 많이 보지는 않는다카네요.. 하루 한번 클릭할가말까 수준...그리고.. 현재 저렇게 구현되서 돌아가는 중입니다.. 전 유지보수 구요.. 몇가지 항목 수정... 파라메터 추가...근데.. 로컬에서 안돌아가서 문제인.. ㅠㅠ 실서버에선 잘 넘어가요..

pardon · Answer

댓글을 보니, jconsole 로 메모리 모니터링 까지 하신 모양이네요. 그럼 더더욱이 한번에 가져올때의 적재량을 줄일수 있도록 수정해야 되겠는데요. 몇가지 파라메터 추가되고 몇가지 가져오는 항목 추가된다 하더라도 그 반복되어 덩어리가 되는 객체들의 힙과 펌영역의 메모리 증가는 충분히 예견됩니다. 쉽게 생각해볼게요.. 가져오는 데이타량을 줄여보세요. 100건 1000건 10000건 등등으로언제 죽는지를 함 보세요. 그리고, 이건 너무 과하지 않나요?-XX:PermSize&#61;2048M(영구영역) -Xms&#61;2048M(최소힙) -Xmx4096M(최대힙)eclipse.ini 내에서 메모리 설정도 그렇고... 로컬 톰캣 메모리 펌 영역을 1기가로 잡는 경우는, 한 2만여개 되는 컴포넌트(bean)를 scanning 해서 펌에 올리는 (차세대 기간계 시스템같은) 경우 아니면, 여간해선 1기가로 잡을 필요 없거든요.(이런 경우도 최초 시스템 부팅 시 1분여정도 걸리더군요.) 정말 어쩔수 없는 경우라면, fileDB데이타를 짤라서(1/100수준) 로컬에서 테스트 하시고, 운영에 적용해야 될거 같아요.

jcpark1220 · Answer

이클립스 메모리 설정 부분은.. 원래 40MB, 256MB 정도 였는데.. 제가 그게 작아서 안되는건가 싶어서 자체적으로 올려본 수치입니다.. 과해도 안좋은게 있을지요.. ㅎㅎ일단은 윗분 말씀대로 ResultSet 이용해서 재구현해보고는 있는데.. 어렵네요.. ibatis는 많이 해봣는데 mybatis는 처음이라.. 그쪽도 수정하는데 헤메고있고...

ansdbduf · Answer

쿼리 결과 : 8~20만건. DB툴 접속 쿼리실행시간 1초이하. 이클립스 쿼리 실행시간 4초이하.빼액~커서방식으루 바꾸시던지(요넘이 cpu랑 io를 많이 먹어 성능저하도 있을수있음), 페이징처리하시던지, 메모리 100gb로 업(요건 stop world 시간이 길어질수있음)하시면 됍니당

brandonL · Answer

조금 이해가 안되는데... 8만~20만건의 데이터를 화면에서 보나요????;;쿼리 후, 계산하는 로직이 있다면 계산로직을 DB로 이관하시는게 맞을것같습니다.그리고 화면에서 보이는 만큼만 가져오도록 처리하시는게;;

jcpark1220 · Answer

이와 비슷한 다른 페이지에선 5만건이든 10만건이든 화면 하단 한정된 영역에 리스트로 전체를 다 뿌리는 페이지도 있다눙.. (심지어 거긴 한줄한줄마다 버튼이 두개씩 달려있다눙... 파라메터, 지도보기... 쓰긴 하려나..) 이쪽은 제가 수정할 페이지가 아니라서요.. ㅋ 화면에 보는 거라면.. 일단 이번 페이지의 경우엔 계산 결과만 가지고 표와 그래프로 보여줍니다만.. 무엇보다... 계산 로직(알고리즘)이 좀 많이많이많이많이 복잡해서요.. 공통 모듈이기도 하고... 일부분만 예를 들께요.. 이런걸 DB로 옮기실수있겠어요?? -0-ㅋ 전 자신없음.. 그리고..한줄한줄 모든 데이터가 계산로직을 통과해야 하는 상황에서 페이징처리는 불가능하죠.. /* 0.075 <= p <= 0.925 */if(Math.abs(q) <= .425) { r = .180625 - q * q; val = q * (((((((r * 2509.0809287301226727 + 33430.575583588128105) * r + 67265.770927008700853) * r + 45921.953931549871457) * r + 13731.693765509461125) * r + 1971.5909503065514427) * r + 133.14166789178437745) * r + 3.387132872796366608) / (((((((r * 5226.495278852854561 + 28729.085735721942674) * r + 39307.89580009271061) * r + 21213.794301586595867) * r + 5394.1960214247511077) * r + 687.1870074920579083) * r + 42.313330701600911252) * r + 1);}/* closer than 0.075 from {0,1} boundary */else { /* r = min(p, 1-p) < 0.075 */ if (q > 0) { r = 1 - p; } else { r = p; } r = Math.sqrt(-Math.log(r)); /* r = sqrt(-log(r)) <==> min(p, 1-p) = exp( - r^2 ) */ if (r <= 5) { /* <==> min(p,1-p) >= exp(-25) ~= 1.3888e-11 */ r += -1.6; val = (((((((r * 7.7454501427834140764e-4 + .0227238449892691845833) * r + .24178072517745061177) * r + 1.27045825245236838258) * r + 3.64784832476320460504) * r + 5.7694972214606914055) * r + 4.6303378461565452959) * r + 1.42343711074968357734) / (((((((r * 1.05075007164441684324e-9 + 5.475938084995344946e-4) * r + .0151986665636164571966) * r + .14810397642748007459) * r + .68976733498510000455) * r + 1.6763848301838038494) * r + 2.05319162663775882187) * r + 1); } else { /* very close to 0 or 1 */...쓸데없이 길어서 잘랐... 어제 질문 올린 이후로.. 여러 조언을 받잡아.. 일단 환경설정 수정하고 ResultSet 사용해서 가져오는 방향으로 진행을 해보고 있습니다. 물론 아직 해결은 안되었습니다만, 많은 도움및 조언 감사합니다.. 더 도와주셔두 되구요. ^^

java.lang.OutOfMemoryError 해결 못한지 2주째...도와주세요.

11개의 답변

Q&A 목록