java heap 메모리 분석..

Question

단독 웹호스팅을 받는데java.lang.OutOfMemoryError: Java heap space에러가 자꾸 발생하여 mat툴을 이용해 분석을 해보았습니다.저 항목에서 92%가 발생하는데 혹시 소스쪽문제인지..소스쪽이면 어디쪽인지 확인할수있을까요..?

yamanin · Accepted Answer

HEAP영역은 데이터 영역입니다.간단히 변수 선언 된 것들이 들어간다고 생각하시면 됩니다.속도와 무관합니다.로고 힘메모리가 초과 된건 데이터를 얼마나 많이 가지고 있느냐. 의 문제입니다.뭔가를 생성하고 가비지 컬렉션을 돌수 없도록 만들어 놓은 상황과 데이터양이 그냥 무진장 많은것 두가지에요.단일 데이터가 적더라도 클라이언트의 요청이 많아서 동시에 쌓인 메모리 총량이 많을 경우도 마찬가지고. 그리고 페이징처리가 다 되있다고 했는데 확인해보기 전에 확신은 하지마시고,스스로를 의심하세요.

orth · Answer

query 결과 로우가 몇건인가요?페이징 처리는 하신거가요?이것만 봐서는 알수가 없는데..

이해리 · Answer

쿼리결과는 200만건인데페이징 10건씩 처리했습니다. 쿼리를 찍어보면 1초정도 걸립니다..

orth · Answer

그럼 200만건을 페이징으로 10건씩 나눠서 올리신건가요? 20만번을 호출하셔서 올리신건가요?코드라도 봐야 알수 있을듯 하네요.

불혹자바 · Answer

운영하고 계시는 시스템의 SQL 문을 올리신 건 아니시죠?

yamanin · Answer

엑셀 다운로드 받을때 힙 차는게 아닐까요? limit #firstIndex#, #recordCountPerPage#

이해리 · Answer

&#64;무명소졸 넵 수정해서 올렸습니다. &#64;yamanin 엑셀다운로드 시 아래소스를 쓰는데..현재 최대결과가 25000건입니다.혹시 이부분때문일까요..? 로컬에서는 다운로드 시 2~3초정도 걸립니다.String file_name &#61;&#34;userList&#34;; String ExcelName &#61; new String(file_name.getBytes(),&#34;UTF-8&#34;)&#43;&#34;.xls&#34;; response.setContentType(&#34;application/vnd.ms-excel&#34;); response.setHeader(&#34;Content-Disposition&#34;, &#34;attachment; filename&#61;&#34;&#43;ExcelName); response.setHeader(&#34;Content-Description&#34;, &#34;JSP Generated Data&#34;); response.setHeader(&#34;Pragma&#34;, &#34;no-cache&#34;);

yamanin · Answer

에러를 보면 파일과는 상관없어요.ResultSet에서 데이터를 뽑아 올때 메모리가 오버되는거 같아요.아마 LIMIT 없이 데이터를 조회하는 경우가 발생할꺼 같아요. 대략 용량을 계산을 해본다고 해야 하나이걸모르겠지만.Object데이터가 지금 400메가 정도에요.그리고 JDBC구조에 별관심이 없지만 메모리로그를 보니. ResultSet으로 Row를 뽑아올때 Stream으로 뽑아오는 듯하네요.한 로우당 832바이트인데... 400메가정도에서 오버된걸 보면 대략 47만 Row정도를 가지고 올때...메모리 오버 되는거 같아요. 요약하자면... LIMIT 안 걸리는 경우가 없는지 살펴 보세요.현재 최대결과가 25000건이라고 했는데. 전부다 가지고 와서 25000건만 짤라서 파일을 만드는 걸수도 있고..

yamanin · Answer

그리고 놓쳐는데. 로그에 ArrayList가 이미 810325만큼 영력을 늘렸는데.대략 ArrayList가 길이가 1.5배씩 늘어 난다고 쳤을때. 대략 지금 54만 Row정도를 담고 있다는 뜻으로 유추해볼수 있겠네요.

이해리 · Answer

답변감사드립니다~ 엑셀다운로드말고 list조회시에는 32만건까지 조회가 됩니다.그리고 사용자말고 관리자의 경우에는 전체 200만건이 조회가 가능한데이부분을 막거나 jvm메모리를 늘리는 방법이 있나요..?

yamanin · Answer

위에서 페이지 처리하셨다면서요. 페이징이 정상적으로 처리된다면... 애초에 10건씩 가지고 올테니까. 이상 없을테고. 페이징이 잘 정상적으로 처리되고 있는지를 봐야 겠죠. 물런 관리자도 페이징 처리를 하셔야죠. 200만건을 한번에 가지고 온다는것 자체가 불가능은 아니지만.안좋은 방법이네요.

이해리 · Answer

아.. 페이징처리는 다되어있습니다.. 관리자의 경우 200만건 조회해도 페이징처리되어 조회가 됩니다.그러면 답변주신대로 limit가 안걸리는 부분이있는지를 찾아봐야겠네요.. 혹시 슬로우쿼리때문에 heap 에러가 발생할수도 있나요..?count쿼리가 7초정도 걸리네요..

이해리 · Answer

답변감사드립니다. 많이 배웠습니다! 일단 페이징처리 부분을 확인해보겠습니다.그리고 답변주신단일 데이터가 적더라도 클라이언트의 요청이 많아서 동시에 쌓인 메모리 총량이 많을 경우이부분의 경우는 heap메모리를 늘리는 방법밖에는 없는거죠..?

yamanin · Answer

뭐 그렇죠.아니면 WAS를 늘려서 로드밸런싱을 하시던지. 이쪽이 좋을꺼 같네요.힙을 너무 많이 올리면 풀GC일어날때 시간이 늘어나서 렉이 발생할테니까.

이해리 · Answer

넵 답변감사드립니다~

orth · Answer

대용량 데이터를 엑셀로 다운 받으시는거 같은데jsp 단에서 데이터를 그려서 response 헤더 바꿔서 다운하시는거 같은데...예전에 저도 비슷한 에러를 겪어서 https://poi.apache.org/spreadsheet/ 보시면 sxssf 방식으로 excel 파일 생성후 다운로드 하여서 해결했습니다.200만건을 한번에 올리면 heap이 다 차니 한 1만건씩 퍼올려서 excel에 쓰고 excel 파일 생성후 다운로드 했던걸로 기억합니다.

yamanin · Answer

orth 님 말이 맞어요.엑셀 쪽에서 에러발생할 확률이 높아요.전체 다운로드를 못하는 방향으로 가는 것도 좋을듯하네요.특정기간 만큼만 받거나, 특정그룹만 받거나.200만건을 한번에 받기가 잦으면 DB부하도 감당안될꺼에요.

더미 · Answer

엑셀에 200만건씩 쓰면 답이 없습니다.orth 님 말대로 스트리밍으로 파일을 써야됩니다.

이해리 · Answer

답변감사드립니다.현재 전체다운로드는 못하게 막아놨고조건이 있을경우만 다운가능하게 해놨습니다. 헤더로 엑셀다운하는거를 poi로 수정하려구요.

java heap 메모리 분석..

19개의 답변

#mat 목록