소켓 통신을 빈번하게 하는 톰캣의 메모리 누수가 가능한가요?

Question

현장의 장비 스펙은 아래와 같습니다OS : Window 7CPU : 2.4GHz 쿼드코어Mem : 4GBHDD : 500GB 해당 장비에 설치된 Tomcat은 7 버전이고 1.7 jdk가 깔려있습니다.Netty를 통해 0.3초마다 한번씩,Modbus 라이브러리를 통해 특정 장비와 0.3초 마다 한번씩 지속적인 통신을 유지하는 시스템입니다. 문제가 발생했을 당시작업관리자가 표시하는 메모리 사용현황은톰캣에서 300MB정도이고 나머지 프로세스의 합이 1GB가 안됐습니다. 하지만 전체 메모리 사용량은 3.6GB였고, ping명령 조차 정상적으로 수행하지 못하는 상태였습니다. 프로그램의 메모리 누수현상으로 인해 시스템이 오류가 생겼다는 말이 나오고있습니다 .. 폭탄돌리기 좋아하는 분들이라 늘 전투적으로 떠넘기시곤해요 ㅠㅠ 제가 궁금한건 Tomcat이 사용하던 메모리는 300MB뿐인데 가비지 컬렉션이 처리하지 못하는 메모리로 인해 위의 증상이 발생할 수 있나요?즉, 톰캣 때문에 메모리 누수가 발생할 수 있나요?(소켓은 KeepAlive입니다.)

zepinos · Answer

tomcat 와 netty 을 어떻게 묶으셨다는 건가요? 아니면 장비에 netty 가 있다는 건가요? tomcat 메모리 말고 다른 java 메모리 사용양은요? 그리고 Java 는 실행시 메모리 최대양을 지정해서 실행하기 때문에 실제 물리적인 메모리의 여유량과는 상관없이 할당한 메모리양을 다 쓰면 Memory Full 이 나겠죠. 물론 로그에서 Memory Full 관련 Exception 이 발생했을 꺼구요. 그렇다손 치더라도, Java 관련 프로그램이 먹통이 되지 시스템의 ping 까지 먹통이 되진 않을 것 같은데요.

botem2 · Answer

답변 감사합니다. 다시 말씀드리겠습니다! 문제가 있었던 해당 장비위에 Tomcat 7.0을 실행하고, war를 통해 배포된 Spring Web 서버가 구동돼있습니다. 구동된 서버엔 Netty를 이용한 Socket Client 한 개와 Modbus 라이브러리를 이용한 Socket Client 한 개가 돌고 있습니다 Tomcat 외 다른 java는 돌지 않고 있습니다. 존재하는 java 프로세스는 tomcat이 유일합니다! Out of memory 로그는 없었지만, 소켓 연결에 장애가 생기기 시작하며 연결이 유지되지 못하고 재접속 시도를 하고 있었습니다. ping 뿐 아니라 &#34;작업 관리자의 서비스 목록 표출&#34;, &#34;시스템 종료&#34;, &#34;원격 데스크톱 연결&#34; 등 다양한 기능이 정상 동작하지 않았습니다

음... · Answer

netty와 modbus에 의해 열린 socket 이 너무 많거나 종료되지 않은 쓰레드가 증가하는 상황 아닐까요?질문으로는 윈도우에서 구동하고 계신거 같은데 톰캣 재기동 하고 VisualVM 이나 mission control 등으로 메모리/쓰레드 추이를 모니터링 해보셔도 좋을것 같습니다.

botem2 · Answer

일단 소켓은 각 접속당 한개만 열고있습니다 한달에 걸쳐 발생한 증상이기에 모니터링 툴로 조금 더 지켜봐야겠습니다 답변감사합니다!

zepinos · Answer

보통 이런 경우 close 안한 소켓 쪽 문제일 가능성이 있습니다.

즈루시 · Answer

음... netty 를 외부로 빼서 따로 모니터링하는게 좋을것 같은데요톰캣 내부에서 디버깅도 제대로 안될 것같긴합니다. 저 같은 경우는 약 40대의 장비 2-3초당 1번정도의 통신 그리고 반년정도 운영이었는데 두가지 이슈가 있었습니다. 1. C/S 간 통신이 없는 상태에서 일정시간 이후 DB Connection이 죽는 문제(커넥션 풀 이용 중)2. 각각의 통신을 스레드풀로 운영했으나 각 장비별로 커텍션이 제대로 회수되지않고 커넥션 과부하 상태- 스레드풀에서 해당 스레드가 종료 되지않고 지연이 발생함에 따라 스레드 관리 문제 등등

kkey21a · Answer

Close Wait 문제 같은데요. Ping도 안된다는거보니 ...

botem2 · Answer

Ping 뿐 아니라 작업관리자 창을 여는데에도 자주 실패하고 윈도우 기본 기능에 메모리가 부족하다는 팝업과 함께 장애가 있었습니다

botem2 · Answer

소켓 쪽 문제로 인해 자바 프로세스와 상관없이 시스템 전체 메모리가 증가 할 수 있다는 뜻이군요 조언해주셔서 감사합니다 ! 더 살펴봐서 문제 해결 해봐야겠습니다

소켓 통신을 빈번하게 하는 톰캣의 메모리 누수가 가능한가요?

9개의 답변

#modbus 목록