서버 장애상황에서 원인을 찾기가 엄청 어렵습니다...

Question

안녕하세요 저는 한 회사에서 서버를 담당하고 있는 사회 초년생입니다.이 상황을 어떻게 타개할 수 있을지 선배님들의 의견을 여쭙고자 글을 작성하게 되었습니다.서버에 장애가 발생했을 때 항상 DB CPU가 100%로 올라가는 부분이 문제더라구요...HW/SW가 워낙 오래된지라 APM으로 모니터링을 해도 장애 상황에서는 그냥 큐에 많은 업무들이 쌓여있을 뿐 원인이 되는 부분을 찾기 어렵구요...DBMS에서 lock이나 슬로우 쿼리를 봐도 장애 상황이기때문에 오래 걸리고 lock이 잡히는건지 진짜 원인이 되는 부분들 찾기가 어렵더라구요...혹시 이런 부분을 해소할 수 있는 솔루션이나 방법 같은 것들이 있을까요??오래된 장비다 보니 매일 아슬아슬한 상황에 스트레스가 이만저만 아닙니다..ㅠㅠ감사합니다.

Clickin · Answer

지금 그냥 장애가 난다는 상황만 인지된 거 아닌가요장애 분석을 위해서는 반드시 원인분석이 들어가야하는데그냥 모니터링 지표 들여다보기만 해서는 원인분석하기 어렵죠예를 들어서 특정 시간대에 크론탭 등 배치 잡이 몰려있거나아니면 어떤 시간대에 사용자 트래픽이 많다거나스레드 동기화 문제로 데드락이 발생한다던가이런건 어플리케이션 로그 분석이 동반되어야합니다.

basscraft · Answer

APM을 사용하고 계신다니 APM의 기능을 잘 활용해 보시길 권장 드립니다.그런거 하려고 구축하는게 APM 이니까요상용 APM 이라면 기술지원, 교육 등이 필요 할 것 같네요.오픈소스라면 스스로 공부하시고 집요하게 모니터링을 하시는 수 밖에...APM은 많은 기능을 가지고 있습니다.

서버 장애상황에서 원인을 찾기가 엄청 어렵습니다...

2개의 답변

기술 목록