5년차에 운영사고를…

하..

모 기업의 그룹웨어 시스템 운영/개발을 맡고있는데

오늘 SSO와 모바일쪽 반영사항이 있어 SSO를 반영했더니

웹PC는 잘 되는데 모바일 앱 메인이 열리지 않는 현상을 만들어버려서

약 2시간동안 장애를 일으키고 말았습니다..

원인은

지난달 업체 요청으로 코드를 수정하고 확인용으로 만들었던 코드를 만들어 저장했다가

한 달 뒤 오늘 log4j작업과 반영사항 넣고 반영했는데 확인용으로 만들었던 코드가 같이 들어가면서 발생했네요..

집에서 밥먹으면서 작업하다가 안되서 숟가락 놓고 노트북 들고 사무실로 부랴부랴 왔는데 혼자 끙끙하다가

남아계셨던 수석분이 svn히스토리 쫙 보시면서 이거 좀 이상한거 같은데 바꿔봐라라고 해서 바꿨더니 해결…

피말리는 2시간이었습니다.. ㅠㅠ

타임라인

19시30~40분 반영작업 시작

19시43분쯤 : 앱 확인하는데 포탈오류발생(로그인까진 정상 valide오류발생)

• 서버 재시작

• 로그확인(특별한 에러로그는 없었음)

• 전 단계로 롤백

했는데도 해결이 되지 않아

48분에 팀장님께 서비스 장애발생했다고 보고했더니

조금뒤 20시에 DB PM작업있을것이다라고 하셨고..

20시 10분에 사무실 출근하기로 결정하고 급히 달려감

20시 35분쯤에 도착해서 모든 프로세스에 로그를 남기고 디버깅

• 토큰이 invalid발생한것으로 표시되어 해당 API쪽 확인중..

20시 50분? : 수석님이 svn히스토리 보심

21시 30분 : 수석님이 알려주신 부분 수정 반영 했더니 정상화