서버 내 특정 기능에 대한 장애 조치 관련 선배님들의 의견 여쭤봅니다.

Question

안녕하세요 선배님들!장애 조치 관련해서 여쭤볼게 있어서 글 작성합니다.예를 들어 서버로 요청이 들어와서 Push를 날리는 기능이 있다고 가정하겠습니다.만약 push를 보내는게 실패하는 경우 결과에 대한 정보를 가지고 실패한 대상에 대해 다시 요청하는 기능을 구축할 수 있습니다.그런데 상급자가 다음 경우에는 어떻게 하냐고 합니다.서버에 요청이 들어왔지만, push를 보내는 기능 자체가 실행 안되면 어떻게하냐? push를 보내는 기능 자체가 실행이 안 됬으면 이를 파악하고 다시 push를 보내는 기능을 실행할 수 있게 해라.저는 애초에 요청이 들어온 것에 대해서는 처리를 진행하고 실패했을 때 이를 추가적으로 보완하는 기능에 대해서는 경험해보았지만, 이렇게 실행되어야 하는게 누락되는 경우에 대해서는 처음 듣는 상황이라 좀 난처하네요. 요청이 들어왔으면 요청에 해당하는 기능이 실행되는게 제 상식으로는 맞는 것 같은데, 이렇게 요청이 들어왔는데도 해당하는 기능이 누락되는 경우가 존재하나요? 존재한다면 이를 어떻게 감지하고 다시 실행할 수 있나요?저는 개인적으로 왜 실행되지 않았는지를 파악하고 이를 수정하는게 맞다고 보는데 상급자는 이런 경우 보완해서 다시 실행시켜줘야한다고해서 고민이 됩니다. 일단 상급자는 비개발자여서 저에게 말한 기능을 어떻게 구축해야되는 지를 조언하는건 불가능하고 그냥 그런 경우에도 보완할 수 있는 기능을 원하는 상황입니다.

allinux · Answer

이기종간에 통신이라고 예를들면 네트워크 장애로 인해서 수행이 안될수도 있습니다.즉 timeout 이 발생했을때 retry 등을 할 것인지등의 고민이 필요합니다.MQ 같은 시스템을 중간에 둔다면 큐가 빌때까지 즉 처리가 될 때까지(큐가 빌때까지) 재시도(몇회까지 등)를 해볼 수 있습니다.

kotliner · Answer

외부 서버는 네트워크던 외부서버 장애던 어떠한 이유로든 실패할 수 있습니다. 이는 불가항력에 가깝습니다.따라서 장애가 발생할때 대응하기보다는 미리 실패하는 건에 대해서 추후 실행되도록 db나 큐에 넣어서 일정시간 이후 장애가 해소되고나면 실행할 수 있도록 준비해두는것이 좋습니다.

데브폐인 · Answer

모니터링 시스템 만들라는 얘기 같은데요.로그 모니터링이나 서버 정상 동작 유뮤 체크해서, 문제생기면 메일이나 sms alert 추가하라는걸로 이해됩니다.서비스에 모니터링은 필수죠.

kenu,전독시 · Answer

1.&#96; 상급자는 코딩 안하나요? 어떻게 보완했는지 힌트도 안 주고 줄 수도 없네요.2.&#96; push를 보내는 기능 자체가 실행이 안 됬으면 이를 파악하고 다시 push를 보내는 기능을 실행할 수 있게 해라. ->> 저라면 redis 같은 queue 시스템 추가를 요청할 것 같습니다. 비즈니스는 중요하니까요.그리고 테스트로 상급자는 비개발자여서 상급자에게 마구 보내고 싶네요. 초당 두부 같이 2/sec번씩요.image from: https://e.kakao.com/t/you-are-the-bestsarcastic-messages

서버 내 특정 기능에 대한 장애 조치 관련 선배님들의 의견 여쭤봅니다.

4개의 답변

#failover 목록