AWS - WAS 실시간 트래픽 오토스케일링 문제 아이디어

Question

안녕하세요회사에서 AWS 클라우드 환경에서 실시간 요청을 받는 WAS를 운영하고 있습니다.WAS가 하는 일은 사용자의 요청이 들어오면 처리 후 특정 페이지로 랜딩을 시키는 작업인데요.유저 요청에 대해 밀리세컨드 단위로 처리되어서 응답해야 하는 WAS 인 만큼 트래픽이 피크로 튈 때에 대비하여 인스턴스 수십대를 여유롭게 띄워놓고 있습니다.하지만 평소에는 낭비되는 인스턴스 비용이 많다보니 오토스케일링이나 다른 서비스를 통해 이를 줄일 방법이 있을까 고민을 해보았습니다.하지만 갑자기 평소보다 많은 요청이 들어왔을 때 인스턴스가 여유롭게 떠있지 않다면 유저 입장에서 지연처리가 될 것이기 때문에 방법을 찾기가 힘들었습니다.실시간 처리를 해야 하는 WAS 를 띄워놓을 때 인스턴스 비용을 줄이면서도 피크 요청이 들어왔을 때는 그에 맞춰 안정적으로 대응할 수 있는 방법이 AWS 상에 있는지 궁금합니다.

밥도둑계장 · Answer

오토 스케일링 하게 되면 자연적으로 해결되는 문제 아닌가요??대상 서버의 cpu 사용률 또는 트래픽 요청횟수 , 메모리 사용량 등을 감시 하다가, 요청이 증가하면 인스턴스 갯수를 늘려 주는게 오토 스케일링 으로 알고 있습니다만..

Dan! · Answer

네 맞습니다 오토스케일링이 그런 역할인 것인데 인스턴스가 프로비저닝되고 로드밸런서가 헬스체크를 해야 하는 시간이 있기 때문에 결국은 2-3분이 지나서야 요청에 대한 응답이 가능하다고 생각되었습니다.제가 궁금한 부분은 실시간 처리 즉 지연 없이 반응해야 하는 경우에 갑자기 순간적으로 평소보다 훨씬 많은 량의 요청이 들어온다면 지연처리가 될 수 밖에 없는 것인지 따라서 지연처리를 없애려면 항상 트래픽이 들어올 수 있는 최대 범위를 커버할 수 있는 수준으로 인스턴스 수를 맞춰야 하는. 그런 비효율적인 구조로 가야하는 것인지 입니다.핵심은 오토스케일링을 통해 증설된 서버가 순식간에 요청을 받을 수 있는 상태가 되는 방법이 있는지 일 것 같습니다.

애리밍 · Answer

순간적인 트래픽 처리는 기본 정책 오토스케일링으로 불가능 합니다. 그나마 좀 대응 가능한 구조가 큐로 받아서 큐 내용에 따라 유동적으로 조정 하는 방식이긴 한데 레이턴시는 낮겠죠. 그렇다고 api gateway와 Lambda로 바꾸자니 공수가 너무 많이들고... 혹 일정한 패턴이 있다면 스케일링 예약을 걸수 있습니다. 9시부터 18시 또는 20시까지만 기본 대수 늘려놓고 새벽에 줄이고 하는 형태로 운영이 가능하긴 합니다

밥도둑계장 · Answer

음 기본정책 말고임계값을 좀 낮게 잡아서 바로 인스턴스 프로비저닝 시키고, health check 간격과 주기를 짧게 잡으면 1분 이내에 응답이 가능한걸로 알고 있습니다. 1분정도의 대기도 힘들다면 큐 사용해서 대기열을 쌓고 대기열 사용기간동안오토스케일링 후 순차적으로 처리해주는 방식은 어떨까요?

kenu,전독시 · Answer

해당 게시물은 관리자에 의해 Tips & 강좌에서 Tech Q&A로 이동 되었습니다.

AWS - WAS 실시간 트래픽 오토스케일링 문제 아이디어

5개의 답변

Q&A 목록