외부 IO와 데이터베이스 간의 정합성 이슈

Question

안녕하세요. 현재 중소 기업에서 백엔드 직무를 맡아 개발을 하고 있는 1년차 뉴비 개발자입니다.다름 아니라 현재 마주한 문제를 깔끔하게 해결할 수 있는 방안을 생각해내지 못하고 있어서 조언을 구하고자 글을 작성하게 되었습니다.(저는 현재 Golang으로 서버를 개발하고 있습니다! 다른 언어에서라도 어떻게 문제를 해결하는지 궁금합니다!)먼저 문제를 설명드리겠습니다!특정 함수를 작성 중인데, 이 함수에서는 크게 2개의 작업을 수행합니다.첫 번째 작업은 다른 서비스에 A 리소스를 생성해달라고 요청하는 작업입니다. 만일 리소스가 정상적으로 생성되었다면 에러를 반환하지 않고, 만일 리소스를 생성하는데 실패한 경우 에러를 반환합니다.두 번째 작업은 생성된 리소스 정보를 데이터베이스에 저장하는 작업입니다.사실 첫 번째 작업이 실패할 경우, 데이터베이스에 저장할 내용이 없기 때문에 &#34;리소스 생성에 실패했습니다&#34;란 에러를 반환하며 함수를 종료하면 됩니다.문제는 두 번째 작업이 실패했을 경우인데, 이미 리소스가 생성되었기 때문에 해당 리소스에 대한 정보가 데이터베이스에 저장되어야 데이터베이스와 첫 번째 작업에서 접근하는 외부와 일치하게 됩니다. 그래서 전 만일 데이터베이스에 정보를 저장하는데 실패한 경우, 만들었던 리소스를 제거하는 롤백 작업을 수행하려고 생각했는데, 이번엔 &#34;만일 롤백 작업에 실패하면 어떻게 하지?&#34;란 생각이 들어버렸습니다.type TestService struct { clusterService ClusterService clusterRepo ClusterRepo } func (s *TestService) CreateResource(manifest string) error { err :&#61; s.clusterService.CreateClusterResource(manifest) // 리소스 생성 요청 if err !&#61; nil { return err // 여기서 발생한 에러는 문제 X } err &#61; s.clusterRepo.CreateManifest(manifest) // 리소스 생성에 사용한 정보 데이터베이스에 저장 if err !&#61; nil { return err // 이미 생성되었는데, 이대로 에러만 반환해도 괜찮은가? } }문제의 핵심은 2개 이상의 외부 IO 작업이 발생했을 때 이 둘의 정합성을 어떻게 보장해야 되는가 입니다.현업에서는 이러한 경우 어떻게 문제를 해결하는지 궁금합니다.긴 글 읽어주셔서 감사합니다!

집킨 · Answer

사가 패턴 검색해보셔요

캐티 · Answer

일반적으로 트랜젝션을 사용하여 롤백을 구현하므로 안전하게 처리될 것이어요.물음에 어떤 데이터베이스인지 맞춰보세요 이러면 맞을 확률이 얼마나 되겠나요.로직에 타임 아웃을 걸 수도 있고 직렬로 하지 말고 병렬로 구성을 할 수도 있었는데 이미 직렬 회로처럼 데이터베이스를 구축한 것이 원인이고 시행착오이지 않겠나 싶어요.위의 소스만으로 데이터베이스 사이에 연동인지 모르겠는데 대충 뭐 이렇게 되어야 하지 않겠나요.프롬프트: 위의 소스에서 리소스를 생성하고 추가 작업에 실패한 경우 리소스를 삭제하도록 하려면 어떻게 할까func (s *TestService) CreateResource(manifest string) error { // 리소스 생성 err := s.clusterService.CreateClusterResource(manifest) if err != nil { return err } // 추가 작업 err = s.clusterRepo.CreateManifest(manifest) if err != nil { // 추가 작업에 실패한 경우 리소스 삭제 defer func() { deleteErr := s.clusterService.DeleteClusterResource(manifest) if deleteErr != nil { // 리소스 삭제에 실패한 경우 로그를 남기거나 예외 처리할 수 있음 fmt.Printf("리소스 삭제에 실패했습니다: %v
", deleteErr) } }() return err } return nil }이렇지만 defer func는 빼도 될 것이고 원래 리소스 생성과 삭제는 오류가 발생하면 안되는 것이고 이렇다 하더라도 오류가 발생할 수 밖에 없는 특별한 이유가 있다면 예외를 별도로 로그에 남기고 문제점을 정리하는 서비스를 사용 할 것이어요.처음부터 완벽하게 하면 좋겠지만 음 .. 중소기업이 이런 로직 보완을 미리 하지 않았고 신입에게 맡겼으며 .. 일단 여기까지 해요!

Paimon · Answer

일종의 분산 트랜잭션으로 볼 수 있을 것 같은데요.. 저도 직접 처리해본 적은 없지만 키워드만으로 도움될까 해서 남기고 갑니다

엡실론 · Answer

배치나 메세지 큐를 씁니다. 리소스가 만들어지고 X 시간 후에도 데이터베이스에 정보가 없으면 리소스를 삭제 하는 식으로요.

mirheeoj · Answer

생성한 리소스는 클라이언트에 정보를 알려주기 전까진 어차피 접근이 불가능합니다. 따라서 롤백이든 뭐든 실패했을때는 이를 삭제큐에 차곡차곡 쌓아두고 주기적으로 삭제를 재시도하면 되겠죠. 그동안 생성된 자원을 못쓰는 것 외의 다른 페널티는 없게 됩니다. GC같은걸 생각하시면 되는 거죠. 만약 해당 리소스가 다른 요청에도 돌려쓸 수 있는 형태의 것이라면, 일단 실패를 리턴하되 생성한 리소스는 생성큐에 쌓아놓고 다음 번 요청이 들어왔을 때 써먹을 수도 있겠죠. 만약 미리 만들어놓을 수 있는 형태의 리소스라면, 미리 서버가 스스로 일정량을 생성해놓고 그걸 바로 리턴하는 방법도 있습니다. 서버 내부에서의 실패는 내부에서 주기적으로 재시도하면 될 것. 미리 생성해논게 다 떨어졌으면 그 때 에러를 리턴해도 되겠죠. 이런식으로 처리하면 최소한 '절반만 성공하는 상황'에 대한 고민은 덜 수 있습니다. 그러나 이 모든 전략은 각각의 상황에 따라 최적의 방법이 달라질 수밖에 없습니다. 이런 일반론에서는 리소스 생성에 소모되는 자원, 각 스텝의 실패확률, 시스템 자원 제약, 클라이언트가 요구하는 타임아웃 등등과 관련된 수많은 경우의 수를 전부 커버하기 힘드니까요.

외부 IO와 데이터베이스 간의 정합성 이슈

5개의 답변

기타 목록