이중화 서버 스케쥴링 생성 데이터 관리 질문

Question

안녕하세요,스케쥴링으로 자동으로 생성하는 데이터가 있는데이중화 서버다 보니 동시에 돌아가면 이슈가 발생 할 여지가 있는걸 알고 있습니다.이전에는 ShedLock을 쓰긴 했는데, 테이블이 하나 늘어나는거라 최후의 방법으로 채택할 예정입니다.당장 그것 외에 생각나는 방법은생성되는 데이터 Key를 스케쥴이 실행 날짜와 시간, 속성 등을 합쳐 Key로 생성해서중복 Key는 예외나도록 처리하여 그냥 무시하도록 하는게 제일 간단하지 않을까.. 하는데 어떤 사이드이펙트가 나타날지 모르겠네요.당장 생각나는건 ShedLock과 중복Key를 활용한 전략인데또 괜찮은 방법이나 중복 Key 전략에서 문제점이 될만한게 있을까요?

캐티 · Answer

분산 서버에 순차적인 처리를 부여하는 방법은 1/N씩 나누는 것이어요.1번 2번 3번 서버가 있는 경우 key % 3 == 0, key % 3 == 1, key % 3 == 2 처럼 각자 약속된 키만 처리하는 방식이 있어요.이러면 락을 걸지 않고 효과적으로 처리 할 수 있지 않겠나요.ai문답은 대략 이러하므로 좋은 참고가 될 것이어요.1번, 2번, 3번 서버에 대한 처리를 약속에 따라 key의 값에 따라 분기하는 것은 대부분의 경우 좋은 방법입니다. 이렇게 분기하여 처리하는 방식은 일반적으로 "분산 처리" 또는 "로드 밸런싱"이라고도 합니다.이 방식의 장점은 다음과 같습니다:1. 확장성: 서버를 추가로 확장할 때, 약속에 따라 key를 기준으로 분산하여 처리하면 각 서버의 부하를 균등하게 분산시킬 수 있습니다.2. 장애 대비: 특정 서버에 장애가 발생했을 때, 해당 서버에 할당된 key 범위를 다른 서버로 재분배하여 서비스의 지속성을 확보할 수 있습니다.3. 캐시 효율성: 분산 처리를 통해 서버의 부하를 분산시키면, 캐시의 효율성을 높일 수 있습니다. 특정 key에 대한 캐시가 한 서버에 집중되지 않고 여러 서버에 분산되므로, 전체 시스템의 캐시 히트율을 향상시킬 수 있습니다.따라서, 1번, 2번, 3번 서버에 대한 처리를 약속에 따라 분기하는 것은 대부분의 경우 좋은 방법입니다. 다만, 실제 구현 시에는 약속에 따라 분기하는 로직을 적절히 설계하고 테스트해야 합니다.

초무쿤 · Answer

보통은 배치나 백그라운드 성 작업들은 서버를 따로 둘텐데요. (온라인서버에 스케줄 작업으로 들어가면 이중화에 제약이 걸려서..)윗분 말씀대로 일종의 key%N.&#61; 나머지(sharding)으로 할수도 있는데 key라는 값이 또 각서버들이 알고 있어야되고 (이중화하가 꼭 N개로 정해진것도 아니라....) 하나가 장에가 나면 한개 shard는 또 누락이 되는 문제가 생겨서 관리포인트는 여전히 남아있게될거 같네요.보통은 이렇게 처리될거 같은데요.실행요청 -> [Weeb app] --(pub)-->[ Job Queue Server(kafka, MQ등)] <--(sub)--- [N개 Task Operator App (listen job queue)]

カワウソ · Answer

SELECT FOR UPDATE 으로도 Lock 구현을 할 수 있습니다.

이중화 서버 스케쥴링 생성 데이터 관리 질문

3개의 답변

기술 목록