분산 크롤링 시스템 아키텍처 고민

Question

분산 크롤링 시스템 아키텍처 고민... 조언 부탁드립니다 안녕하세요, 요양 서비스 관리 시스템을 개발하고 있는 백엔드 개발자입니다. 현재 크롤링 시스템 설계 단계에서 아키텍처 결정을 못하고 있어서 선배님들의 조언을 구하고자 글을 올립니다.현재 상황저희가 개발 중인 시스템은 정부 운영 외부 시스템(이하 "외부 API")에서 데이터를 주기적으로 크롤링해서 자체 DB에 저장하는 구조입니다.환경:요양기관: 2개소기관 내 PC: 2-5대 (Windows 10/11)각 PC에 공동인증서 설치되어 있음관리 대상: 약 N명기술 스택: Go + Echo + PostgreSQL(클라우드 DB)문제는 이겁니다: 기관 내 여러 대의 PC가 동시에 크롤링을 시작하면... 외부 API 서버에 동시 다발적으로 요청이 몰림 (rate limiting 걸림)DB에서 동일 데이터 중복 INSERT 시도 (conflict 에러)네트워크 병목 현상 발생처음엔 단순하게 생각했는데, 실제로 구현하려니 생각보다 복잡하네요...고민 중인 방안들방안 1: 그냥 전체 API를 2시간마다 크롤링장점: 구현 간단, 디버깅 쉬움 단점: 불필요한 API 호출 많음, 실시간성 떨어짐가장 단순한 방법인데... 출입 기록 같은 건 거의 실시간으로 확인해야 해서 2시간은 너무 길 것 같아요.방안 2: 데이터 중요도에 따라 Trigger + Schedule 혼합Trigger 방식 (실시간):출입 기록: 사용자 로그인 시 즉시계약 변경사항: 변경 이벤트 발생 시Schedule 방식 (배치):청구 데이터: 매월 1-5일 오전직원 정보: 매일 새벽 2시이게 제일 합리적인 것 같은데, 구현이 복잡할 것 같아서 망설여집니다.질문 정리기관 내 2-5대 PC 환경에서 분산 크롤링을 효율적으로 하려면 어떤 아키텍처가 적합할까요?실시간성이 중요한 데이터(출입 기록)와 그렇지 않은 데이터를 분리해서 처리하는 게 맞을까요? 아니면 통일하는 게 나을까요?Windows Service로 배포 예정인데, 각 PC에서 실행되는 크롤러 간 조정(coordination)은 어떻게 하는 게 좋을까요?혹시 비슷한 경험 있으신 분 계신가요? 어떻게 해결하셨는지 궁금합니다.

rockbach · Answer

제일 간단하게는 크롤링하는 서버(PC)가 동시에 안하게 스케줄을 조정하면 되겠죠. DB conflict도 해소될겁니다. 그리고 한 PC에서 크롤링 작업이 외부 API를 몇번 호출하는지는 모르겠습니다만 느낌이 계속 쉬틈없이 API를 호출하니 rate limit가 발생한다면 API 호출시에 인터벌을 두는게 좋겠습니다.1. PC들이 동시에 실행안되게 스케줄 조정 (1번 PC, 정각, 2번 PC 10분, 3번 PC 20분 등등)2. 한 트랜젝션 처리후 인터벌을 두고 다음번 트랜젝션 수행(API가 한 트랜젝션에서 한번 호출된다고 가정)

뭐라이름을지을지모르겠어Yo · Answer

제가 어떤말인지 잘 이해가 안가는데요.정부 운영 외부 시스템(외부 API)에서 크롤링한다는게 무슨말인지 이해가 안됩니다.외부 API에서 요청해서 JSON/XML 데이터를 받아온걸 다시 크롤링한다는말인지, 아니면 외부 사이트에서 크롤링을 해온다는 말인지 헷갈리네요.외부 API에서 데이터를 받아오는 경우라면 여러 고려사항이 있습니다.병렬처리로 1번에 몇건의 요청이 되는가? -> 제가 예전 공공데이터 API는 병렬로 16번 이상으로 요청하면 벤먹더라구요.1번을 지켜 계속해서 요청했을때 많은 요청을 할 시 외부 API 서버가 뻗는 경우가 존재합니다.일단 생각나는건 이 2가지입니다.크롤링의 경우도 비슷한 고려사항이 있습니다.아마 IP 기준으로 많은 요청이 들어올 경우 IP 벤을 먹이는 경우가 있습니다.크롤링의 가능여부와 데이터의 정합성 문제를 확인해봐야한다.이러한 부분들을 고려해봐야할듯합니다. 아마 이 외에도 더 고려할 사항이 있겠지만 잘 생각해보시면 될 듯합니다.모든걸 고려했을 경우 여러대로 크롤링 혹은 외부 API 호출을 해도 된다고 하였을 경우 메인 컴퓨터가 총 개수를 확인할 수 있으면 확인을 하는것이 좋습니다.그렇게 해서 메인 컴퓨터가 서브 컴퓨터들에게 나눠서 일을 지시하면 더 빠르게 되겠죠.이러한 경우는 중간에 데이터가 더 들어와 총 개수가 변하지 않는 경우에만 가능합니다.그리고 5대의 서버에서 얻은 것을 메시지 큐에 담아서 보내 데이터 정합성 확인을 하고 DB에 저장하면 될 듯합니다.이러한 것은 키를 지정해서 중복된 키가 들어오면 거르는 형식으로 하면 되지 않을까 싶어요.정확히 어떤 부분인지를 모르겠어서 1번쨰 질문에 대한 답은 패스하겠습니다.2번째 질문의 경우는 분리하는 것이 좋습니다.실시간성이 중요한 데이터는 실시간을 처리를 해야하지만, 그렇지 않은것은 굳이 실시간 처리를 할 필요가 없으니깐요.분리하는게 좋은 이유는 같은 성질의 데이터가 아닌 경우 처리하는 것과 리트라이, 레이트리밋 등 여러 상황을 고려해서 만들기가 어렵기 때문입니다.3번째 질문은 모든 PC에 에이전트를 설치해서 하는게 좋을듯합니다.

yeori · Answer

용어 정리가 안돼서 무슨 말인지 모르겠음크롤링 주체가 어디인가기관 내 PC 2-5대라는 거 같은데, 기관 별로 2-5대인지 다 합쳐서 그렇다는 건지 모르겠고갑자기 관리대상 N명이 나오는데 이게 뭔지 모름.외부 API서버데이터 중복이 기관별로 발생하는 건지, 모든 기관 내에서 중복 발생이 문제인지도 모르고다짜고자 두가지 방법 중 하나를 평가하라는데 작업의 맥락을 다른 사람들은 모름얼핏 보면rate limit을 초과하지 말 것중복 응답을 거를 것... 정도의 제약조건인 것 같은데 상세한 내용은 하나도 없음.

분산 크롤링 시스템 아키텍처 고민

3개의 답변

기술 목록