두 시스템간의 데이터 비교 후 동기화 처리 관련

Question

두 시스템간의 데이터 동기화 관련해서 효율적인 방법을 문의드립니다.예) 인사정보를 동기화(새벽 하루한번) 한다고 가정했을때(5,000건 이하데이터) - A시스템(원천시스템) : 신규/수정/삭제 발생 - B시스템(동기화 필요시스템) : 최근 동기화 데이터 유지 ( A시스템 -> B시스템 ) 방식1) DB에서 처리 - 원천데이터가 있는 A시스템 전체 데이터를 읽어 B시스템 DB TEMP테이블에 적재 - B시스템 DB TEMP테이블 하고 동기화 원 테이블하고 MERGE JOIN(신규/수정/삭제) 반영처리 방식2) 자바 서버단에서 처리 - A시스템, B시스템 각각 전체데이터를 리스트객체형태 결과로 가져온다. - A시스템, B시스템 for 문 또는 객체 데이터 비교하여 (신규/수정/삭제) 분기하여 반영처리 위에 두 가지 방식중에 어떤게 실무에서 효율적일까요?만약 자바처리 할 경우 for문 돌리는게 데이터건수가 많고 그러면 효율이 많이 떨어질것 같은데요.보통 어떤식으로 리스트 객체의 데이터를 건 바이 건 컬럼이 적을수도 있는데 많은면 20~30개 되는 경우각 데이터가 변경되었는지 체크해서 (신규/수정/삭제) 반영처리하는지 궁금하네요.

아슈 · Answer

A테이블에 트리거를 걸어서(생성, 수정, 삭제시) TEMP테이블에 넣습니다. ID는 순차적으로 생성할수있도록 하시구요. CRUD를 속성으로 해서 처리된 내역을 적재합니다.B테이블은 TEMP를 읽어들여서 처리안된 내역을 B테이블에 반영하고 TEMP에 처리여부를 Y로 합니다.깔끔하쥬.아 그런데 5천건 이하엿군요. 그럼 솔직히 아무렇게나 해도됩니다 ㅋㅋㅋ 앞으로 늘어나도 1만건을 안넘을정도라면 저같으면 걍 귀찮으니 DELETE INSERT 처리해버리겠습니다. 5천건이면 그렇게 해도됩니다.가벼운 기능에 효율성을 생각하지 마세요. 효율성 < 간편함이 우선이라면 간편한게 좋습니다. 나중에 다른사람이 파악하기도 수정하기도 쉽죠.

작별왕바이킹 · Answer

동기화 테이블에 '타겟 테이블', '마지막 동기화 일시' 컬럼 만든다.(소스) A/ (타겟)B 테이블에 '동기화일시' 컬럼을 만든다.A에서 트랜잭션이 일어나면 '동기화일시' 컬럼 값을 변경한다.B테이블이 있는 시스템에서 스케줄러 실행 시 B의 '마지막 동기화 일시'를 가져와 조건절에 넣는다.ex) where '동기화일시' > '마지막 동기화 일시'가져온 데이터(A)의 삽입/수정/삭제 플래그에 따라 B 테이블에도 작업한다.동기화 테이블에 '마지막 동기화 일시' 업데이트 한다.

김동찬 · Answer

b시스템이 read only일경우, replication이 선택지에서 가장좋을듯 합니다.

캐티 · Answer

두 시스템은 쉬운 편이어요.주로 크론잡으로 처리하지 않겠나요. 서버에 특정 경로 쪽으로 수신을 하여서 처리 할 수도 있을 것이어요.동기화 기법은 여러가지가 있을 수 있는데 .. 요구 조건에 따라서 상당하게 달라지는 것이어서 실시간이 아니면 예약된 시간에 실행되는 크론잡이 가장 나을 것이어요.데이터 건수가 많은 것이 무슨 상관이겠나요. 데이터베이스에 기본 키를 교환하여 동기화 할 레코드를 파악하고 적절하게 추가, 삭제, 편집을 가하면 되는 것이어요.상당하게 지난 아카이브 데이터도 추가 ,삭제 편집이 이루어진다면 이것은 별도에 수정이력 테이블을 만들고 처리하는 것이 좋아요.이렇게 고려할 것이 많기 때문에 정말로 대충 해도 되는지 좀 더 생각 해보는 것이 좋겠어요.

두 시스템간의 데이터 비교 후 동기화 처리 관련

4개의 답변

Q&A 목록