데이터베이스 join/스케줄러 insert값 누락현상 질문있습니다.

Question

질문있습니다!4개 데이터베이스에서 join해서 하나의 table에 insert해주는 프로시저를 생성하고, 작업스케줄러에 등록해서 30초마다 실행되게 했습니다. 문제는, 잘 작동하다가, 중간중간 insert가 누락되는 현상이 있는데, 스케줄러 시간을 1분으로 바꿔주니까 누락없이 잘 insert되네요. (이후에 확인해보니 1분으로 변경하고 1시간 30분동안 지켜본 결과, 중간에 1개의 행이 누락됐고,동일한 쿼리인데도 불구하고 같은 시간동안 30초마다 도는 스케줄러에서는 9개의 행이 누락됐습니다. 혹시 이런 케이스 본적 있으신가요? join이 되다가 컴퓨터가 insert연산을 수행하면서 발생할 수 있는 문제?이지 않을까 생각해봤는데, 이유를 잘 모르겠네요...

톰 · Answer

배치 실행중 조회대상 테이블 테이타가 변경되는 경우가 있는지 확인 필요할 듯 합니다.

xml개발자 · Answer

저는 데이터 연계작업을 많이 하는데일반적으로 다른 데이터베이스에서 한 번에 조인해서(DB링크) 쓰지는 않습니다. DB가 서로 다른 경우는 먼저 불러오는 DB의 테이블과 현재 내가 쓰는 DB에 동일한 테이블을 생성해줍니다.그 뒤 데이터를 동일하게 연계를 한 다음에 작업해줍니다. 성능은 둘째치고, 그래야 데이터 누락이 어디에서 일어났는지 확인할 수 있습니다.

j_dev_H · Answer

톰 혹시 제가 자세히 이해하지 못했는데, 현재 두개의 insert, update 스케줄러에서 해당 테이블에 접근하고 있습니다.그 외에는 데이터가 변형될만한 작업을 하지 않는데, 왜 스케줄러 시간에 따라 누락 데이터가 다른걸까요..?

j_dev_H · Answer

콘푸로스트실시간으로 데이터가 수집될 경우 여러 데이터베이스에서 trigger을 걸어서 현재 사용중인 DB에 계속 insert를 해주는 방식일까요?

오후 · Answer

배치시점의 서버(배치서버/db서버) 자원가용상태table lock 상태 등등 변수는 많습니다.

데이터베이스 join/스케줄러 insert값 누락현상 질문있습니다.

5개의 답변

Q&A 목록