스프링 스케쥴링 중복실행방지 해결관련

Question

안녕하세요. 여러분들의 조언을 얻고싶습니다.제가 관리중인 스프링 프로젝트가 있습니다.스프링3.0 버전이며 스케쥴러를 통해매일 1~2회 정도 실행하는 배치와매 5초마다 발생하는 배치등 10개 정도의 배치가 작동하고 있습니다.여태까지 잘 사용해왔지만, 도커기반의 환경으로 넘기면서replica 설정을 하게되니, 배치가 중복실행되는 문제가 발생할 것으로 예상됩니다.이런 중복방지를 위해 나온 솔루션들이 있는 것 같고,Shedlock 이라는 API도 있던 것 같은데 자바 버전이 안되어서 사용을 못합니다.또 대단한 중복 실행방지가 아니기 때문에, 그냥 제작하는 것이 간편하겠다고 생각했습니다. 중복실행을 방지하기 위해 제가 생각해본 솔루션은 이것입니다.나름의 Mutex(?) 를 만드는 것인데, DB에 테이블 하나를 두고 거기에 쓰기(lock)에 성공한 노드만실행시키도록 통과시키는 것입니다.실행이 완료되는 시점에는 unlock을 하는 것으로요.if(lock() > 0) { job(); unlock(); } public int lock() { int affect &#61; ROW_WRITE(); //PK제약조건에 의해 쓰기 실패하면 0이하 리턴 return affect; } public int unlock() { int affect &#61; ROW_DELETE(); return affect; }대략 이런식입니다. 그런데 한가지 드는 고민은, 쓰기를 할때 제약조건이 PK제약조건인데 DB PK제약조건에 의존하는 것입니다.PK제약 조건은 DB레벨에서 보장되는 방법이기때문에 확실한 방법이라고 생각합니다.그래서 이 방법으로 구현중인데,어찌보면 PK제약조건에 위배되어서 쓰기권한을 얻지 못하는 과정중에DB입장에서는 엄연한 에러발생이지 않습니까?이것이 어떤 좋지 않은 영향(성능, 기타 제가 모르는 문제)을 가질까 싶어 올바른 구현방향인지에 대해 조언을 구하고 싶습니다. 더 좋은 방법이 있다면 알려주세요.

초무쿤 · Answer

보통 배치의 경우는 active - standby로 운용하는게 보통인듯 합니다. (그래서 처음부터 기본적으로 웹어플리케이션이 어려대 클러스터링 된 환경에서는 배치관련 어플리케이션을 따로 두는 경우가 많구요.)DB기반으로 동기화하는 방법은 운용하면 의외로 문제가 많이 생깁니다. (예를 들어 00시00분00초에 스케줄링 해놓은 배치가 동시에 들어오면 노드들간에는 synchronized 되지 않아서 시점차로 중복실행할 가능성이 존재하는듯 하네요.)경험상에는 기존에 분산처리 고려않되서 배치프로그램이 웹어플리케이션않에 녹아있는 경우프로그램을 수정해서 1대만 batch 가 enable 되도록 하고 나머지 분산처리된 서버에서는 그냥 서비스만 하도록 수정한적이 있긴합니다만..어떤배치로직이냐에 따라 다를듯합니다.분산된 모든 노드에서 실행되어야되는 성격의 배치인데... 동시수행되면 안된는 그런 성격이라면.Mutax같은 구조를 db기반으로 하시는거 보다clustering queue를 한번 도입해보시는것도 하나의 방법인듯 합니다. (db쪽은 commit문제로 동시간때 문제가 생길수 있습니다. )

twinmoon · Answer

윗분 말씀처럼 배치 업무가 어떤 내용인지에 따라 구현이 달리 할 수 있을꺼 같아요.배치 자체가 절대로 하나만 동작해야 하는거라면 active-standby로 동작해야 할 것이구요.배치는 동시에 실행되도 중복되지 않는 데이터를 처리할 목적이라면 처리할 데이터를 얻는 로직 단에서 중복되지 않는 데이터를 리턴하도록 하여 각각의 배치가 다른 데이터를 처리하도록 하면 될 것 같습니다.예를 들면 배치 서버가 2대 인 경우 1번은 홀수만, 2번은 짝수만 리턴되게 할 수 도 있겠구요.아예 처리할 데이터 영역을 서버별로 분리 해도 되고, top 100 식으로 끊어서 리턴 되도록 할 수 도 있겠네요.

ondemand · Answer

#초무쿤#twinmoon 초무쿤님, twinmoon님 의견주셔서 감사합니다.배치의 성격은 1. 원격파일읽기 -> 가공후 DB에 쓰기2. 로그DB 읽기 -> 가공후 DB에 쓰기3. 다른 웹서버와 통신 -> 결과 DB에 쓰기 이정도입니다.결국 배치관련 어플리케이션으로 분리하는 것이 맞을 것 같습니다. #초무쿤 DB기반으로 동기화하는 방법은 운용하면 의외로 문제가 많이 생깁니다. (예를 들어 00시00분00초에 스케줄링 해놓은 배치가 동시에 들어오면 노드들간에는 synchronized 되지 않아서 시점차로 중복실행할 가능성이 존재하는듯 하네요.) &#61;> 이 부분은 생각했던 부분입니다.예컨대, 아주 짧은 시간동안 일어나는 job일경우,A노드 : 0초에 실행 0.1초에 종료B노드 : 0.2초에 시작 0.3초에 종료말씀하신대로 결국 2번 실행되는 결과가 나오게되겠지요. 그래서 저는 atLeastFor 시간을 설정하여 Lock이 되는 최소시간을 설정할 생각입니다.배치 실행타임에 따라 최소 Lock이 유지되는 시간을 줘서중복실행을 최대한 막을 수 있을 것이라는 생각입니다.A노드 : 0초에 실행, Lock(최소 1분유지, 비동기로 unlock) 0.1초에 종료B노드 : 0.2초에 시작, Lock얻지 못함. 실행없이 return 경험상에는 기존에 분산처리 고려않되서 배치프로그램이 웹어플리케이션않에 녹아있는 경우프로그램을 수정해서 1대만 batch 가 enable 되도록 하고 나머지 분산처리된 서버에서는 그냥 서비스만 하도록 수정한적이 있긴합니다만..&#61;> 사용량에 따라 1대가 될 수도 있고, 3대가 될 수도 있는 Scalable 클라우드 환경이니,특정 노드만 enable하는 다른방법을 찾아봐야 할 것 같습니다.사실 그 방법이 제가 질문드렸던 방법입니다. 분산된 모든 노드에서 실행되어야되는 성격의 배치인데... 동시수행되면 안된는 그런 성격이라면.Mutax같은 구조를 db기반으로 하시는거 보다clustering queue를 한번 도입해보시는것도 하나의 방법인듯 합니다.&#61;> 이부분은 잘 몰라서 공부해보아야겠습니다. (db쪽은 commit문제로 동시간때 문제가 생길수 있습니다. )&#61;> 그럴수가 있나요..? 유일성이 '보장'된다고 생각하는데요.

ondemand · Answer

#twinmoon윗분 말씀처럼 배치 업무가 어떤 내용인지에 따라 구현이 달리 할 수 있을꺼 같아요.배치 자체가 절대로 하나만 동작해야 하는거라면 active-standby로 동작해야 할 것이구요.&#61;> 조언감사합니다. 사실 따로 어플리케이션 하나로 빼서,active-standby로 구현하는 것이 맞는 방법같습니다. 배치는 동시에 실행되도 중복되지 않는 데이터를 처리할 목적이라면 처리할 데이터를 얻는 로직 단에서 중복되지 않는 데이터를 리턴하도록 하여 각각의 배치가 다른 데이터를 처리하도록 하면 될 것 같습니다.예를 들면 배치 서버가 2대 인 경우 1번은 홀수만, 2번은 짝수만 리턴되게 할 수 도 있겠구요.아예 처리할 데이터 영역을 서버별로 분리 해도 되고, top 100 식으로 끊어서 리턴 되도록 할 수 도 있겠네요.&#61;> 1대인지 2대인지 3대인지유동적으로 늘어날 수 있는 부분입니다.개수가 정해져있다면 서로의 역할을 구분하여 협업하게 하는 법도 생각해보겠지만,그런상황이 아닌지라 1대만 일하게 하는 방식을 생각했습니다.말씀하신 것과 유동적으로 서버클러스터링 갯수가 변하는 상황에서적용하려면 manager역할이 있어서 현재 구동중인 노드의 갯수를 파악하고그에 따라 배치를 나누어 하는 형식이 될텐데요.그게 과연 옳은 것인지.. 의문이 듭니다.

twinmoon · Answer

1대만 일하고 나머지는 대기로 있는 것을 고려하신다면 일단 데이터 중복에 대해서는 생각하지 않으셔도 될꺼 같습니다.오히려 일하고 있는 서버가 죽었을 때 대기중인 서버가 우선순위에 따라서 1제일 첫번째가 Active되고 나머지는 Standby 상태에서 우선순위가 1씩 증가하도록 하면 될꺼 같구요.이런 관련된 오픈소스가 여럿 존재하는 것으로 알고 있습니다.오히려 대기중이였다가 활성화 되었을 때 앞에서 진행하던 업무가 잘 종료되었는지에 따라서 다음 업무가 이전 서버가 수행하던 업무를 다시 해야 할지, 다음 업무를 수행해야 할 지 결정짓는 주요 포인트가 될꺼 같습니다.어느 정도의 규모의 서비스일지 모르겠지만 스케일링 확장까지 고민하신다면 아키텍쳐가 복잡해지더라도 처리할 데이터를 제공하는 서비스와 데이터를 제공받아서 업무를 수행하는 영역을 큐 같은 것을 사용하는 것도 검토를 하시면 좋을꺼 같네요.

초무쿤 · Answer

분산된 모든 노드에서 실행되어야되는 성격의 배치인데... 동시수행되면 안된는 그런 성격이라면.Mutax같은 구조를 db기반으로 하시는거 보다clustering queue를 한번 도입해보시는것도 하나의 방법인듯 합니다.&#61;> 이부분은 잘 몰라서 공부해보아야겠습니다.Provider-Consumer 패턴을 프로그램에서 구현하는게 아니라 시스템적으로 구현하는 케이스로.(요즘 보통 pub-sub라고 많이들 이야기 하는 구조입니다.)1번 서버(Provider 또는 pub)에서 데이터 READ &#61;> 클러스터렁 queue 에 입력2번서버(Consumer 또는 sub)에서는 클러스터링queue 리스닝 &#61;> 처리건이 들어올 경우 take해서 처리.대용량 처리시에 이런 방법 많이 사용하는데.. 이건 애초 설계시부터 이렇게 설계되야 되는거라서 해당사항 없으실듯 합니다. (kafka나 redis,memcache 같은거 찾아보시면 나와용.)--------------------------------------------------------(db쪽은 commit문제로 동시간때 문제가 생길수 있습니다. )&#61;> 그럴수가 있나요..? 유일성이 '보장'된다고 생각하는데요.로직이 들어간다면 isolation 레벨에 따라서 문제가 될 가능성이 많습니다. (DB내부적인 LOCK문제)오라클은 별루 에러 안나는데 DB2같은 데이터베이스에서는 SELECT할때 오류도 발생하고 엉망이 되더군요. 예를 들어서 A고객에 대한 처리를 1번서버에서 , B고객에 대한 처리를 2번 서버에서 한다고 가정할 경우COMMIT안때린 경우 2번 서버에서 A고객에 대한 정보를 READ할 경우 에러 쫙... 뭐 이런 케이스인데.(UNCOMMIED READ 같은 옵션으로 해결은 가능하지만 좋은 방법은 아닌듯 합니다.)

스프링 스케쥴링 중복실행방지 해결관련

6개의 답변

Q&A 목록