Spring Batch 기반 데이터 추출 파이프라인 개발 시 노하우& 팁 등등 공유해주실 분 있을까요?

Question

현재 회사에서 약 1000만 건 이상의 데이터를 요구받아 요구된 데이터를 추출하는 기능을 개발하려고 합니다.요구파일이 전문형식이라 전문파일을 파싱해야 하고, 추출결과도 전문형식의 파일로 만들어서 제공해야 하고, 무엇보다도 애플리케이션 서버와 디비 서버 모두 메모리가 터지는 이슈 없이 안정적으로 추출하도록 하려고 합니다.찾아보니 스프링 배치가1) 청크 기반 핸들링 제공2) 실패 지점부터 재시도 가능3) 전문파일을 파싱하는 reader와 전문파일을 만드는 writer 구현체를 제공한다고 해서 사용하는 걸 검토하고 있는데요. 장점도 있겠지만.. 아무래도 시스템이 갖고 있는 스프링 버전이 4버전대라 스프링 배치를 최대 3.0.10을 쓸 수 있는 상황이기도 하고, 팀 내에서 스프링 배치를 처음 도입하게 되는만큼 개발이나 운영 과정에서 혹시 모를 이슈들이 없을까 걱정되는 상황입니다.아무래도 저랑 비슷한 상황에서 스프링 배치를 써보신 분들이 있다면 스프링 배치의 장점으로 어떤 걸 느끼셨는지, 안정성을 위한 노하우 등이 있다면 공유해주실 수 있을지 궁금합니다.또한 스프링 배치 사용시 메타 테이블들을 따로 만들게 된다고 들었는데요! 워크로드마다 상이하겠지만 얘네들이 용량을 많이 차지하게 되는지, 트랜잭션이 많이 발생한다면 insert update delete 비중이 대략적으로 어땠는지도 들어보고 싶습니다.다들 바쁘시겠지만 한번씩만 얘기해주시면 너무 고맙겠습니다!!

천사와악마 · Answer

배치모듈을 웹 어플리케이션과 통합하려 하지말고 별도 구동으로 설계하시는 거 추천이요

집킨 · Answer

스프링 배치가 요구하는 메타 데이터들은 어떤 잡의 어떤 스탭이 실행됐고 실패했는지에 대한 로그가 대부분입니다테이블 갯수도 그리 많지 않아요워크플로우에 따라 설계가 달라서 도움되는 답변은 못드리지만 수천만건이면 Pagable한 reader로 처리해야할겁니다그리고 잡은 병렬로 실행돼야겠죠인덱스는 필수구요

Spring Batch 기반 데이터 추출 파이프라인 개발 시 노하우& 팁 등등 공유해주실 분 있을까요?

2개의 답변

Q&A 목록