OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
spring-batch
전체
최신순
질문하기
답변
2
정말잘하고싶은사람
·
7개월
809
0
답변 2
Spring Batch 기반 데이터 추출 파이프라인 개발 시 노하우& 팁 등등 공유해주실 분 있을까요?
현재 회사에서 약 1000만 건 이상의 데이터를 요구받아 요구된 데이터를 추출하는 기능을 개발하려고 합니다. 요구파일이 전문형식이라 전문파일을 파싱해야 하고, 추출결과도 전문형식의 파일로 만들어서 제공해야 하고, 무엇보다도 애플리케이션 서버와 디비 서버 모두 메모리가 터지는 이슈 없이 안정적으로 추출하도록 하려고 합니다. 찾아보니 스프링 배치가 1) 청크 기반 핸들링 제공 2) 실패 지점부터 재시도 가능 3) 전문파일을 파싱하는 reader와 전문
답변
1
se0nghyun2
·
약 1년
366
0
답변 1
Multi Thread 환경의 Spring Batch에서 ItemReader단에서 연관매핑된 컬렉션들을 조회하는 방법에 대한 고민
Multi Thread 환경의 Spring Batch에서 ItemReader단에서 연관 매핑(@OneToMany 단방향)된 컬렉션들을 조회하는 방법에 대한 해결책을 찾고 있다. (ItemReader 구현체는 JpaPagingItemReader) 연관관계를 가진 엔티티는 아래와 같다. @Entity public class FreeSubNotiEntity { @Id @GeneratedValue(strategy =
답변
0
dyfor
·
1년 이상
354
0
답변 0
Batch 성능
Jenkins에서 파라미터로 Spring Batch에 pageNo이라는 인자에 주입하고 Tasklet 인터페이스를 implements한 커스텀 tasklet에서 공공데이터 포털 api를 호출하여 데이터를 가져오고 이를 db에 적재를 하려고 합니다. Job을 1번 실행하면 Step도 1번 실행하는 방식인데 1번 배치 사이클이 끝나면 pageNo을 1 증가해서 다시 배치를 돌리는 방식입니다. 그래서 아래와 같이 2가지 구현을 생각했습니다. Job은 1번
답변
0
dyfor
·
1년 이상
246
0
답변 0
Spring Batch 서브넷
Spring Batch용 서버, 일반 서비스 Spring 서버로 총 2개를 서버를 띄우려고합니다. 원래는 private subnet에 Spring 서버들을 두는게 맞지만 Nat Gateway 등 비용적인 측면에 일반 서비스 로직이 담긴 Spring 서버를 public subnet에 위치해두려고합니다. Batch 서버는 DB에 데이터를 적재하지만 공공데이터 포털 API를 호출해서 DB에 적재합니다. 그래서 Nat GateWay나 Nat Instance를
답변
1
dyfor
·
1년 이상
351
0
답변 1
Spring batch 메타 테이블, 도메인 테이블 분리
Spring Batch를 공부중입니다. MySQL을 이용할건데 스키마를 분리하여 메타 테이블, 도메인 테이블을 분리를 하더라구요. 블로그를 보면서 확장성과 안정성 측면에서의 이점들에 대해서는 알게되었습니다. 이점은 알았는데 실제 현업에서는 어떻게 이용하시는 지 궁금합니다. Batch를 할 때 메타 테이블, 도메인 테이블을 거의 분리하나요? 아니면 하나의 스키마로 테이블로만 분리를 하나요? https://velog.io/@gnivy303/Sp
답변
2
dyjvdgjm
·
1년 이상
632
0
답변 2
스프링 API 서버와 Batch 서버 분리 방법
한 서버 내에서 Spring Boot API 서버와 Spring Batch 서버를 같이 돌리게 될 경우 배치 작업을 돌리면서 서버 성능 이슈가 발생한다고 알고 있는데, 그렇다면 Spring Boot API 서버 프로젝트 하나, Spring Batch 서버 프로젝트 하나 이렇게 두 개로 분리해서 개발하시나요? 아니면 또 다른 방법이 있나요?(지금으로선 생각나는 방법이 이 방법과 Gradle Multi Module 뿐입니다)
답변
1
뿌그킹
·
1년 이상
505
0
답변 1
Jenkins를 통해 Spring Batch Job을 실행한 후에 종료가 되지 않는 이슈...
안녕하세요. Spring Batch를 통해 주기적으로 돌아가는 서비스가 하나 있습니다. 서비스에 이상이 발생시에 알람을 위해 Teams 웹훅 발송 요청을 하게 되는데요. 이때 Feign으로 Post Request를 날려서 메세지 발송을 요청합니다. 근데 꼭 이렇게 메세지 발송 작업이 있고난 후에는 jenkins 잡 종료가 상당히 지연됩니다. 한 10분 정도.. 로그를 보면 10분동안 아무런 동작이 없다가 okhttp3.internal.http2.Htt
해결
1
우헤헤헤헤
·
1년 이상
344
0
해결 1
spring batch에서 chunk를 중간에 완료하는 방법
안녕하세요 선배님들 spring batch에서 batch를 모두 실행하지 않고 중간에 완료하는 방법이 궁금합니다 예를 들면 job은 1개의 step으로 구성되어있고 reader → processor → writer 구조일 때 reader에서 100건을 읽으면 reader → processor → writer이 100번 실행됩니다 그런데 중간에 조건을 넣어서 100번보다 적게 실행되게 할 수 있을까요? 아마 processor단에서 구현해야될 것 같은
답변
3
ksoeos
·
거의 2년
255
0
답변 3
Spring batch5 tasklet 접근 문제
안녕하세요 Spring batch5로 개발을 시작하려고 합니다. 코드가 private final String JOB_NAME = "batch"; @Bean(JOB_NAME) public Job job(PlatformTransactionManager platformTransactionManager) {<!-- --> return new JobBuilder(JOB_NAME, jobRepository)
답변
1
항상초보
·
거의 2년
320
1
답변 1
SpringBatch에서 파일을 읽어서 DB에 등록할 때 특정 단어로 시작하는 줄은 처리되지 않게 하는 방법 없을까요?
txt파일의 H로 시작하는 라인과 T로 시작하는 라인은 DB에 넣지않게 처리를 해야되는데요. 아래 소스(질문용으로 정리한 거라서 job/step/변수 이름이 틀릴 수 도 있습니다.)에서 밑줄처진 부분의 소스를 넣으면 등록처리가 아예 안됩니다. H로 시작하는 라인과 T로 시작하는 라인은 data길이도 틀려서 DEFAULT_FIELD_LENGTH_ARRAY 맞춰 자르는 소스를 실행하면 안되서 해당 부분에 넣은 건데... 어떻게 해야할까요?? @
답변
1
jacomyou
·
약 3년
387
0
답변 1
스프링 시큐리티, 스프링 배치 공부
현재 대학교 4학년인데 스프링 시큐리티, 스프링 배치 공부를 어떻게 하면 좋을지 모르겠습니다. 다들 혹시 어떻게 하셨나요?
해결
3
okoki
·
3년 이상
707
0
해결 3
배치 insert 성능
회사에서 정산 배치를 사용하는데보통 2만건 수행하는데 얼마나 시간이 소용되는게정상일까요.. 외부API 조회 후 insert 작업을 하는데2만건 치는데 몇십분? 한 20~30분걸리는데 너무 느린건지보통인지 다른 곳에선 이런 작업을 안해봐서어느정도인지 가늠이 안가네요..배치는 spring batch를 사용하고 DB는 오라클19c를 사용합니다.mybatis를 쓰고 API 통으로
답변
1
몽달아부지
·
3년 이상
510
0
답변 1
Spring Batch Test 중 BeanDefinitionStoreException 에러 질문입니다!
현재 Spring에서 Batch Test 를 하는 중 BeanDefinitionStoreException 이 발생했는데 저의 서칭 능력으로 점점 산으로만 가다가 질문드립니다 ㅠpre s
답변
1
아잉헝잉훙헝
·
3년 이상
289
0
답변 1
spring batch 종료
spring batch 하고 완료되면 서버 shut down이 자동적으로 되는거 아닌가요 ?샘플 따라서 했는데 다른데는 자동종료되는데 안되서 질문드립니다
답변
0
쥐팍
·
약 5년
534
0
답변 0
Spring batch, Kafka를 활용한 프로젝트 뭐가 좋을까요
2인 프로젝트를 진행해보려고 합니다. front, back을 나눠서 진행 예정이고 저는 backend를 맡을 예정 입니다.Srping batch, kafka를 이용해서 대용량 데이터를 처리하는 프로젝트를 진행하고 싶은데..마땅히 떠오르는게 없어서 질문을 남기게 되었습니다.혹시 좋은 아이디어 있을까요?
답변
2
믿음직
·
6년 이상
853
0
답변 2
스프링 배치 실행 시 메타테이블 INSERT
하루에 한건 도는 스프링 배치 실행 시 배치 메타 테이블의 exit_code : UNKNOWN status : STARTEDend_time은 아무 값도 들어 있지 않는 상황이 발생했습니다.서버 로그에는 아무 익셉션도 뜨지 않았구요...해당 상황이 벌어진 일자 이후로 해당 배치만 계속 돌지 않는 상황이였습니다.혹시 왜 저런 현상이 발생하는 지 아시는 분 계신가요
답변
1
javaing
·
10년 이상
2.5k
0
답변 1
jsp 책 추천
남는 시간에 짬짬이 웹을 계속 공부해야 할것 같아서 책 추천좀 부탁드립니다.지금 보고있는 책은 스프링 프레임워크 워크북 - 박재성스프링 인 액션두권인데요. hibernate와 스프링 배치도 공부를 해야 할것 같은데 좀 쉽게 설명되어있고 예제가 많은책 추천 꼭 부탁드립니다.미리 감사드려요
Search Bar
