OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
springbatch
전체
최신순
질문하기
답변
1
abbb
·
1년 이상
414
0
답변 1
SpringBatch 여러개의 csv 파일 다운로드 후 읽기
안녕하세요. 저는 지금 SpringBatch를 공부해보기 위한 목적의 개인 프로젝트를 진행하고 있습니다. Job A Step 1. csv 파일 다운로드 Step 2. 다운로드 받은 csv 파일 읽고 저장하기 Step 1은 어찌저찌 완료를 했고 1500개 정도의 csv 파일을 다운로드 받았습니다. 하지만 Step 2부터 어려움을 느끼고 있습니다. MultiResourceItemReader를 사용할까 했는데 모든 파일을 하나로 처리해서 파일 하나라도 실패
답변
1
se0nghyun2
·
1년 이상
345
0
답변 1
[Spring Batch] 일대다 연관관계 패치 조인과 페이징
<버전> Spring batch 5.1.2 spring boot 3.2.8 안녕하세요. chunk 기반 스프링 배치에서 아이템들을 읽을 때 문제가 있어 질의드리려 합니다. (ItemReader 구현체인 JpaPagingItemReader를 사용) 아이템을 조회 시 @oneToMany 연관관계 중 일을 기준으로 fetch join 시 페이징 되지 않더라구요. (좀 더 정확히는 애플리케이션 메모리에 올려두고 페이징을 함..) 소개된 해결
해결
1
우헤헤헤헤
·
1년 이상
344
0
해결 1
spring batch에서 chunk를 중간에 완료하는 방법
안녕하세요 선배님들 spring batch에서 batch를 모두 실행하지 않고 중간에 완료하는 방법이 궁금합니다 예를 들면 job은 1개의 step으로 구성되어있고 reader → processor → writer 구조일 때 reader에서 100건을 읽으면 reader → processor → writer이 100번 실행됩니다 그런데 중간에 조건을 넣어서 100번보다 적게 실행되게 할 수 있을까요? 아마 processor단에서 구현해야될 것 같은
답변
1
ksoeos
·
거의 2년
243
0
답변 1
Spring batch 5 schedule 적용 시 reader 호출하는 방법
안녕하세요 spring batch5 로 배치를 개발하고 있습니다. 현재 문제 상황은 scheduler 를 설정을 하려고 하면 이미 reader에서 읽은 데이터를 그대로 다시 사용한다는 것입니다. scheduler을 돌면 reader에서 다시 데이터를 읽어서 사용할 줄 알았는데 현재 그렇게 되지 않고 있습니다.... 코드는 @Bean(JOB_NAME) public Job job(PlatformTransactionManager platformTra
답변
1
유랑
·
약 2년
410
1
답변 1
Spring Boot jobParameters 질문
안녕하세요. 스프링 배치를 공부하고 있는 와중에 도저히 검색으로 찾을 수 없을 것 같아 질문드립니다. Spring Batch 5 버전을 공부하고 있는 와중에 아래와 같이 Parameter Argument를 아래와 같이 작성하고 filePath 정보를 가져오는 것을 @Value를 이용하여 가져오는 방법인데.. 강의를 보면 아래와 같이 @Value("#{jobParameters[filePath]}")를 이용하여 정보를 잘 가
답변
2
왕밤식빵
·
약 2년
490
1
답변 2
스프링배치 관련 아주아주 기본 질문입니다ㅠㅠ (with stream 문제)
우선 현재 상황은 강의보면서 spring batch 기초를 진행하고 있는데 배치가 5로 업그레이드되면서 강의의 배치 버전과 달라져서 일부는 구글링하면서 따라가고 있습니다... 아직 stream을 안배워서 아래 빨간줄이 떴을 때 어떤부분이 잘못된지 계속 못찾아서 질문 남기게 되었습니다(챗지피티4한테 물어봤는데 질문요령이 없는건지 인텔리제이 재시작과 캐시삭제만 추천해서 해봤으나 여전히 안됩니다!) 혹시 어떤 방향으로 수정하면 될지.. stream을 잘못사
답변
1
real7lucky
·
2년 이상
488
0
답변 1
스프링배치 19기가 MysqlDB 조인시 타임아웃
DB에서 해당쿼리시 47초 밖에 안걸리는데, 아무래도 scan데이터 범위가 크다보니 이슈가 있어보입니다. DB사이즈 줄이고 하니 되네요. org.springframework.batch.item.ItemStreamException: Failed to initialize the reader .. Caused by: org.springframework.dao.PermissionDeniedDataAccessException: Executing query;
해결
1
우헤헤헤헤
·
2년 이상
273
0
해결 1
Spring batch chunkSize 용도
안녕하세요 spring batch를 구현 중인데 SELECT 데이터가 160만건을 조회하고 INSERT해야 합니다 궁금한게 chunkSize라는게 10이면 160만건을 한번에 조회하고 row 10개씩 insert 하는걸까요? 아니면 10개 단위의 파라미터를 날려서 분할로 select, insert하는 것일까요 ? 어떤 사이트를 보니 commit 단위가 10이라는데 그럼 10개씩 commit한다는 것인데 160만건을 한번에 조회하고 들고
답변
2
Topy
·
거의 3년
420
0
답변 2
10만 개 UPDATE 쿼리를 실행 시 Kafka 와 spring batch 어떤 걸 써야 될까요??
외부 API에 요청을 보내면 1~250번의 호텔 데이터와 endpoint_01 (URL)이 날라옵니다. endpoint_01에 요청을 보내면 251 ~ 500번의 호텔 데이터와 endpoint_02 (URL)이 날라옵니다. . . (반복) . 이런식으로 약 10만 개의 호텔 데이터를 받아와서 DB에 update를 해야 하는 작업입니다. 이런 상황에서 Kafka 또는 Spring Batch 를 사용하면 작업처리 시간과 같이 최적화가 가능할까요??가능하
답변
2
FDSF8ASDFYSHO3W
·
거의 3년
265
0
답변 2
Spring Batch만을 위한 로직은 batch모듈에서 구현하나요?
가입한 사용자들한테 이메일이랑 카톡으로 문자를 보내려고 하는데, 이메일 발송 로직과 카톡 문자 발송 로직은 batch에서만 쓰입니다. 그럼 batch모듈 안에서 기능을 구현하면 될까요? 아니면 core모듈에서 구현하고, batch모듈에서 가져다써야 할까요?
해결
3
dsif8ufa3ifd
·
거의 3년
489
0
해결 3
Spring Batch는 비실시간인데 배포하는 이유가 뭔가요?
제목 그대롭니다. 만약 가입한 유저들의 이메일로 환영메일을 보낸다고 가정한다면, local에서도 충분하지 않나요? 분명 배포해야만 되는 이유가 있을 것 같습니다. 제가 batch를 접한지 얼마 안되서 배포해야만 하는 예시를 들어주시면 감사하겠습니다!
답변
1
ililillili
·
약 3년
436
0
답변 1
Spring batch log가 띄워지지 않습니다
Spring batch가 처음이라 하나하나 따라하고 있었는데, "log.info(">>>>> This is Step1)" 부분이 로그에 남질 않아요 ㅠㅠ 혹시 step부분까지 못간걸까요? 아니면 다른 이유가 있을까요? @Slf4j @Configuration @RequiredArgsConstructor public class SimpleJobConfiguration { pr
답변
3
지돌이
·
약 3년
561
0
답변 3
spring batch 트랜잭션
안녕하세요. 사내에 spring batch로 정산 시스템을 운영중입니다. 시스템 운영 중 의도치 않은 일이 발생 했는데요.. 배치 reader에서 조회한 데이터가 예를 들어 10시 정각에 조회 하여 처리된 시간은 10시3분에 로직에 의해 수정 되었습니다. 그런데 저희의 한 API에서 10시 1분에 10초동안 같은 테이블의 같은 로우를 수정합니다. 이러면 10시 정각에 배치가 돌면서 3분에 커밋이 되어 그 중간에 실행 된 api로 인한 테이블 수정은 적
답변
1
b_zin
·
약 3년
486
0
답변 1
spring batch step에 전역적으로 retry 적용하는 방법이 있나요?
spring batch step을 아래와 같이 구성하고 있는데 private StepBuilderFactory stepBuilderFactory; public Step testStep() { return stepBuilderFactory.get("testStep") .<I,O>chunk(CHUNK_SIZE) .reader(...) .writer(...)
해결
2
커린이
·
약 3년
341
0
해결 2
springBoot3.x.x + spring Batch 5.0. 으로 배치를 해보려고하는데 의존성주입이 안되네요...
dependencies { implementation 'org.springframework.boot:spring-boot-starter-data-jpa' implementation 'org.springframework.boot:spring-boot-starter-web' compileOnly 'org.projectlombok:lombok' runtimeOnly 'com.h2
답변
1
Zeross
·
약 3년
260
0
답변 1
스프링 배치와 rdb관련 질문
현재 프로젝트에서 mssql 프로시저로 배치 잡을 돌리고닜는데요. 1.프로시저 계속적으로 증가 (프로시저간의 의존성과 순서가 존재) 2.프로시저 안에서 서브 프로시저를 호출 로 인해서 전체 프로시저 관리가 어렵고 2번과 같은 상황의 경우 프로시저 호출 깊이가 점점 깊어지고 있는데 애러 발생시 애러를 찾는게 힘들더라구요. 그래서 스프링 배치를 이용해 프로시저 단위로 상관관계를 만들어 batch job을 구성해볼까 하는데(ex. Job= 07:0
답변
4
Zeross
·
약 3년
614
0
답변 4
스프링 배치와 rdb프로시저 관련 질문
현재 프로젝트에서 mssql 프로시저로 배치 잡을 돌리고닜는데요. 1.프로시저 계속적으로 증가 (프로시저간의 의존성과 순서가 존재) 2.프로시저 안에서 서브 프로시저를 호출 로 인해서 전체 프로시저 관리가 어렵고 2번과 같은 상황의 경우 프로시저 호출 깊이가 점점 깊어지고 있는데 애러 발생시 애러를 찾는게 힘들더라구요. 그래서 스프링 배치를 이용해 프로시저 단위로 상관관계를 만들어 batch job을 구성해볼까 하는데(ex. Job= 07:0
답변
2
upppy
·
3년 이상
525
0
답변 2
spring batch chunk에서 초당 10건씩 호출 하는 부분 질문드립니다.
배치에서 초당 10건씩 api 호출해야 하는데 질문드립니다.spring batch chunk(reader, writer)를 사용하였고 chunk size 를 10으로 설정,보낼 데이터 전부 조회 해와서 10건씩 호출하도록 하였습니다.여기서 초당 10건씩 호출하는 부분을 어떻게 해줘야 할 지 질문드립니다.10건씩 호출하는 부분에서 ItemWriter에서 10건 호출 후 Thread.sl
해결
1
b_zin
·
3년 이상
589
0
해결 1
spring batch chuck 기반 질문
spring batch에서 chuck 기반으로 ItemReader->CompositeItemProcessor(ItemProcessor 2개)->ItemWriter로 구성했습니다.chuck_size = 5로 했을 때, ItemReader에서 10개를 읽어오면 processor1로 row 1개가 처리되고 processor2로 가서 처리되는데processor1에서 5개가 처리된 후에 processo
답변
1
urbug2
·
3년 이상
323
0
답변 1
spring batch 에서 구조를 어떻게 가져가세요?
가장 간단한 데이터 처리인.Read데이터가 1개 인 경우 Writer가 1개 발생한 경우는 일반적으로 제공해주는 형식으로 구현하면 되는데요.보통은 비지니스가 이렇게 간단할 수 만은 없죠.read와 write가 1:N의 데이터를 처리가 될 수도 있구요..내가 해당 배치에서 밀어 넣은데이터가 다음데이터 처리시에 select되어야 하는 경우도 있구요. (처리데이터가 반영되지 않은 process에서 처리가
이전
1
2
3
다음
Search Bar
