제발 이 멍청한 사람을 구제해주세요! 스프링 및 자바 고수님들 ㅜ 3시간째 고민중 !

Question

안녕하세요! 걍 바로 코드로 설명해보겠습니다. //movieSearchInfos 에 관련 내용을 담습니다 List movieSearchInfos = new ArrayList<>(); //open api를 통해 검색 결과를 받아옵니다. OpenApiSearchTrendingDto movieSearchList = getSearchProgram("movie", name, page); //저장하고 DTO를 설계합니다 movieSearchList.getResults().stream().forEach(movieProgramInfo -> { Program program = saveProgramAndGetProgram(movieProgramInfo, ProgramType.Movie); movieSearchInfos.add(new ProgramSearchInfo(program.getId(), program.getTitle(), movieProgramInfo.getRelease_date(), firstGenreName, program.getPosterPath(), movieProgramInfo.getOverview())); }); return new SearchMovieResponseDto(movieSearchInfos, movieSearchList.getPage(), movieSearchList.getTotal_pages(), movieSearchList.getTotal_results());위 코드는 open api 를 통해 영화 프로그램을 검색하고검색한 결과를 받아서(movieSearchList) 그 안에 있는 각각의 영화에 대해서 프로그램이 우리 DB에 이미 저장된 경우 그 프로그램을 가지고 오고 저장되어 있지 않은 경우 그 프로그램을 저장하고 가지고 오는 코드입니다. 그리고 프론트에 dto 를 통해서 검색결과를 반환하는 코드입니다.제가 의도한 대로 엄청 대부분의 경우 정상적으로 의도한대로 동작합니다.근데 간혹가다가 데이터가 중복 저장되는 문제가 생겼습니다. 예를 들어 "어벤져스"를 검색 하면 DB에 "어벤져스" " 어벤져스" 이렇게 중복으로 똑같이 저장되는 겁니다.대충 400개중 1개?이렇게 말입니다.그래서 이 부분에 의심이 생겨 질문을 합니다.제가 생각했을 때는 stream().forEach() 이 부분이 문제 인 것 같은데java.util.stream (Java Platform SE 8 ) (oracle.com) => 요약: stream.forEach side effect 관련[Java] for-loop 와 stream.forEach() 는 다르다. — 열정은 차갑고 잔잔하게 (tistory.com) ==> 요약: stream.forEach 내부에 로직이 있으면 동시성 보장이 어렵다???이해가 잘 안돼서요! 위 경우 둘다 쓰레드에 대한 얘기를 하고 있는 것 같은데!!제 의식의 흐름은 동시성 문제는 여러 쓰레드가 동시에 필드를 변경할 때 발생하는 건데현재 EC2 는 1코어로 한개의 쓰레드를 활용하고 있는 것인데 그러면 여러 쓰레드를 활용하고 있지 않기 때문에동시성 문제 때문에 같은 프로그램이 여러번 저장되는 문제는 없다는 말이 될 것 같고parrelStream 이 아니기 때문에 병렬적인 문제도 아닌 것 같고!이 stream.forEach 내부에서 뭔가 일어나고 있는 거 같은데정확히 아시는 분 없을 까요 ㅠ<수정> private Program saveProgramAndGetProgram( SearchTrendingOpenApiProgramInfo searchTrendingOpenApiProgramInfo, ProgramType programType) { Program program = programRepository.findByTmDbProgramIdAndType( searchTrendingOpenApiProgramInfo.getId(), programType).orElseGet(() -> { Program newProgram = apiProgramToProgram(searchTrendingOpenApiProgramInfo, programType); programRepository.save(newProgram); return newProgram; }); return program; }

kenu,전독시 · Answer

db를 조금 아시면 쉽게 해결될 겁니다.poster_path에 unique 설정하면 중복 데이터 절대 못 들어갑니다.애플리케이션은 채널이고 중요한 것은 데이터니까요.persistence layer 앞에 rabbitmq 같은 message broker를 위치하는 것도 추천합니다.

kkotdari · Answer

혹시 API 응답에도 해당 영화 정보가 중복으로 들어있진 않나요?

커피한잔마시고1 · Answer

api 결과와 디비의 데이터 대사 작업 했는지.쿼리를 통해 입력된 dto 객체의 갯수 및 데이터의 로그와 테이블에 들어간 데이터의 대사 작업을 했는지.saveAndGet 메소드 로직이랑 쿼리도 같이 보내주세요

장독깨기 · Answer

하나의 자원을 여러 쓰레드에서 공유해서 사용할 때 동시성 문제가 발생할 수 있습니다.여기서 쓰레드는 &#34;서버 CPU 1 코어로 한개의 쓰레드를 사용&#34; 의 쓰레드가 아닙니다.프로세스, 쓰레드 검색해서 자세히 알아보시구요,뭐 암튼 여기서 movieSearchList 는 공유하는 자원이 아니므로 어플리케이션 레벨에서 동시성 문제는 없습니다.그니까, stream.forEach 에는 아무 문제 없습니다.그러나, 데이터베이스 입장에서는 다릅니다.한 자원(영화 테이블)을 공유하니까, 동시성 문제가 발생할 수 있습니다.saveProgramAndGetProgram 여기서 데이터를 읽고 쓰고 할때 문제가 발생할 수 있는 것 입니다.이 부분에 락을 걸어주면 될 거 같습니다.

제발 이 멍청한 사람을 구제해주세요! 스프링 및 자바 고수님들 ㅜ 3시간째 고민중 !

4개의 답변

Q&A 목록