파일 읽기 & 쓰기 멀티쓰레드 처리 (살려주세요 ㅠㅠ)

Question

안녕하세요.csv 파일을 읽어서 읽은 값을 통해 생성한 값을 다른 파일에 새로 적으려고 합니다.이 때 csv파일이 100만건 정도가 되어 그냥 적으려고하면 시간이 너무 오래걸려 멀테쓰레드를 생성하려고 합니다.읽는 것은 멀티쓰레드가 안될 것 같아 1000건씩 읽어 리스트에 저장해두고쓰는 것은 멀티쓰레드를 통해 한 파일에 적고 싶은데 어떤 방법이 있을까요?completableFuture를 사용하면 될까요?사용 방법까지 알려주시면 감사합니다. ㅠㅠ

구직인 · Answer

멀티쓰레드, 멀티프로세스, 이게 무조건 빠른게 아닙니다. 또, 한 파일을 읽어 볶은다음에 하나의 파일에 쓴다하셨는데멀티스레드로 구현했으면 그 조합은 어떻게 처리하시려구요.순서대로 조합되어야 한다면 더 골때리고, 오히려 그 순서 맞추는데 더 연산이 들거예요

staref · Answer

&#64;구직인답변 감사합니다.하지만 파일쓰기에서는 순서가 상관 없습니다.그렇게 된다면 어떻게하는게 좋을까요?

마도사 · Answer

파일 읽을때는 멀티쓰레드가 안될거 같다고 했는데...근데 왜 파일 쓸때는 된다고 생각하시나요?파일 읽기나 쓰거나 파일에 대한 권한을 획득해야하기때문에 같은 문제가 발생합니다.결국 여러 파일을 오픈해서 각 파일을 만들고... 다 작성이 완료되면 파일 머지를 해야합니다. 어느게 더 빠를지는 테스트해봐야하는데...작은 파일로는 검증이 힘들거고...대용량일때 차이가 많이 날거 같네요.

star16m · Answer

구체적으로 어떤식으로 쓰려는거에요?파일은 하나고 100만건 이라는 건가요?쓰는 파일도 하나인가요?쓸때는 형식만 변경하는 건가요?

staref · Answer

하나의 파일이 100만 번입니다쓰는파일도 하나고 형식은 유지되고 데이터 값이 바뀝니다

90kejjeidh · Answer

이거 입사과제인듯 하네요

90kejjeidh · Answer

어디기업인지 알거같은데..

파일 읽기 & 쓰기 멀티쓰레드 처리 (살려주세요 ㅠㅠ)

7개의 답변

#multithread 목록