Java File I/O관련

Question

Java로부터 - 기준 :대용량 파일 (text)- 매일 6회 lock -> 파일 한줄씩읽기 -> 인설트 / 업데이트 -> 다른폴더에 파일 백업 -> unlockBufferedReader readLine을 사용해서 처리중입니다 한줄씩 처리를 해서 그런지 시간이 많이 걸리고 다른 처리에 영향이 갔습니다.BufferedReader readLine이외에 성능이 좋은 방법은 없을까요 ?한줄 데이터를 인서트나 업데이트후 또 다른 라인 읽어야하는 식으로...

bluerain · Answer

다시 답변 드리지만, &#34;한줄읽고 -> 저장 - > 다음줄 읽고 -> 저장&#34; 은 당연히 속도가 떨어질 수 밖에 없습니다.게다가 대용량 파일이 메모리에 계속 상주하는 상태가 되기때문에메모리 누수도 발생합니다. 1. 파일을 전체를 읽어 list 형태로 저장2. list를 특정 수량씩 db에 저장(preparedstatement 면 batch, mybatis면 batch 옵션)위와 같은 형태로 바꾸셔야 합니다.꼭 그렇게 한줄씩 해야 하는 이유라도 있는지요?

zepinos · Answer

bluerain 님 의견에 한 줄 덧붙인다면, NIO 2 을 이용중인지 한 번 확인해보세요.

똥글이꺼 · Answer

NIO2는 이용중이지 않습니다.지금 한라인씩 읽어서 데이터를 
단위로 값을 나누어 list string 에 저장하고,한줄 읽은 값을 가자고 데이터 처리후 다시 한줄읽고 처리 하고 이런식으로 구성되어있습니다.a b c d ef g h i j이런식으로

zepinos · Answer

똥글이꺼 님 // 구글링 해서 가장 심플한 예제를 골라봤습니다. https://www.concretepage.com/java/jdk7/example-of-files-java-nio-file-api 보시다시피 처음 파일을 가져오는 부분만 변경하면 됩니다. 이후 한 줄씩 처리하는 건 NIO 2 와 상관 없습니다. 그런데, 이와 별개로...하려고 하는 작업 자체는 동기 방식으로 처리하는게 더 효율적일 수도 있겠네요. 어짜피 파일 전체를 읽기는 해야하고 한 줄씩 처리를 해야 한다고 하니, 메모리를 이용하는 캐시(외부 서버 이용 포함)나 NoSQL 에 Line 단위로 저장하고 한 줄씩 꺼내서 사용하는 방법도 이용 가능할 것 같습니다.

Java File I/O관련

4개의 답변

#nio 목록