BufferedReader 속도와 관련해 질문있습니다.

Question

안녕하세요 선배님들 BufferedReader의 readLine()으로약 10GB정도의 텍스트 파일을 한 줄로 읽어 가공하는 작업을 하고 있습니다. 라인 수는 약 백만개이고한 라인에 최대 2억개의 글자가 있는 라인도 있습니다. 라인을 읽어 내려갈수록한 라인을 처리하는 속도가 점점 늘어나는 문제를 발견했습니다.라인을 쭉 읽어내려가면서 처리하다가50만 라인부터 60만을 처리하는데만 20분이 걸리는 현상을 발견했습니다.(이 뒤로는 시간이 더 늘어남) 가공하는 로직을 애초에 50만 라인부터 60만 라인까지만 타게 해서10만 라인만 처리하도록 하니까 2분도 채 안걸립니다. 로직에 문제가 있다면50만 라인에서 60만 라인만 처리하게 했을 때 같이 20분이 걸리는게 맞는 것 같은데... 너무 초보적인 질문이 아닌가 창피하지만 한 줄을 처리하는 속도가 점점 늘어나는 원인에 대해서 알고 싶습니다.

ansdbduf · Answer

라인을 읽어 들이면서 메모리에 계속 적재하는거는 아니시죠? 한 라인에 최대 2억개의 글자가 있다면 이 부분도 메모리관리쪽으로 신경쓴다면 BufferedReader 는 좀 위험해보이기도 하네용

샘물 · Answer

ansdbduf 실제로 out of memory가 떨어지는 문제가 있었는데해결이 됐다고 하니까 메모리 문제는 아닌 것 같습니다.

BufferedReader 속도와 관련해 질문있습니다.

2개의 답변

#bufferedreader 목록