웹 서비스에서 파일 쓰기/읽기/삭제에 관해..

Question

안녕하세요.다음과 같은 시나리오로 코드를 작성하려고 하는데요.사용자가 웹 서비스에 접속하면 a.log 파일에 로그가 쌓인다.특정 시간에 a.log 파일을 읽어들여 특정 작업을 수행한 후 파일을 삭제한다.특정 시간대에도 서비스는 중지되지 않기 때문에 로그는 계속 쌓인다고 볼 수 있습니다.즉, 읽고 삭제하는 순간에도 파일에 쓰기가 가능한데요.현재 로그를 쓰고, 읽는 작업을 모두 일반적인 FileReader, FileWriter로 짜여져 있는데..혹시 이런 경우 어떤 문제가 있을지, 고려해야 할 점이나 주의사항이 있을지 조언 부탁드립니다.감사합니다.

집킨 · Accepted Answer

본문의 시나리오만 고려해보면 다음과 같은 문제점이 있을수있습니다레이스 컨디션 문제 : 파일 시스템에 따라 다르긴한데, 파일에 데이터를 쓰고있을때 다른 스레드가 파일을 삭제하면 예외가 발생할수있습니다. 반대의 경우 데이터의 유실이 발생할수있겠죠성능문제 : 파일 io작업은 리소스 소모량이 많은 작업입니다. 하나의 애플리케이션에서 모든 작업이 수행된다면 전체적인 시스템의 성능이 낮아질수있습니다장애 회복성 문제 : 서비스가 절대 죽지 않는법은 없습니다. 다양한 이슈로 서비스가 죽을 수 있는데 서비스가 다시 올라왔을때 진행중이였던 작업을 어떻게 복구할건지 고려해야합니다.정책이 로그의 유실, 중복을 허용하는 정책이라면 2번만 해결해도 되겠죠그게 아니라면 매우 위험한 설계입니다권장방법은 로그를 파일이 아니라 카프카 토픽에 쌓는겁니다카프카엔 삭제 정책도 있기 때문에 용량 걱정도 없어요

ykd · Answer

파일디스크립터를 직접 다룬다면 락에 의한 오동작이 발생할 것 같아요(1) 트렁케이션을 통해 단위 작업을 처리하거나, (2) 윗 분 말씀대로 카프카 혹은 레디스와 같은 메시지 큐를 활용하거나, (3) 로그테일링을 지원하는 모듈을 활용하여 추가 작업을 분리하는 등 상황에 맞게 여러 방향을 모색해볼 수 있어보입니다

Cinema Paradiso · Answer

모두 상세한 답변 남겨주셔서 감사합니다.:)

kiel · Answer

logback 같은걸 써보시면 어떨까요?https://www.baeldung.com/logbackRollingFileAppender 같은 설정을 쓰면 특정 시간대에 파일을 분리해 낼 수 있습니다.그후에 로그를 읽어서 수행하는 작업은 분리된 파일만 처리하면 될것 같습니다.

웹 서비스에서 파일 쓰기/읽기/삭제에 관해..

4개의 답변

기술 목록