파일 로그 수집 및 메트릭 추천해주실 분

Question

여러분들은 혹시 파일 로그를 수집한다고 하면 어떤 방식으로 수집하시나요?사내에 원래 있던 로그 조회 시스템이 있는데 얘는 로그 파일을 실시간으로 파싱해서 읽다보니까조금만 조회범위가 커지면 서블릿이 아에 뻗어버리는 문제가 있는지라 대안을 찾고있습니다.logback에서 바로 RDB에 올리는 방안도 생각해봤지만 찾아보니 부하가 너무 많이 걸리는 방식인 듯하여 포기했고요현재는 filebeat에 ELK 스택으로 하나 테스트 해봤더니 생각보다 검색이 쉽지 않더라고요동료들이 주로 RDB SQL 작성에 익숙해서 원하는 데이터를 뽑기도 어렵습니다.기존 로깅 시스템에는 하나의 요청에 대해서 트랜잭션 번호를 부여하고 이걸 기준으로 controller -> service -> repository 로그 흐름을 하나의 그룹으로 묶어서 보여주는 기능이 있어서 엔드포인트별로 나눌 수가 있었는데elk 스택에서 이런 기능이 가능할까요?추가로 사용빈도라던가 긴 쿼리 등도 시각화할 수 있는 방안을 잘 아시는 분이 계시면 추천 부탁드리겠습니다.

カワウソ · Answer

제가 담당하는 고객은 파일 로그를 감지하기 위해 Zabbix를 사용하는데요. 아쉽게도 Zabbix를 볼 권한이 없어서 검색이 용이한지는 모르겠습니다. 회사에서 모니터링에 소극적이라 많이 찾아보곤 했는데 다 만족할만한 방법이 없는지 Loki 나 Zipkin 등 다양하게 사용해보는 것 같습니다.ELK와 그라파나처럼 Zabbix도 결국 러닝 커브는 어쩔 수 없을 것 같은데요...

더미 · Answer

elk도 됩니다

rarity · Answer

저는 간단한 디렉토리구조는 직접 RDB에 MetaDB를 생성해서 파일 로그를 관리합니다.파일자체를 올리는건 부하가 있지만파일 디렉토리별로 각 다렉토리 정의 내역이 있고 파일명에 따른 특성이 존재하니까요.hadoop도 이런 느낌으로 관리 가능하고,Iceberg은 아직 사용하지 않아서 모르겠지만 hadoop에서 됐는데 더 잘되겠지요.

파일 로그 수집 및 메트릭 추천해주실 분

3개의 답변

#elk 목록