로깅에 대한 전반적인 흐름에 대해 질문드립니다.

Question

언어, 프레임워크에 구분하지 않고 로깅에 대한 전반적인 질문입니다. 개발을 하다가 오류로그 라던지, 어떤 API를 어떤 사용자가 어떤 IP에서, 어떤 클라이언트로 접근하는지, 또는 API를 요청할 때 어떤 request data를 전달했는지, 에러가 발생했을 때 에러 문맥에 대한 데이터, 등... 사바사, 회바회마다 다르겠지만 글을 읽으신 분들은 어느 수준까지 로그를 남기나요 ?또한, log파일을 따로 남기는지?(보통 남길 것 같지만...), 아니면 DB에 로그를 바로 쌓는다던지? 어떤 외부 솔루션으로 바로 보낸다는지..?다른분들은 어떻게 관리 하시는지 여쭤보는것이니 편하게 답변해주시면 감사하겠습니다.

Clickin · Answer

db에 로그를 쌓는 건 실시간으로 봐야할 경우가 있는 상황일때 고려할 듯 합니다. DB에 바로 쌓는 솔루션들은 성능 문제가 있다 하는 게 꽤 많더라고요문제 터질 때만 보는데 그 주기가 매우 길다 하면 그냥 파일만 로그 남기고 가끔 보면 될테고시스템이 k8s 위에서 돌아가서 파일에 남기면 로그가 날아간다던가 하면 logstash로 elk에 보내는 방법이 있겠네요elk에 보내는 건 파일 시스템에서 검색하는 부하를 줄이기 위해서도 꽤 괜찮은 선택인 듯 합니다.저도 지금 logback -> logstash -> elk로 쌓는 방안을 검토중인데 구축에 시간 들일만한 여유가 없어서 아쉽네요아니면 돈 써서 해결하겠다 하시면 모니터링 솔루션을 구매하시는 방법도 있겠습니다.(Datadog, Jennifer, etc...)이러면 모니터링 솔루션이 스택트레이스까지 다 로깅해주니 많이 편해지죠

oioioi · Answer

elk, efk ㄱㄱ

뎅이 · Answer

위분들은 전부 컨테이너 환경에서 로그파일을 내부에 둘 수 없고, 특정 솔루션으로 보내 저장하는 방식을 말하는 것입니다.글쓴이의 질문은 로그를 어디까지 처리할 것인가에 대한 질문이죠.음 대답이 될지는 모르겠지만 제가 다루는 FW의 수준입니다.일단 모든 로그는 DB에 저장하고, 조회할 수 있고, 통계를 냅니다.로그인/로그아웃/SSO에 의한 로그인/2FA인증 관련 로그테이블/조회PGM/통계PGM특정URL 접근로그 (Request Mapping), 어느화면에서 서버로 접속했는지 정보 포함/조회PGM/통계PGM2.1 화면로딩시간, AJAX 응답시간, 화면처리시간, 서버처리시간 등 추가로그에러로그 - StackTrace 중 일정길이만큼 저장. 에러아이디를 사용자에게 안내하여, 전산팀에 문의할때 해당 아이디의 에러 내용을 확인함.개인정보/고유정보 처리 로그 - 해당정보처리프로그램을 등록하고, 해당정보 컬럼명을 등록하여 MyBatis AoP를 이용하여 해당프로그램에서 실행한 쿼리에서 해당정보컬럼명이 발견되면 해당 쿼리를 저장함. 이때 해당 컬럼에 해당하는 데이터는 암호화 처리. 감사시 언제 누가 어떤 개인정보에 접근 했는지 확인 가능함.개인정보 포함파일 다운로드 사유/로그 - 다운로드 / 조회로그. 개인정보를 담은 파일을 업로드할때 개인정보 여부를 체크하게 함. 해당파일을 다운로드 또는 조회할때 사유를 입력하게 함.권한부여/해제 로그 - 시스템 권한을 부여/해제/변경한 로그 저장배치로그 - 어떤 배치던 언제 어떤 데이터로 배치가 실행되었는지 남겨야 함.파일이던 ELK / EFK 같은 것들 보다는업무적으로 로그 분석은 위의 내용들이 더 맞습니다.따라서 요즘 로그시스템들이 제공할 수는 없죠.실제 시스템 사용 통계나 감사 등에 대응하기 위해서는 위의 로깅들이 꼭 필요합니다.그래서 DB밖에 답이 없습니다.

mirheeoj · Answer

일단 구현중에 필요한 수준만큼만 구현하고, 이후에는 내부 QA, 서포트, 시스템테스트 팀이 공유하는 피드백을 많이 따릅니다. 로그가 부실하면 그쪽 파트에서 하는 일에 지장을 받게 되는데, 그쪽 요구사항에 맞는 정보를 남기죠. 만약 그렇게 로그를 남기는 행위가 퍼포먼스에 영향이 있을 경우 (기존 로그 classification외에도) 특수한 별도의 파라미터 등을 만들어서 그걸 켰을 때에만 로그가 동작되게 하기도 합니다. 많은 경우 아예 로그 관련 요구사항까지 미리 정의되어 내려오기도 하고, 그럴 땐 그대로 구현하면 끝나겠지요. 로그를 남기는 장소는 텍스트파일부터 시작해서, 사내 타 소프트웨어와의 정보 병합이 필요해지면 그 때 자체 로그 솔루션이나 이벤트 뷰어 등에 데이터를 던지는 식으로 합니다. (로그를 남기는 장소 역시 미리 요구사항으로 정의되어 내려올때가 많습니다.) DB에 직접 남기는 경우도 있지만 이건 그 자체가 제품의 기능인 경우 정도. 예를 들어 수치제어 관련 경보 같은 것들.. 그래서 이쪽은 조금 결이 다릅니다.

로깅에 대한 전반적인 흐름에 대해 질문드립니다.

4개의 답변

Q&A 목록