ELK 시스템 구성시 Kafka 사용 질문

Question

현 회사 시스템은 대략 위 처럼 구성이 되어 있습니다. 4개의 WAS 서버에서는 각각의 파일비츠가 설치가 되어 있고 이 파일 비츠들은 Active 된 로그스테시로 로그파일을 전송합니다. 로그 스테시는 이렇게 수집된 로그 를 키바나에 전송하여 모니터링 시스템을 시각화 하고 있습니다.근데 중간에 파일비츠에서 수집되는 로그 파일을 바로 로그스테시로 보내는게 아닌 중간에 kafka 를 끼워넣어 구성하는 방법도 있더라구요.아니면 kafka 가 로그를 수집해서 로그스테시로 보내던가…이러한 시스템 구성할때 kafka 의 어떠한 장점으로 인해 사용한다고 보여지는데.. 카프카를 넣어 어떠한 이점이 발생하기에 도입을 하게 되는건가요?

3인칭관찰자시점 · Answer

1. 직접 연결했을 때의 위험 (현재 구조)"지금 구조는 마치 수도꼭지에 바로 컵을 대고 물을 받는 격이에요. 물이 콸콸 쏟아지면(로그 급증) 컵이 넘치고 바닥이 물바다가 되겠죠? 그럼 서버(WAS)도 같이 젖어서 망가질 수(장애 전파) 있어요."2. Kafka라는 '댐'이 있을 때 (개선 구조)"중간에 큰 물탱크(Kafka)를 하나 두는 거예요. 위에서 물이 아무리 쏟아져도 일단 탱크에 다 받아두니까 안심이죠. 그리고 우리는 아래에서 우리가 마실 수 있는 속도대로 천천히 물을 빼서(Logstash) 마시면 돼요. 탱크가 넉넉하니 물이 넘칠 일도, 컵이 깨질 일도 없겠죠?"

lesdgogogo · Answer

오버 엔지니어링입니다. Kafka 넣으면 분산형 메시지 큐니까 로그가 유실되지 않고 제대로 보내지겠죠. 그런데 로깅 시스템에 Kafka를 붙인다? 이건 엄청나게 로그가 중요한 환경일 때 사용하는거고, 한국 기업 98~99퍼의 경우 그 정도 급 로그 관리는 필요 없습니다.

곰같은개발자 · Answer

일단 kafka를 쓰는 이유는 아래와 같습니다.1. TPS 부하 조절 (별5개중에 4개 백엔드쪽 처리량이나 로그가 필수 이면 꼭 필요합니다.)2. 로그 밀림 현상 (별5개중에 2개 아마 로그 손실 부분이 크죠)3. active 장애시 standby 전환시 손실되는 로그 발생 (별5개중에 4개)4. 실시간 이상감지나 기타 빅데이터 처리 등 연계(별5개중에 3개)아무래도 현재 구조상에 TPS가 밀리면 아마 손실 로그가 발생하는데 그게 이커머스나 결제 정보가 포함되면 아마 곤란한 상황이 발생할수 있거든요아래는 예전에 이런식으로 구성해서 실시간 이상(DDOS나 패스워드 무작위 공격)나 장애를 spark를 통해서 처리 한적이 있어서 참조하시면 좋을것 같습니다.

카스마당 · Answer

저는 답변은 아니고 질문 드립니다.본문에 플로우는 어떤 툴, 폰트를 사용하셨나요.?너무 궁금하네요.

인성 절구로 빻음 · Answer

우선 조금 정정을 하면로그 스테시는 이렇게 수집된 로그 를 키바나에 전송하여 모니터링 시스템을 시각화키바나는 시각화만 하지 데이터 수집을 하지 않습니다. 중간에 Elasticsearch 빠졌네요사내에 위와 유사하게 logback + logstash appender → logstash → elasticsearch로 구성했는데, logstash 설정 변경 후 재시작을 했을 때, 로그 데이터가 일부 유실이 되었습니다.그래서 중간에 kafka를 끼워넣어 유실없이 로그를 수집할 수 있었습니다.추가적으로 logstash가 로그를 받는것이 아닌 poll하는 방식으로 바뀌다 보니 부하도 줄어들었습니다.

ELK 시스템 구성시 Kafka 사용 질문

5개의 답변

#elk 목록