로그데이터분석에서 프로메테우스 VS ELK

Question

현재 반도체공장 관련 로그데이터를 통해 분석시스템을 만드는 프로젝트를 진행중입니다.로그데이터는 직접 시뮬레이션 툴을 통해 만들었는데요,각 이송체ID, 속도, 상태코드, 에러코드, 현재위치(node명), 목표노드 등 다양한 데이터를 저장합니다.결론적으로 1시간 10만개의 데이터가 생길정도로 거대한 로그데이터를 통해 통계를 내야하는데, 이 과정에서 기술선정 관련한 고민이 있습니다.로그데이터 &#61; 시계열데이터이므로 이에 특화된 프로메테우스를 사용해 통계를 구현하느냐,인덱싱,검색에 특화되어있으며 메트릭 수집도 가능한 ELK를 쓰느냐 입니다.참고로 저희는 &#34;모니터링&#34; 자체는 필요하다고 보지 않습니다. 로그데이터는 시뮬레이션 툴을 통해 Mysql로 insert하고 있는데 이때 모니터링을 임베딩해서 처리하는건 불가능해서요. 수집해둔 로그를 기반으로 <통계>에 유리하기만 하면 될것같습니다.뭘..써야할까요.. ㅠ

3인칭관찰자시점 · Answer

mysql 로그데이터를 기반으로 통계 데이터를 생성하려 한다면 mysql에 통계테이블(시간단위로 년/월/일/시/분)을 만들어서 배치로 적재하는게 효율적인듯 합니다.이점 :로그데이터와 join 에 유리mysql db 재활용으로 신규 시스템 구축하지 않아도 됨(개발, 테스트, 운영)sql를 사용하기에 통계 추출에 용이, 러닝커브 낮음프로메테우스와 elk에서만 선택해야 한다면사용하고자 하는 통계를 기준으로 선택하시면 될듯합니다.사용하고자 하는 통계가 정형화되었다면프로메테우스통계가 그때그때 필요에 의해 만들어져야 한다면elk

로그데이터분석에서 프로메테우스 VS ELK

1개의 답변

#elasticsearch 목록