프로메테우스 ReplicaSet에 대한 Scrape에 대해 질문 (Spring-actuator)

Question

프로메테우스와 그라파나를 통해 스프링 부트 애플리케이션 모니터링(대시보드)를 만들고 있습니다.사용 기술 스택kube-prometheus-stackspring-actuatorPOD 1개기존에 Pod 하나 있을때는 아래와 같은 설정을 사용했습니다.prometheus: prometheusSpec: additionalScrapeConfigs: - job_name: &#34;spring-actuator&#34; metrics_path: &#34;/actuator/prometheus&#34; static_configs: - targets: [&#34;development-ticketing-application.default:8080&#34;]target 서비스는 아래와 같습니다❯ kubectl describe svc development-ticketing-application Name: development-ticketing-application ... Endpoints: 10.0.85.229:8080정상동작합니다!POD 2개POD 2개로 구성이 변경되면서 질문이 생겼습니다.Q. 하나의 서비스에 연결된 여러개의 팟에서 어떻게 매트릭 정보를 가져올까?로드밸런서와 같이 구성되어, 각 매트릭 요청마다 어떨땐 A POD, 어떨땐 B POD으로 요청될까?아니면 서비스에 연결된 모든 POD의 정보를 한꺼번에 가져올까?❯ kubectl describe svc development-ticketing-application Name: development-ticketing-application .... Endpoints: 10.0.85.229:8080,10.0.94.175:8080제가 생각했을때는 위와 같은 서비스에서 어떨땐 A POD의 매트릭 정보를 가져오고, 어떨땐 B POD의 매트릭 정보를 가져오고 그럴 것 같았습니다. (이에 대한 정확한 정보를 확인하지 못했습니다.)그래서 아래와 같이 옵션을 변경했습니다prometheus: prometheusSpec: additionalScrapeConfigs: - job_name: &#34;spring-actuator&#34; metrics_path: &#34;/actuator/prometheus&#34; kubernetes_sd_configs: - role: pod selectors: - role: &#34;pod&#34; label: &#34;app.kubernetes.io/name&#61;ticketing-application&#34;그러자 프로메테우스에서 Target 정보도 위와 같이 변경되었습니다.https://grafana.com/grafana/dashboards/12464-spring-boot-statistics/대시보드도 위와 같이 두개의 인스턴스를 구분해줍니다.위와 같은 방식을 사용하지 않은 것은 pod은 추가되거나 삭제되거나 등 '동적'으로 변할 수 있기때문입니다.질문일단 제가 원하는 바는 이룬것 같습니다제가 정보를 찾아 글을 확인하면 대체로 https://prometheus.io/docs/prometheus/latest/configuration/configuration/#kubernetes_sd_config 옵션을 확인하라고 합니다. 하지만 제가 이해력이 부족해서인지, 관련지식이 부족해서인지 이해가 잘 가지 않습니다.Q1. 하나의 서비스에 연결된 여러개의 팟에서 어떻게 매트릭 정보를 가져올까?로드밸런서와 같이 구성되어, 각 매트릭 요청마다 어떨땐 A POD, 어떨땐 B POD으로 요청될까?아니면 서비스에 연결된 모든 POD의 정보를 한꺼번에 가져올까?사실 제가 최종적으로 원하는 그림은 두가지입니다.(위 그라파나 대시보드와 같이) 모든 Pod에 정보를 개별적으로 확인 가능한 대시보드 (구현완료)모든 Pod에 정보를 통합해서 전체 Spring App Replicaset에 정보를 확인 가능한 대시보드 (X)Q2. &#34;모든 Pod에 정보를 통합해서 전체 Spring App Replicaset에 정보를 확인 가능한 대시보드&#34;가 혹시 가능한겁니까? 만약 가능하다면 어떻게 해야합니까 (다른 Dashboard를 사용하는 등)추가로, 혹시 다른 분들은 어떻게 구성하시는지 조언 부탁드립니다

김을동 · Answer

조금 다르지만 저희는 각각의 스프링부트 앱에 스카우터를 연동하여스카우터를 시계열 디비와 연결하고 그라파나로 대시보드 처리 했었습니다

lesdgogogo · Answer

사내 모니터링으로 프로메테우스+그라파나 구축해본 경험(But Docker 환경)이 있습니다. 경험 토대로 말씀드립니다. Q1. 로드밸런서와 같이 구성되어, 각 매트릭 요청마다 어떨땐 A POD, 어떨땐 B POD으로 요청될까?네, 그러겠죠. 근데 애당초에 A,B POD의 메트릭을 scrape time 마다 가져오게 될텐데, 로드밸런서가 기본적으로 라운드로빈으로 동작한다고 가정하면 A, B 메트릭에 대한 정보를 가져올 때 scarpe time마다 순단이 발생하여 정상적인 값을 가져오지 못할 것 같은데요. 그래프가 지속적으로 끊겨서 나올것 같습니다.Q2. 말씀하신게, 특정 POD 혹은 특정 정보에 대한 대시보드를 보여주는 것이 아니라, 여러 POD, 혹은 여러 정보에 대한 정보를 합산하여 커스타미이징된 대시보드를 보고 싶으신거죠? 충분히 가능합니다. 그라파나 상에서 패널을 만들어서 쿼리를 추가할 수도 있고, 다른 대시보드에서 복사하여 갖고 올 수도 있습니다.( 다만, 복사해서 갖고오면 쿼리결과가 이상하게 나올 수 있으니 그 부분 변경 필요합니다.)

프로메테우스 ReplicaSet에 대한 Scrape에 대해 질문 (Spring-actuator)

2개의 답변

#prometheus 목록