카프카 스트림즈관련해서 혹시 아시는 분 있을까 해서 문의 드립니다.

Question

Kafka streams에서 windowing으로 집계처리를하고 있는데 이때 supress사용합니다. 여기까진 하시는 분들이라면 다들 아실것같은데그런데 이게 데이터가 계속 들어오는게 아니라면마지막 1-2개의 윈도우로 구분되어 처리되어야할 데이터는 처리가 안되더라구요. 같은키를 가진 다음데이터가 들어와야 처리되는것같은데 혹시 관련해서 아시는 분들이 있을까해서 글 남겨봅니다.

냥길동 · Answer

자답이라긴 좀 그렇지만 제가 내린결론은 "불가능" 하다입니다.카프카 스트림즈는 데이터가 스트리밍되는 (꾸준이 입력되는) 데이터에 대한 처리를상정하여 만들어진것인데 특히나 합산등의 처리등에서 쓰이는 supress는 시스템의 시간으로지정한 텀(1분/10분으로 윈도우를 지정)을 파악하는것이 아니라 들어온 데이터의 시간으로 윈도우를닫을지 아닐지를 결정합니다. 그런 이유로 데이터가 들어오지않으면 이전데이터를 포함한 윈도우는 close되지 않습니다. process api를 사용하여 처리한다거나 더미데이터를 꾸준히 입력하여 이를 해결하는 방법이 존재는 하는것은 알고있으나 이경우에도 데이터는 닫으려는 윈도우안의 데이터와 동일 키(그룹)값이 되어야합니다. 제경우에는 키값이 동적으로 바뀌는상황 이고 어떤키가 될지 예측이 안되므로 그런식의 처리로는 해결이 힘든상황입니다. 혹시 해결이 가능한 방법을 알고 계신분이 있다면 매우 환영합니다. : D

카프카 스트림즈관련해서 혹시 아시는 분 있을까 해서 문의 드립니다.

1개의 답변

Q&A 목록