카프카(스트림즈) 에서 집계처리시 suppress기능을 사용하면 데이터가 계속 들어오지 않으면 마지막 데이터는 나오지 않는 문제

Question

제목대로입니다. 기본적으로 빅데이터를 처리하는거라 그런건지 구현사상이 좀 틀린것 같은데일반적인 개발에서 보면 이해가 안되는 상황입니다. (제관점에서)window처리를 해서 1분간격 10분간격의 데이터를 통계를 내려고합니다. 카프카 특성상 최종결과가 아니라 중간결과가 계속 나오게되서 이를 방지하기위해 suppress를 사용합니다.그런데 윈도우가 닫힌후 다음데이터가 들어오지 않으면 최종데이터는 emit되지 않습니다. 카프카가 스트림기반이고 데이터가 들어온 시간으로 시간의 진행여부를 판단한다 뭐 이런개념이 있다곤 알고있는데요.제가 사용하려는 쪽에서는 마지막 데이터가 카프카에 들어오지 않더라도 바로 최종결과가 나와줘야 하는데 쉽지 않네요.(이건 일반적인 소프트웨어쪽에서야 당연한 부분인데 이게 카프카에서 안된다니 , 이걸 알았을때의 충격은.. ㅎㅎ)제일 심플한건 더미데이터를 넣어서 해결하는 내용도 있긴한데 제가 개발하는 소프트웨어 특성상 동적으로 계속 뭔가 만들수가있기때문에 더미데이터로 해결이 쉽지는 않을것같습니다. (더미데이터가 너무 많아지는 문제및 소스데이터를 검증할때 혼선도 생기는등)혹시 관련해서 경험이 있으신분이 있을까 해서 글을 남겨봅니다. : )

카프카(스트림즈) 에서 집계처리시 suppress기능을 사용하면 데이터가 계속 들어오지 않으면 마지막 데이터는 나오지 않는 문제

0개의 답변

Q&A 목록