SpringBoot의 계산 로직을 Spark로 처리해도 될까요

Question

급여, 임금 계산은 배치처리를 하는게 일반적이라고 들어서, 지금까지 스프링배치로 계산로직을 처리했습니다.이번에 스파크와 Airflow를 배우면서 궁금한 점이 생겼습니다. 급여 계산을 Spark로 처리를 해도 된다고 하는데,Spark와 Spring 중 어느단에서 처리하는지 궁금합니다. 어떤 방식이 더 보편적일까요

allinux · Answer

spark 로 데이터 처리는 가능합니다. 왜 spark 로 처리하려는지 이유가 없어서...도움이 될만한 답변이 될 지 모르겠습니다.spark 라는 것은 분산처리엔진입니다. 쉽게 말해서 서버 1개로 처리할 수 없는 큰 데이터를 다수개의 장비를 클러스터링하여 분산처리를 하겠다는 겁니다.급여, 임금계산은 데이터가 많은 것이 아니라 로직이 복잡할 것으로 보이는데요. 보통 RDB를 사용하는 것이 더 성능이 좋습니다.

개나소나고생 · Answer

엘라스틱 서치로 로그파일대신에 처리하지 않나요?

와플치킨 · Answer

데이터가 너무 많아서 Spring에서 한세월 걸린다 -> Spark그외 -> Spring이렇게 정하면 될 것 같습니다. 일반적으로는 스프링으로 하는게 좋아요

SpringBoot의 계산 로직을 Spark로 처리해도 될까요

3개의 답변

Q&A 목록