보통 복잡한 쿼리 작성하실 때 어떤 스타일로 작성하시는걸까요

Question

예전에는 쿼리 하나로 통계 데이터를 한 번에 뿌려주는 것이 좋은 방식이라고 생각했어요.소위 말하는 “한방 쿼리”로 모든 걸 해결하려고 했죠.하지만 요즘은 그런 방식이 오히려 보기 좋지 않다는 생각이 듭니다.단순히 가독성 문제만이 아니라, 통계 쿼리는 계산을 요구하기 때문에인덱스를 타기도 어렵고, 성능 면에서도 불리한 경우가 많습니다.그래서 저는 일단 필요한 데이터를 쭉 가져온 뒤,자바 메모리에서 통계 데이터를 가공하는 방식이 더 낫다고 생각해요.복잡한 통계 로직은 메서드 단위로 잘게 나누고,메서드명으로 그 역할을 명확히 표현할 수 있어 유지보수도 쉬워지니까요.결국 “한방 쿼리”는 장점보다는 단점이 더 많은 방식이라고 봅니다.여러분은 통계 쿼리를 어떤 방식으로 처리하시나요?

하루의_spring · Accepted Answer

회사에서 카프카 커넥트 연동해서 조회쿼리 -> 통계쿼리로 바꾸기 쉽게 ES 에 연동해서 관리하고 있습니다 ES 테이블만 조회하면 통계정보가 쉽게 나오게 만들었습니다

hchbae1001 · Answer

Postgres 사용중이라, 빈번하게 호출되지만 추가 데이터가 잘 들어오지않는다면Meterialized View 구성해서 Index 걸고 Join 거는식으로 하고있습니다...

장독깨기 · Answer

통계는 여러 건의 데이터를 써머리하는거잖아요,그럼 여러 건의 데이터를 디비에서 어플리케이션으로 가져와야 하잖아요.일단, 이 지점에서 성능 땡입니다.시스템을 가독성, 유지보수성 이런 관점을 먼저 보는 것이 아니라,기능이 제일 먼저고, 그 다음이 성능, 그 다음이 가독성이니 유지보수성이니 이런 겁니다.쿼리로 결과를 가져오는 것과 데이터를 전부 가져와 통계를 직접 작성하는 것,같은 내용으로 성능을 직접 비교해보는 것이 좋겠습니다.

더미 · Answer

통계를 가져와서 자바에서 계산한다구요?한번 해보시죠...

dong bang · Answer

어려운 질문인데요.1. 한방 쿼리 << 디비 서버 부하2. 지금 낮다고 하시는 서버에서 가공 << 이것도 가공 하기 위해서 메모리에 데이터를 올려야 하는데 이때 부하가 생깁니다.----------------결론1. 조금씩 배치 돌리면서 계산을 분산 해서 최대한 로우로 만들어서 저장 하고 가져 오는 방식으로 하시는게 정답 입니다.(머하나 추가 될때 마다 모든 배치를 수정 해야 되겟죠? 생각만 해도 끔찍하네요.)-----------------찐결론1. 답이 없다.....2. 모든게 정답이다.3. 시간이 없으면 한방으로4. 데이터 양이 조금 있으면 서버로5. 시간이 많고 데이터만 하는 팀이다 그러면 분산 처리

뾰로롱산새 · Answer

정답은없고 상황마다 너무 다른예시를 가져온거같네요..복잡한쿼리라는게 다들 생각하는게 달라서리..

zoony · Answer

통계 쿼리는 많은 데이터를 조회하기도 하고 해서 메인디비에선 서비스에 부하줄까봐 못하고 데이터를 몽고나 하둡으로 보낸담에 거기서 빡세게 돌립니다.

yeori · Answer

통계를 이용하려는 사용자의 "니즈"를 파악해야 합니다.단발성 통계 수요라면 그에 맞춰서 프로그래밍으로 차트에 맞게 데이터를 가공해서 뿌려주는 정도면 충분한데...평일 데이터만 보고 싶어오전과 오후를 비교하고 싶어한 시간 단위로 구분해서 보여줘 등등요구사항이 다양할 가능성이 높다면, 통계용 테이블을 따로 만들고 원천 데이터를 통계용 데이터로 가공해서 넣어주면 나중에 통계 수요에 대응하기 좋습니다.저 같은 경우는 15분 단위로 쪼개서 통계용 데이터를 쌓았는데 이게 레고 블럭입니다.다시 4개씩 모아서 1시간 짜리 테이블에 데이터를 쌓고, 여기서 일별 통계 테이블, 주간 통계 테이블 등으로 파생됩니다.스케줄러 돌려서 원천 데이터를 15분 테이블에 넣고, 다른 스케쥴러 돌려서 15분 데이터를 1시간 데이터로 넣고...통계란 게 보통 이미 발생한 데이터에 대한 정보이기 때문에 가공해서 통계 조회에 편리하도록 별도의 테이블에 옮겨 놓으면 성능 문제가 적고, 무엇보다 쿼리가 엄청 짧고 간단합니다.나중에 새로운 통계 차트를 뽑을 때 작업 속도가 빠릅니다.

보통 복잡한 쿼리 작성하실 때 어떤 스타일로 작성하시는걸까요

8개의 답변

Q&A 목록