MySQL 로그 테이블에서 지표 데이터 집계

Question

안녕하세요 1년차 개발자입니다게임 회사를 다니고 있는데요 하루에 30만건~최대 70만건 정도 쌓이는 로그가 있습니다 (MySQL 사용중입니다)지금은 이제 천만 건이 넘어가고 있는데요 문제는 이 로그 테이블에서 지표 데이터를 집계해서 가공해야한다는 거예요...지표로 뽑아야 하는 데이터가 꽤나 복잡해서 그냥 로그 테이블에 바로 쿼리 날리니 쿼리 시간이 10초를 넘어가더라구요..이건 아니다 싶어서, 매일 아침 6시에 지표 데이터를 뽑아서 다른 테이블에 아예 따로 저장하는 스케줄러도 돌려봤지만...스케줄러가 돌아가는 시간만 되면 똑같은 DB를 사용하는 저희 게임이 버벅이더군요...ㅠㅠ 이정도 양의 데이터를 다뤄본 적이 없어서 도대체 어떻게 해야 할지를 모르겠습니다아예 로그/지표 테이블을 분리해서, 서버쪽에서 지표 관련된 데이터들을 쌓아주는 게 맞는 걸까요?아니면 그냥 로그 데이터만 쌓고, 제가 테이블 파티셔닝이라도 해서 직접 로그 테이블에서 지표 수집하는 게 맞을까요?도대체 어떻게 해야 될지 모르겠습니다...ㅠㅠ 조언 한번씩만 부탁드려요..

AskeTeddy · Answer

빅데이터는 어려운 문제입니다.특히 로그 관리 문제는 처음 설계단 부터 data engineering 관점을 염두해야합니다.현재는 게임 서버에서 로그를 쌓는것에 문제가 없어보이는데요. 분리해서 생각해보면 어떨까합니다.로그 데이터는 쌓이게 두고, 해당 데이터가 쌓이면서 다른 디비에 지표를 만드는 CDC 구축을 염두하는게 좋지 않을까 생각합니다.

웹땔깜 · Answer

저도 잘 모르고 질문한다는 걸 미리 말씀드리구요,(아마 실제 경력자 분이 훨씬 좋은 답변을 달아주실 겁니다)스케줄러가 돌아갈 때 DB가 왜 버벅이는지가 궁금하네요. 그 부분에 대해 모니터링이 되어 있나요?

kkang01 · Answer

https://www.youtube.com/watch?v=-5Kul72jqLQ

더미 · Answer

우선 db 서버를 분리해야 될거같은데요

basscraft · Answer

저희도 MariaDB인데 1년전만 해도 로그 테이블이 8억건 정도 됬던것 같습니다.현재는 테이블 파티셔닝 해서 3개월 이상 지난 파티션은 삭제하고 있습니다. 그래도 3달 기준으로 2.5억건 존재 하네요정답이 있는 것은 아니지만...우선은 더 늦기 전에 로그 보관에 대한 내부 규정을 수립 하시고그것에 따라 테이블 파티셔닝 및 과거 파티션 삭제를 해야 나중에 덜 고생 하십니다.질문하신 것은, 일반적으로 집계 테이블을 따로 가져가시길 권장 드립니다.그리고 집계를 위해서 SELECT 만을 하는데도 성능이 느려지는 것은 쿼리 손을 좀 보시필요하면 인덱스도 생성을 하시고 해야 할 것 같습니다.

갸복치야 · Answer

제가 일하는 곳에서도 그정도 양의 데이터가 있습니다. 근데 조회를 하다보니 페이지가 열리지 않아서 기간별로 조회를 하게 만들었습니다. 지표 데이터를 뽑아서 저장하시는거면 기간별로 이미 저장된 데이터는 놔두고 새로운 데이터를 가져오는건 어떨까요. 이미 수집한 로그 데이터를 다시 수집할 필요가 있을까요. 자세한 내용이 없어서 일단 적어봤습니다.아니면 서버를 2개를 만들어서 가공하는 서버는 좋은 성능의 서버를 사용하는 것도 나쁘진 안을꺼같아요.다른 글에서 본적이 있는데 돈없는 회사에서 한 서버에서 시작했다가 돈이 벌리면 기능을 나눠서 서버를 산다고 하더라구요. 그렇게 서버가 하나둘씩 ...

초무쿤 · Answer

근본적으로는 계속 누적되는 로그성 테이블들은보통 파티션 테이블로 생성해서 해결을 합니다. (아마 파티션으로 되어있을거라고 봄) 파티션 처리시에는 파티션별 병렬 프로세스나 쓰레드로 파타션별 처리해야 처리속도가 보장이 됩니다.(그냥 단일 프로세스로 처리시 Range All로 파티션 테이블 이점을 가지고 가지 못할뿐만 아니라 더 느려질수도 있음.)

징징이희수 · Answer

파티션 테이블로 설정mysql 보다는 postgreSQL 을 사용 ( mysql > postgreSQL 복제떠서 관리하면 성능 잘나옵니다 )개인적으론 1 보단 2를 추천드려요

MySQL 로그 테이블에서 지표 데이터 집계

8개의 답변

Q&A 목록