혹시 빅데이터쪽 잘 아시는 분 계시나요??

Question

dw구축이 잘 이해가 안가는데요...원천데이터 -> ODS -> DW -> DM 이런식으로 데이터들이 이동이 되던데왜 굳이 이렇게 데이터들을 ODS, DW 나눠서 사용하나요?바로 원천데이터 -> DM 으로 가면 되지않나요?? (데이터 양도 많아서 서버용량 많이 차지할텐데 DW가 있는 이유를 모르겠습니다.)(추가로,DM는 매 일자(혹은 시간으로)별로 같은 데이터들을 매번 넣는다고 하는데,DW는 데이터들의 이력차이를 넣는다고 하는데 이게 무슨 말인지 모르겠지만 모든 DW들이 그러나요?? ㅠㅠ )

Clickin · Answer

빅데이터에 대해서는 아는 바가 적긴 합니다만... 일반적인 통계 입장에서 말씀드리겠습니다.실시간 조회로 원본데이터에서 계속 가져오다보면조금만 기간 늘어나도 OLTP 시스템 자체에 영향을 끼치겠죠데이터 분석한답시고 유저가 서비스를 사용하지 못하는 상황이 나와서는 안됩니다.또한 RAW DATA를 직접 다루는 경우 분석이 생각보다 쉽지 않습니다.비정형 데이터를 정형으로 바꾸고 분석하는 파이프라인을 구축하는 편이 더 효율적입니다.결국 성능과 효율성을 위해 단계를 나누어서 사용한다고 보시면 되겠습니다.디스크 용량은 컴퓨팅 자원중에서는 제일 싼 자원이니까요.

초무쿤 · Answer

DW라는 하에 개념적으로는 맞는거 같은데요.근데 DW는 좀 오래된 컨셉이고(20년도 넘은거 깉은데..)빅데이터분석은 그리 오래되지 않은 컨셉이라(hadoop,hive,spark이라는 도구가 게임체인져인 컨셉)두개다 최종목표는 같으나과정이 많이 다를꺼 같은데요.말씀하신 환경은 사실 옛날 DW스타일이라빅데이터 분석 시스템으로 신규 구축한다면 말씀하신거 처럼 도구 자체가 막강하다보니 중간 단계들이 많이 필요 없을수도..)근데 일단 DW랑 용어를 사용하는 순간 빅데이터 관련 기술은 그냥 도구로 전락되고 옛날부터 구축해오던 정형화된 틀에서 못벗어날듯 합니다. (용어선택의 중요성이..)— chat gpt 답변데이터 웨어하우스(Data Warehouse)와 데이터 마트(Data Mart)는 둘 다 데이터를 저장하고 분석하는 데 사용되는 데이터 저장소입니다. 그러나 그들 사이에 중요한 차이점이 있습니다.1. 스케일과 범위:- 데이터 웨어하우스: 기업 전체의 모든 데이터를 포함하며, 대규모의 데이터를 저장하고 처리하는 중앙 데이터 저장소입니다. 데이터 웨어하우스는 다양한 부서와 업무 영역에 걸쳐서 사용되며, 데이터 통합과 일관성을 제공하는데 주로 초점을 둡니다.- 데이터 마트: 특정 부서나 업무 영역에 초점을 맞춘 작은 규모의 데이터 저장소로, 특정 비즈니스 요구사항을 충족하기 위해 데이터 웨어하우스에서 데이터를 추출하여 구성합니다. 데이터 마트는 특정 부서나 팀의 필요에 맞는 데이터를 제공하고, 상대적으로 빠른 구축과 배포가 가능합니다.2. 구축 시기:- 데이터 웨어하우스: 대개 기업의 전략적인 목표에 따라 장기적으로 구축되며, 여러 시스템과 데이터 원천을 통합하여 구축됩니다.- 데이터 마트: 일반적으로 데이터 웨어하우스가 이미 구축된 후에, 특정 비즈니스 요구에 따라 단계적으로 추가적인 데이터 마트를 구축하는 방식으로 진행됩니다.3. 사용자 포커스:- 데이터 웨어하우스: 경영진과 의사결정자들에게 비즈니스 인텔리전스와 의사결정 지원을 제공하는데 주로 사용됩니다.- 데이터 마트: 특정 부서나 사용자 그룹의 요구사항을 충족하기 위해 설계되어 해당 부서나 사용자들이 데이터를 더 쉽게 이해하고 활용할 수 있습니다.요약하면, 데이터 웨어하우스는 기업 전체의 대규모 데이터를 포함하고 통합하여 비즈니스 전반에 걸쳐 의사결정에 활용되는 반면, 데이터 마트는 특정 부서나 사용자 그룹의 요구를 충족하기 위해 특화된 작은 규모의 데이터 저장소입니다.

으악 또 · Answer

빅데이터는 아니지만 원천데이터는 월래 겁나 많은 데 이걸 통계 낼때만다 가지고 뭔짓을 하면 엄청 느릴꺼 확정일 듯 별도로 통계나 분석 자료를 분류하고 그 데이터를 부분 적용하는게 맞는 듯함

혹시 빅데이터쪽 잘 아시는 분 계시나요??

3개의 답변

기술 목록