데이터 저장 장소

Question

제가 이번에 증권 Open API를 통해 일단 10년치의 데이터를 저장할려고 합니다. 근데 한 종목의 정보(날짜,시가,저가,고가,종가,~~)를 만약 mysql 하나의 테이블에 넣어줄려고하는데 그럼 몇 천개의 테이블이 생길텐데(종목 여러개를 저장할 예정) 테이블이 너무 많아져서 복잡해질꺼같은데 데이터를 어디에다가 저장해야할지 추천 받을수있을까요?사진처럼 ~~부분은 제가 알고리즘을 돌려서 임의의 값을 넣어 줄것이고 잘못된 것은 제가 수동으로 직접 고쳐서 쓸 생각입니다. 그리고 이 데이터를 가져와서 인공지능 학습을 할려고 합니다.즉 데이터를 저장할수 있고, 수정할수 있는 있는걸 원하는데 MYSQL같은 db를 사용하면 너무 커진다고 생각하는데 이럴떄도 그냥 DB 사용하는 건가요? 아님 이런거에 특화된 무언가가 있을까요?

월급은나의빛 · Accepted Answer

주식 종목 별로 시가, 저가, 고가, 종가, 거래량을 mysql 테이블로 만드는 명령을 적어 줘다음은 주식 종목별 시가, 저가, 고가, 종가, 거래량을 저장할 MySQL 테이블을 생성하는 명령입니다.CREATE TABLE stocks ( stock_id INT AUTO_INCREMENT PRIMARY KEY, symbol VARCHAR(10) NOT NULL, open_price DECIMAL(10, 2), low_price DECIMAL(10, 2), high_price DECIMAL(10, 2), close_price DECIMAL(10, 2), volume BIGINT, trade_date DATE );이 테이블에 우리나라 거래소 종목 전체의 10년치 데이터를 저장하면 테이블 크기가 얼마일까?테이블 크기를 대략적으로 계산해 보겠습니다.한국 거래소 상장 종목 수: 약 2,000개 (정확한 수치는 변동될 수 있음).거래일 수: 한국 거래소는 약 250일 거래합니다. 10년이면 약 2,500일.각 레코드의 크기: 각 종목마다 시가, 저가, 고가, 종가, 거래량, 거래 날짜가 저장됩니다.대략적인 계산:각 레코드는 10개 바이트(심볼) + 5*8바이트(가격과 거래량) + 3바이트(날짜) = 57바이트.2000종목 * 2500일 = 5,000,000레코드.따라서:5,000,000 레코드 * 57바이트 = 약 285MB.대략적으로 10년치 데이터를 저장하려면 테이블 크기가 285MB 정도 필요합니다. 더 정확한 크기는 실제 데이터와 추가 인덱스, 기타 메타데이터에 따라 다를 수 있습니다.mysql에 한 테이블로 만들면 될 것 같습니다.

캐티 · Answer

mysql에서도 아카이브 데이터베이스 타입을 사용하고 .. innodb를 쓴다 하더라도 수정 사항이 많아졌다면 간간히 옵티마이저를 쓰는 것이 좋겠쩌.

정규분포 · Answer

그래서 총 몇바이트인지 말해줘야 답을 드릴 수 있을 듯.NASA 같은데서 데이터 처리할 때 대부분 클러스터링을 기본적으로 합니다. sharding 쪽을 연구해 보셔야함.

MadMango · Answer

AI 학습용으로는 mongoDB+elastic search or vectorDB가 정배인 걸로 압니다. 이쪽으로 공부해 보세요.

데이터 저장 장소

4개의 답변

기술 목록