gpt oss 20b + rtx 3060 12gb 듀얼
gpt oss 20b가 VRAM 16GB 이상 필요하므로 (GGUF 버전은 RAM-VRAM 공유 가능하지만 엄청 느려지고)
VRAM 16GB 이상은 현재 고가이고
요즘 rtx 3060 12gb 가 30만원대 후반이고 이거 듀얼로 쓰면 24gb 니까..
gpt oss 120b 성능은 claude 4.0 sonnet과 비슷하다고 하는데 이건 gpu에 최소 천만원 이상 써야지 가능한거고
gpt oss 20b는 우리가 보통 쓰는 llm에 비하면 성능이 많이 떨어지기는 한데
그래도 gpt 3.5 저성능 그러니까 2022년 11월의 chatGPT 수준은 된다는거니까
3년만에 드디어 노트북(물론 VRAM16GB GPU가 있는)에서도 돌아가는 오픈소스 llm이 나온거네요
gpt 3.5 저성능만 되어도 개인들이나 중소기업에서 활용할 수 있는 것은 엄청나게 많을 겁니다
gpt oss 20b 때문에 rtx 3060 12gb 이거 다시 가격이 오르는 것 아닐까 싶네요
1. 임베딩: BAAI/bge-base-en-v1.5
2. 벡터DB: PostgreSQL + pgvector + TimescaleDB
3. 캐쉬&메세지큐 : redis streams
4. DB백업: 오라클 클라우드 1) 10GB 오브젝트 스토리지(표준) 2) 블록 볼륨 스토리지 총 200GB 3) 미니PC 1번
5. 패턴분석: XGBoost(수치) + MLP(뉴스) 앙상블 동적 가중치
6. 자동매매매프로그램: rust
7. 증권사API: 한국투자증권 openAPI
8. 프론트엔드: sveltekit pwa
9. 매매직전 의사결정보조: gemini LLM
이런걸 한번 만들어 보려고 하는데
임베딩, 패턴분석 하는 모델들은 데이터량이 방대하지 않는 이상 고가의 GPU가 필요하지는 않네요
CPU로도 돌아가고 GPU가 있으면 훨씬 빨리 되는거고
그리고 크기가 큰 LLM이 만능이 아니고
비정형 데이터를 특정용도로 분석하고 학습하려면 특정용도의 모델이 더 정확한거고
기술연습 한다고 토이프로젝트 실험프로젝트라고 하더라도 무의미한걸 만들고 싶지는 않거든요
아무거나 많이 데이터 때려박고 저인망식으로 긁어다가 일딘 해보고
하나씩 룰아웃 해서 가장 좋은 모델 발굴 이런 방식은 하고 싶지도 않고
일단 같은 섹터의 주식종목간의 페어트레이딩에 집중해 볼려고 하는데
은행주는 결국 거의 비슷하게 움직이는데
예를 들어 KB금융 같은 대장주가 먼저 움직인뒤 아직 움직임이 약한 하나금융이 다음날 같은 방향 비슷한 크기로 움직일 확률은 얼마인가?
이런걸 사람이 열심히 십수가지의 데이터를 수집하고 분석하고 검증하고 하는데 컨디션이 좋은 날 운이 좋은 날은 감이 잘 오기도 하지만 생물인지라 컨디션 난조가 생길 수도 있는거라서
이걸 임베딩기계와 패턴분석기가 기계적으로 365일 24시간 착착 처리하고
최종 결정(매수/매도버튼 누르기 전) 전에 패턴분석기의 결론과 그간 백터DB에 쌓아둔 자료중 현황과 가장 비슷한 케이스 3개를 뽑아서 그것을 바탕으로 LLM에게 현재의 위험과 기회 코멘트를 받고
말로 하면 쉬운데.. 전에도 몇번 시도해 봤지만 페어트레이딩에 관련된 수많은 데이터들을 가지고 백테스팅 해 봐도 결국 패턴을 찾지 못했기에..
위의 방식으로 기계적으로 패턴 매칭을 하다보면 인간의 눈에 보이지 않는 뭔가가 나타날 것인지.. 저런 아주 사소하고 개인적인 의문(KB는 먼저 갔는데 내일 하나도 따라갈까?)을 인간의 양자역학적 뇌의 flow 상태에서 정보처리는 엄청난 것이어서 이 세상 그 어떤 수퍼컴퓨터도 못 따라오지만 어느순간 집중력은 흩어지고 의욕도 저하되버리는데 과연 기계는 끊질기게 나 대신 추척해 줄까?
