뉴로모픽 신경망 제어기에서 다시 퀀트로
뉴로모픽 신경망 제어 개발하면서 온갖 도메인의 온갖 방식으로 데이터 다루는 노하우가 좀 더 생긴 것 같네요
몇달전에 만든 AI퀀트를 지금 다시보니 엉성해 보이니까 그만큼 제가 성장한 것이겠죠
그리고 MSA 같은건 다시는 안 할겁니다. 로직 개발이 아니라 통신,데이터 정합성 맞추고 인프라 관리한다고 머리 빠게지던 지옥에 다시 빠지고 싶지 않습니다. 그런건 큰 회사에서 여러명이서 권한과 책임을 나눠가지고 꾸준히 해야돼요. 저같은 귀차니즘 인간에게는 전혀 안 어울립니다
철저하게 monolith로 갈겁니다. rust rayon sqlite 1 바이너리로 빌드 후 실행
핫패스는 오직 jetson orin nano super에서만. 왜냐하면 수많은 종목을 커버하는 HFT가 아니라 초대형주 몇몇 종목 위주의 스윙이기 때문에 가볍게 갑니다. 클래식 통계, ML, DL, 뉴로모픽 신경망 연산 다 들어갑니다. 그래서 jetson cuda가 필요한거고 그래도 매우 가볍습니다. LLM은 필요하면 외부 상업용API 사용
데이터 수집은 메인은 한국투자증권 kis 쓰고 그밖에 KRX openapi도 쓰고 대차/대차상환 같은건 kis에도 있지만
https://www.data.go.kr/data/15124865/openapi.do#/ 이런 것도 있고
야후finance도 쓰고 등등
그리고 웜/콜드패스와 헬스체크/외부IP활용은 jetson 과 같은 홈인터넷(대칭형 기가랜) 공유기에 유선 연결된 갤럭시S20+ anroid termux 서버2대와 오라클 클라우드 인스턴스(AMD 1/8cpu 1GRAM VM) 2개로 진행합니다
커피한잔값도 안되는 전기세로 차세대 퀀트 개발을 시작해 볼까 합니다
글로벌 자금 이동부터 추적할겁니다. 채권 외환 상품 주식 지역별 섹터별 … 스윙이니까… 동북아 시장으로 돈이 썰물 밀물 들어올때 어느 섹터 위주로 돈이 흘러가나 top down 으로… 고객예탁금 추이, 신용거래추이/반대매매현황, VIX, 지수선물 지형, 섹터/ETF 순환매, 프로그램 차익/비차익, 외국인/연기금 수급, 이벤트 달력, 대차증감/대차상환…
실시간 틱을 처리하지 않기 때문에 아무리 많은 데이터를 수집하고 계산하고 cuda를 돌려도 아마 cpu core 1개의 5%도 사용 못 할겁니다
갤럭시S20+ 서버를 warm path에 넣은 것은 S20+가 스크래핑과 전처리를 해서 jetson sqlite로 기록한다고 하더라도 jetson 퀀트 프로그램에서 그 데이터가 없더라도 상관없어야 하기 때문입니다. 있으면 좋은거고 없어도 상관없도록 설계하는 겁니다. jetson은 5~10년 24시간 서버로 가동해도 문제가 없는 내구성 좋은 산업용 기계지만 갤럭시S20+ 서버는 실험적인 시도이므로(고성능 허브로 UPS로부터의 전력과 유선랜이 연결됩니다) 언제 중단될지 모르기 때문입니다. 그래도 지난 몇개월 동안 매우 쌩쌩하게 잘 돌아가네요 cpu 깡성능은 좋으니까요.
