로컬sLLM과 클라우드LLM의 동거
이 시대는 LLM에게 어떤 질문을 던질 수 있느냐잖아요
그 질문조차 나보다는 sLLM이 훨씬 더 잘 만들 수 있다는 사실
로컬sLLM은 딱 그런 용도로 쓰기에 비용효과적이라는 생각이 드네요
70b급은 저한테 뭔가 어중간하고(그래도 다 필요가 있으니까 있는 것이겠죠)
12b 혹은 27b 까지 로컬 sLLM으로 쓰고
그 이상은 클라우드LLM api로 넘어가기
i5-1135G7 RAM 48GB 구형 노트북을 AI서버로 활용
40GB는 iGPU에 몰아주고, 8GB로 ubuntu server, rust scraper, redis, postgresql(+timscaledb)
openvino igpu에서 gemma 3-27b(int4) 모델과 128k KV Cache 로
뉴스 리스트를 읽고 적절한(사용자의 논리와 시장 데이터와 계속 조정되는 가중치에 맞춰서) 뉴스를 선정하고
내용을 심화 확장할 수 있는 적절한 검색어를 만들고 재귀적으로 계속 검색과 정보 수집을 이어나가는 역할
그리고 이 수집된 정보를 가공하고 패킹징해서 적절한(사용자의 논리와 시장 데이터와 계속 조정되는 가중치에 맞춰서)
질문을 만들어서 클라우드LLM에게 전달해 처리하고 그 인사이트를 보고서로 사용자에게 전달하는 것
이제 집에 로컬 sLLM 하나씩 없으면 안될 것 같습니다