로컬sLLM과 클라우드LLM의 동거

이 시대는 LLM에게 어떤 질문을 던질 수 있느냐잖아요

그 질문조차 나보다는 sLLM이 훨씬 더 잘 만들 수 있다는 사실

로컬sLLM은 딱 그런 용도로 쓰기에 비용효과적이라는 생각이 드네요

70b급은 저한테 뭔가 어중간하고(그래도 다 필요가 있으니까 있는 것이겠죠)

12b 혹은 27b 까지 로컬 sLLM으로 쓰고

그 이상은 클라우드LLM api로 넘어가기

i5-1135G7 RAM 48GB 구형 노트북을 AI서버로 활용

40GB는 iGPU에 몰아주고, 8GB로 ubuntu server, rust scraper, redis, postgresql(+timscaledb)

openvino igpu에서 gemma 3-27b(int4) 모델과 128k KV Cache 로

뉴스 리스트를 읽고 적절한(사용자의 논리와 시장 데이터와 계속 조정되는 가중치에 맞춰서) 뉴스를 선정하고

내용을 심화 확장할 수 있는 적절한 검색어를 만들고 재귀적으로 계속 검색과 정보 수집을 이어나가는 역할

그리고 이 수집된 정보를 가공하고 패킹징해서 적절한(사용자의 논리와 시장 데이터와 계속 조정되는 가중치에 맞춰서)

질문을 만들어서 클라우드LLM에게 전달해 처리하고 그 인사이트를 보고서로 사용자에게 전달하는 것

이제 집에 로컬 sLLM 하나씩 없으면 안될 것 같습니다