폐쇄망 환경 LLM 모델 사용 문의

Question

요즘 개발을 하면서 Claude나 GPT 같은 LLM을 활용하는 것이 생산성 측면에서 매우 효율적이라고 느끼고 있습니다.다만 현재 업무 환경이 폐쇄망이다 보니 외부 LLM 서비스를 직접 사용하는 것이 어려운 상황입니다.그래서 같은 환경에서 개발을 진행하시는 분들이 프로젝트에서 LLM을 어떻게 활용하고 있는지 사례가 궁금합니다.현재 제가 생각해본 방법은 다음 정도입니다.외부 환경에서 LLM을 활용해 코드를 작성한 뒤 폐쇄망 서버로 반입하여 동기화하거나 직접 옮기는 방식오픈소스 LLM 모델을 내부망에 반입하여 GPT처럼 사용할 수 있도록 자체 구축하는 방식혹시 폐쇄망 환경에서 LLM을 활용하고 있는 다른 실무적인 방법이나 사례가 있다면 공유해주시면 도움이 될 것 같습니다.

HJOW · Accepted Answer

굳이 쓰려면, 1번은 너무 번거롭고,2번은 해볼만 하지만대신 모델의 추론 성능이 현재 상용 버전대비 많이 떨어질 수 있습니다.그리고 개발툴 플러그인이나 에이전트 이용은 불가합니다. (방법이 있을지도 모르겠지만 전 못봄)맥미니를 구합니다.PC로 하려면 가격이 확 올라갑니다. 맥미니의 장점이 내장 GPU가 많은 램을 사용할 수 있다는 겁니다. 그래서 모델 선택지가 많습니다.물론 맥미니 자체의 램 용량이 클 수록 좋습니다.먼저 바깥에서 인터넷 연결 환경에서, 세팅을 하고 들어가야 합니다.로컬 LLM으로 두가지 프로그램이 있는데, 하나는 Ollama, 다른 하나는 LM Studio 입니다.두 프로그램 모두 조사해보시고 그중 원하는 것 하나를 선택하세요.그리고 설치 후 모델 또한 따로 설치해야 합니다.

더미 · Answer

폐쇄망에서는 제공된 서비스를 사용하는게 유일한 답이라고 보면 됩니다

폐쇄망 환경 LLM 모델 사용 문의

2개의 답변

#llm 목록