springboot와 LLM 챗봇 모델 연동 방법이 궁금합니다(fastapi?)

Question

안녕하세요! LLM 모델을 직접 학습시켜 챗봇 관련 서비스를 만드려는데 전체적인 아키텍쳐가 그려지지 않아 도움 요청드립니다.llm 모델 학습 개발하는 팀은 따로 있고(완전 분리), 저는 해당 모델을 가져다 챗봇 서비스를 구현해야 하는 상황입니다.프론트엔드는 react native로 구현했고, 백엔드는 springboot로 구현할 예정입니다.문제는 파이썬 웹서버를 따로 두고 스프링프젝과 api로 통신하는게 맞는지 모르겠습니다. 1) 챗봇이다보니 속도가 중요한데 스프링과 fastapi/flask 등 파이썬 웹서버가 따로 돌아가도 괜찮을까요? api 호출 속도면에서 느리진 않을지 궁금합니다.2) 아니면 아예 스프링 자체에 llm 관련 라이브러리로 모델만 임포트해서 쓰는게 나을까요? 3) 혹은 프론트단에서 아예 파이썬 웹서버를 바로 호출하게 해야 할까요? 이렇게되면 채팅 내용 검증 등은 다 이쪽에서 해야 되려나요..?ai팀과 협업은 처음이고, 백엔드쪽은 제가 다 담당해야 하는데 어떤게 맞는 방향인지 감이 안 옵니다.. 아무것도 모르는 상태라고 생각하고 답변해주시면 정말로 감사하겠습니다ㅠㅠ

leon808 · Answer

혹시 llm 레퍼런스가 파이썬이랑 자바스크립트 밖에 없어서 그렇게 구현하려고 하시는건가요?기본적으로 curl 요청 양식도 다 적혀있으니 그냥 스프링부트에서 개발된 모델에다가 쏘면 되잖아요

Clickin · Answer

AI팀이 프로그램을 제공해주는 입장인데 일반적으로 인터페이스 정의는 제공해주는 쪽에서 하는 게 맞지 않나요?작성자님은 사용 가능한 API가 뭐가 있고 어떤 파라미터를 던져야하는지 하나도 모르는 상황이라고 보이는데그건 AI팀에서 잘 알아야하는 부분이죠. AI팀이라는게 모델링 학습만 돌릴 줄 아는 사람들이면 뭘 하려고 있는걸까요... 자기네들이 만든 모델을 써보려면 cli든 웹서버든 뭐든 최소한 굴릴 수 있는 환경이 있어야돼요.이 문제와 별개로 LLM의 가장 큰 병목은 언어모델이기 때문에 중간에 서버를 하나 더 거쳐봐야 속도에 차이가 안납니다.

charlatan · Answer

저도 궁금해서 찾아보니 자바 애플리케이션(스프링부트 포함)에서 여러 LLM과 연동하는 라이브러리들이 몇가지 있는 것 같습니다. 예를 들어 LangChain4j, Spring AI 등등. 그런데 결국 LLM 측에서 제공하는 API를 호출하는 형태인 것 같아서 통상적인 API호출과 본질적으로 같다는 생각이 드네요?어차피 모델을 만들어도 그 자체로는 사용할 수 없고 어떻게든 API를 외부로 제공해주어야 합니다. 보통 모델은 파이썬 PyTorch로 개발하는 경우가 많은 것 같은데 이렇게 되면 FastAPI로 API 엔드포인트를 만들어주고 외부 애플리케이션(스프링 부트 같은)에서 그것을 호출하는 것이겠죠. 일반적으로 다른 애플리케이션도 프론트엔드에서 직접 API를 호출하는 경우보다는 백엔드를 거쳐서 LLM API를 호출하는 것이 바람직할 것 같습니다.

springboot와 LLM 챗봇 모델 연동 방법이 궁금합니다(fastapi?)

3개의 답변

#llm 목록