이는 어떤 기술이 필요한가요?

Question

안녕하세요 현재 면접용 챗봇 서비스를 만들려고 합니다.챗봇을 구상하다 보니 스프링 지식이 약해서 그런가 궁금한 부분이 생기더라고요.애플리케이션의 로직은 아래와 같습니다.GPT가 면접에 대한 질문을 생성해냄사용자는 질문에 대한 답변을 함GPT는 답변을 토대로 또 질문을 생성해냄일반적인 챗봇 로직이라고 생각합니다. 다만 여기서 궁금한건 &#34;과연 사용자가 여러명이 동시에 처리를 요청할 때는?&#34; 입니다.만약 여러명의 사용자가 동시에 해당 서비스를 이용하게 됐을때, 사용자마다 독립적으로 GPT 로부터 응답을 받을 수 있을지가 궁금합니다. 이를 위해 비동기식 처리를 해야 하는 건가요? 아니면 &#64;Transactional 애너테이션이 있다면 처리가 되는걸까요?스프링에 대한 지식부족과 CS 지식이 부족합니다만, 도움을 주시면 열심히 학습해보겠습니다! 감사합니다

카르단테 · Accepted Answer

당연히 1:N 이 아닌 N:N 으로 쳇봇을 구성하셔야죠...면접 질문이 같다고 해도 질답이 각각 개별로 이루어지는데요...개별 사용자 접속시 마다 GPT 채널을 개설하고 개설된 채널 내에서 질답이 이루어지도록 구성해야죠...

allinux · Answer

질문과는 다른 답변일 수 있습니다만...기업 면접이면 해당 기업의 정보를 알고 있어야 할 것 같은데...gpt 에 그런 private 한 정보가 있을까요? 또 gpt 쪽에 fine tuning 을 한다고 해도 기업 정보를 gpt 에 노출하는 것이 맞을지에 대한 고민도 필요합니다.보통 그런 domain 에 특화된 혹은 보안상 민감한 정보를 위해선 자체적으로 llm 모델을 서비스하는 형태로 해야 할 것으로 보입니다.요새 기업에서도 small llm 모델에 대해서 고민중이고 근래 출시되는 모델들도 100b 이하의 모델들이 많이 나오고 있습니다.작은 베이스 모델을 가져다가 fine tunnig 하여 온프레미스상에 자체 서비스것도 고민해보시기 바랍니다.

비정규분포 · Answer

ChatGPT 사용료 만만치 않아요. 그래서 자본력 있는 회사들은 각자 LLM 만들어서 쓰는데, 그게 아직 말단 개발자가 혼자서 만들기에는 dataset을 구하고 refining하기 어려워서 마냥 쉬운게 아님. 훈련에 드는 클라우드 비용도 만만치 않고. 몇 년 더 기다리세요...만약 여러명의 사용자가 동시에 해당 서비스를 이용하게 됐을때, 사용자마다 독립적으로 GPT 로부터 응답을 받을 수 있을지가 궁금합니다. 이를 위해 비동기식 처리를 해야 하는 건가요?스케일업 하기는 힘들지만, GPT API 사용해서 개발하려면 결국 프롬프트 설계밖에는 없다고 봅니다. 비동기니 뭐니 생각할 필요도 없이 서버 없이 클라이언트에서 다 해먹을 수 있어요.

이는 어떤 기술이 필요한가요?

3개의 답변

기술 목록