AI(LLM Rag) 를 활용하여 서비스를 구성한다면

Question

혹시 아래 내용에서 유용하거나 재미있는 아이디어가 있을까요?어느정도 개발되면 오픈소스와 함께 구매형 서비스를 계획 하고 있습니다langchain 을 활용하여, AI 관리 시스템을 목표로 하고 있습니다(채팅 서비스같은 디자인)AI 관리 시스템을 만든 이유는 다음과 같습니다(음슴체입니다)프롬프트에 질문하고 복붙하는게 노가다 (프롬프트 엔지니어링에 시간이 많이들음)거짓말(할루시네이션)을 인지 못하면 산으로 가는 코드들응답 시간이 길어도 상관없지만 토큰을 잔뜩 쓰고 싶음 (bedrock 비싸지면 오픈소스로 낼듯)채팅창같은 ui 로 ai 를 관리하고 싶음 (몇몇 ai 불러서 특정 자료 보여주거나, 프롬프트 디자인 바꿔달라거나)코드는 알아서 반영해줬으면 함 (대신 git branch 는 ai 별칭으로 해서)나는 rag 최신화나 전체적인 관리만 했으면 좋겠음저희가 현재 구성하는 기능은 다음과 같습니다ai 를 관리하는 개발자용 채팅툴각 ai 는 1개의 역할을 부여합니다테스트 코드 작성( 테스트가 실패하면, 실패 로그를 context 에 던저서 성공할때까지 반복합니다 )피드백 관리사용자(ai 관리자)는 채팅창에서 결과물에 대한 평가(피드백)을 하고 이는 프롬프트 템플릿에 영향을 줍니다피드백을 프롬프트 엔지니어링 하도록 json 을 만듬서재 공간(text, pdf)서재에 pdf 를 업로드하고 관련 정보를 입력하면, 이후 임베딩 ai 는 rag 를 만들고 활용합니다각 ai 가 작성한 결과물을 확인하는 작업 공간각 ai 가 작업한 내용을 추적하고 git blaim 과 유사하게, 결과물에 대한 과거 피드백을 줄 수 있습니다개발 기술은 python, kotlin, go, flutter(&#43;wasm: rust) 입니다AI 모델로 Llama3.1 8B 를 사용중이며, RAG 는 langchain 활용해서 chromaDB 사용하고 있습니다지금은 llm &#43; rag 로 프론트엔드에서 테스트코드를 작성 하는 부분을 AI 로 대체 하였습니다한글 자료를 rag 로 만들때는 퀄리티가 많이 낮은 것 같아 아쉽네요

일랑이유리 · Answer

포폴로 만들다면 Llama3.1 8B 이거 돌릴서버 구성하는데 최소 모델이라도 비용이 꽤들꺼같아여일단 그래픽카드 달린 서버를 운용해야되니;

AI(LLM Rag) 를 활용하여 서비스를 구성한다면

1개의 답변

#langchain 목록