최근에 LLM응용 개발을 해보았습니다.

Ai쪽으로는 감도 못잡고있다가 몇달전 휴가가서 혼자 끄적끄적 WebUI 붙여보고 로컬 LLM붙여서 되는지 테스트만

해보다 그제서야 뭔가 응용할수있는 아이디어를 하나 얻었습니다.

그래서 이번에 사내에서 활용할 Ai를 어느정도 개발해서 내부적으로 오픈을 잠시 해봤습니다. (챗봇+LLM+RAG)

개발취지는 무슨일이있을때마다 사람들에게 물어봐서 해결하지말고 각자의 모든 경험치를 쌓아 놓고 활용하자 입니다.

(자료는 어딘가에 다 있는데 그걸 그때마다 물어보는건 이제 그만했으면)

추가로 그것을 바탕으로 제품에 응용할 노하우를 쌓자

그리고 카톡 그룹챗에서좀 벗어나자!!!

현재는 테스트를 위해 회사의 사규와 기본정보몇개만 있는 상태입니다. (이것도 학습되어있다라고 표현해야할지는 모르겠습니다.)

그리고 사람에 따라 질의와 결과에 대한 행동과 평가가 다 틀린데 대체적으로 아래로 구분됩니다.

1. 질의를 할때 구체적이지 않음. →현재 유사도검색만 지원하는데 디비검색하듯 질의가 들어감(*몇건이야?) 혹은 질의 자체가 너무 짧음. 챗 GPT에 쓰는방식으로 써야하는데 그걸 내부 LLM과는 분리해서 생각을 하는듯 했습니다. (데이터가 들어가있으니 관련해서 뭘해도 결과는 나와야한다라는 )

2. 챗GPT와의 성능을 비교하는 경향이있음. →하지만 챗GPT가 아무리 똑똑해도 회사 사규나, 대표자 연락처같은건 모름.

3. 처리 속도에 대한 부정적의견. →시간당 만원넘어가는 서버를 붙이면 되는데 그게 안되서 시간당 2천원짜리를 붙였습니다. 그리고 서버가 좋아도 질의즉시 대답을 얻을수는 없었습니다. 최근에 실시간 모니터링등에 Ai를 붙이고 하는건 봤는데 저는 이부분은 부정적으로 보는 편입니다. (일반적인 환경기준으로)

아직 극 초기단계라 더 보긴해야겠는데 이건 마치 화면 디자인가지고 고객에게 계속 컨펌받는것과 같은

강도의 스트레스를 받는것 같았습니다. 그래서 상황에 따라서는 사내에서 활용하는건 그럭저럭 쓸수있겠지만

향후 제품에 챗봇기능은 안쓰는게 나을수도 있겠다는 생각이 들었습니다.

(챗봇이 아니더라도 기 개발된것으로 활용할 부분이 여럿 있어서 그것만으로도 괜찮지 않을까 합니다)

추가로 원래 계획상으로는 이정도 완성하는데 아직도 몇달은 더 걸렸을건데

Spring-Ai framework를 활용해서 개발기간을 대폭 단축시켰습니다.

Ai라고 해서 파이썬을 할 필요는 없이 자바/코틀린기반으로도 접근이 쉬워졌으니 관심있으신분들은

내용을 보시기를 권해드립니다.