LLM 사는얘기... RAG를 묻히며

AI린이 입니다.

AI 개발자가 뭔지도 모르고 AI 니 GenAI 니 범용이니 슈퍼이니 하는거 잘 모릅니다. 들어보긴 많이 들었어요

결국 하고 싶은건 현재 사회에 발생하는 문제를 해결하기 위한 수단인거죠

수단중 AI 라는게 이전의 시플플을 대체한 자바 혹은 스프링 같이 새로운워딩이 나오는거라 이해하고 있습니다.

메타버스나 NTF 랑은 다르죠

반박시 그말이 맞습니다.

LLMOps 는 다들 잘 아시겠지만 LLM 모델은 학습도 어렵고 파인튜닝도 쉽지 않으니

랭체인을 사용해서 프롬프트 엔지니어링 RAG(리트라이벌 아규먼트 제네레이션-문서검색생성) 등을 접목시키는 이전의 MLOps 에서의 딥다이브라고 볼수 있겠죠

LoRA(저랭킹적응)등도 접목하구요

이미 많은 서비스들이 LLM 모델을 선택하면서 답변이나 처리를 해주는걸 제공하고 있기도 하죠

chatGPT 만해도 모델을 고를수 있으니까요

최근엔 RAG 가 GraphRAG 가 핫한거 같네요

데이터가 없다는 글을 봤는데 - 데이터는 양보단 질이라고 하네요

많은 회사에서 RAG 에 쓰려고 문서를 정비하기도 쉽지 않은 반면, pdf 화 해둔 계약 문서등은 꽤 많다는 얘기를 어딘가의 발표에서 들었죠

그래서 그걸 RAG 에서 할수 있게 그래프 개념으로 인풋하는 거라고 하죠

물론 RAG 는 이거 말고도 많은 바리에이션이 있습니다.

다들 개발에 진심이신듯... 존경합니다.

GraphRAG 중에선 마소사가 하는 MS GraphRAG 가 핫하다고도 하네요

onDeviceAI 로도 많은게 가능하고 글을 쓰고 싶지만 길어지니 다음에 남겨볼까 싶네요