벡터 이론? 은 새삼 대단하네요

사내 도입 때문에 rag 를 요즘 공부하고 있어요

BERT 같은 걸로 토큰화 + 임베딩해서 벡터 데이터 생성하는데

Base 기준 레이어 한번만 태워도 각 토큰당 768 자리의 소수 배열이 할당되어 이 배열들의 모음이 나오는데

레이어 12번을 태우니.. 512 토큰이라면 한번의 벡터 데이터 생성하는데 연산 약 160만번 정도하는거죠

그렇게 나온 768 차원의 소수 배열들의 모음들 수억개를 저장해도

인덱스, 유사도 검색 알고리즘을 적용하면

자연어로 질의해도 1초 내로 데이터 내 의미 있는 결과들 뽑아낸다? 미쳤습니다 ㅋㅋ

이를 통해 기존 키워드 기반 검색의 패러다임을 바꿀 차세대 의미 기반 검색이 실현되게 되었고요

이미 응용해서 LLM 같은게 튀어나오고..

이 분야에서 제일 잘 나가는게 요즘 구글 파이 야금 야금 뺐고 있는 perplexity? 라죠?

LLM 사전 학습으로만으로는 만족스러운 답변 안 나오니까

RAG 로 아예 데이터 뽑아서 태워 던지고

또 LLM 은 질의 응답하면서 재귀적으로 학습할거고 신기한 세상입니다

상사님께 이런거 공부해서 설명 드리니까

아니 그러면 RAG 안 태우고 그냥 의미 기반 검색만 해도 엄청난거 아니야?

하시던데 엄청난거 맞쥬..

저도 왜 벡터 데이터가 의미론적 유사도 검색을 가능케하는지 잘 몰랐고

그냥 차원수 많으니까 되는거 아니야? 싶었는데

차원수도 많은데 그걸 BERT 기준 12번, 16번 타는 보일러로 내놓으니까 가능한거였네요 ㅋㅋ

이걸 가능케하는 이론 정립하는 사람들은 사람이 아니라 외계인 같습니다