rust candle llm kv cache

candle로 llm kv cache 와 rust redb 를 동적으로 치환가능합니다

그 redb(그리고 sqlite의 vectordb 아카이브 포함)은 이제까지의 kv cache 값 그리고 관련 주제어로 scraping data를 llm 에서 돌린 0번레이어 벡터를 기록해둔것이고

그리고 llm 생성 중간 벡터값을 기존의 kv cache와 redb의 출력벡터값과 rust 벡터분석기로 비교해서 마음에 안들면 진행중단하고 kv cache 벡터리스트 바꿔서 다시 돌릴 수 있고요. 계속 마음에 안들면 residual에 난수 믹싱해서 방향 혹 틀어버리거나

아주 마음에 들면 lora에 가중치 살짝 올려서 사고방식(편향)을 만들 수도 있고요

마음에 들고 안 들고는 LLM이 대뇌라면 대뇌를 추론영역으로 부리는 변연계의 상태에 따르는것이고