역전파는 무겁죠

ai를 만드는 핵심 기능인 역전파 기법에 다양한 최적화 이론이 존재하지만 고정된 크기에 가중치를 가지고 있는 모든 레이어를 계산하여야 한다는 점에서 생각하는 것보다 더 무겁습니다.

중국 쪽에서는 800가지가 넘는 MoE 방식으로 최적화 하는 방향으로 가는 것 같네요.

개인이 개발하기에는 GPU 클러스터 조차도 없어서 다른 방식을 생각해보아야 합니다.

지난번에 Ai를 개발하는 고등학생이 올린 게시글이 기억나는데, 단어와 관계를 가지고 ai를 만들면 효과가 있을 것 같다고 얘기했던 것 같습니다.

llm은 언어 모델이라서 일반적으로 단어만 놓고 생각하겠지만 사실은 여러가지 관계를 가지는 정보라는 점에서 애기가 첫 단어를 떼듯이 학습을 해야 할 것 같습니다.

애기도 쓴 맛을 보면 뱉습니다. 하지만 자라면서 용감하게 쓴 약도 잘 먹죠.

아무도 모르는 단순한 구조인 것 같아 보여도 생각 할수록 모르겠습니다.

이번 달은 앱들에 넣을 코어 모듈을 개발하느라 ai공부는 손 하나 대지 않았네요.

솔직히 Ai개발에 집중해야 하는 중요한 시기인데 돈이 많이 들어갈 것을 생각하면 인지도가 높은 앱을 가지고 있어야 하므로 딜레마인 것 같습니다.

램 값이 너무 심해서 부담이 크네요.

이렇게 된 이상 cpu에서 작동 가능한 Ai 개발로 방향을 잡아야 할 것 같네요.

또 중국 프로젝트인데 서버급 제온 cpu로 llm을 구동하는 프로젝트를 보았습니다.

이런 것보다 정말 필요한 최소 계산 만으로 작동하는 Ai개발로 가야죠.