[모두의연구소 모두레터] 팰컨의 후속작 공개?
모두의연구소 공식 뉴스레터 I 모두레터 I 2024년 8월 19일☀️
맘바(Mamba) 아키텍처를 응용한 새로운 언어 모델 등장
일론 머스크의 xAI, 언어 모델 '그록-2' 출시
맘바(Mamba) 아키텍처를 응용한 새로운 언어 모델 등장
©Hugging Face
오픈소스 언어 모델 팰컨(Falcon)을 개발한 연구 기관 TII(Technology Innovation Institute)가 새로운 언어 모델 '팰컨 맘바 7B(Falcon Mamba 7B)'를 발표했습니다. 기존의 언어 모델에 널리 사용되었던 트랜스포머(Transformer) 아키텍처의 핵심인 어텐션(attention)으로는 컴퓨팅, 메모리 비용으로 인해 긴 시퀀스를 처리하는 데 한계가 있었는데요. 이 단점을 극복하기 위한 '상태 공간(state space) 모델' 중 하나가 바로 맘바입니다.
이전에도 상태 공간 모델을 이용한 SSLM(State Space Language Model)이 연구되어 왔지만 성능은 좋지 않았는데요. 팰컨 맘바 7B는 비슷한 크기의 트랜스포머 기반 모델 라마 3(Llama 3), 젬마(Gemma) 등과 비슷한 수준의 벤치마크 점수를 기록했고요. 최적화 측면에서는 더 뛰어난 결과를 보였다고 합니다.
