[모두레터] 챗GPT와 본격 경쟁 시작⚡
모두의연구소 공식 뉴스레터 [모두레터] I 2024년 4월 22일🌤️
메타, 최신 LLM 라마 3 공개
믹스트랄 8x7B 뒤잇는 모델 나왔다
메타, 최신 LLM 라마 3 공개
마침내 메타(Meta)에서 라마 3가 출시되었습니다. 이번에 공개된 모델은 8B(파라미터 80억 개)와 70B의 두 가지고요. 성능이 향상된 더 다양한 크기의 모델과 라마 3의 연구 논문을 앞으로 몇 달 안에 공개할 예정이라고 합니다. 라마 2보다 성능이 크게 향상된 것은 물론이고, 제미나이(Gemini)나 클로드(Claude), 미스트랄(Mistral) 등 주요 모델들과 비교했을 때도 비슷한 크기의 모델 중에서는 가장 높은 성능을 보여주고 있습니다. 128K 크기의 토크나이저와 GQA 기법을 사용하여 성능을 끌어올렸다고 하네요. 라마 3 시리즈의 가장 큰 모델은 크기가 400B 이상이 될 것이라고 하는데요. 멀티모달(Multimodal) 데이터를 이해하는 능력과 함께, 다양한 언어를 지원하는 모델도 출시될 예정이라고 하네요!
