[모두레터] MS의 반격? 작지만 강한 '파이-3' 출시
모두의연구소 공식 뉴스레터 [모두레터] I 2024년 4월 29일🌤️
MS, 가벼운 언어 모델 '파이-3' 출시
스테이블 디퓨전 API & 멀티모달 챗봇 공개
MS, 가벼운 언어 모델 '파이-3' 출시
©Microsoft
마이크로소프트(MS)가 개발한 SLM(Small Language Model) 파이(Phi) 시리즈의 새로운 모델 '파이-3(Phi-3)'가 출시되었습니다. 'phi-3-mini(3.8B)', 'phi-3-small(7B)', 'phi-3-medium(14B)'의 세 가지 모델이 공개됐는데요. 이 중 가장 작은 'phi-3-mini' 모델은 모바일 하드웨어에 탑재할 수 있을 만큼 작지만, 믹스트랄(Mixtral) 8x7B, GPT-3.5와 같이 크기가 더 큰 모델과 비교할 수 있을 정도의 벤치마크 테스트 결과를 보였습니다.
이전에 MS는 잘 정제된 데이터셋을 사용하여 2.7B 크기의 '파이-2' 모델을 성공적으로 학습시켰는데요. 이 데이터셋의 크기를 키워서 파이-3 학습에도 사용했다고 하네요. 'phi-3-small'과 'phi-3-medium' 모델의 경우 'phi-3-mini' 모델에 비해 성능 향상 폭이 생각보다 크지 않아서 최적화 작업을 계속 진행하고 있다고 합니다.
☄️Llama 3 출시: AI 전쟁의 서막 (메타 라마 시리즈, 2024 LLMs)
라마 3는 이전보다 성능이 크게 향상된 것은 물론, 제미나이(Gemini)나 클로드(Claude) 등 주요 LLMs와 비교해도 비슷한 크기의 모델 중에서 가장 높은 성능을 보여주고 있는데요. 400B 이상의 모델도 이어 공개될 것이라 예고됐고, 오픈AI의 차세대 LLM 모델인 GPT-5도 올여름 중 출시될 것이라는 소문이 있죠!
