GPT4 발표된거 간단 정리
마소 발표기간때 공개될 것 같던 GPT4 가 오늘 예상보다 일찍 공개되었네요
ChatGpt Plus 가입되어 있으면 지금도 사용해볼 수 있도록 바로 풀렸습니다.
(API는 신청받고 있는데 점점 공개한다고 합니다.)
중요한 내용중 빠진 부분이나, 틀린 부분있으면 알려주세요!
- MMLU 86.4 % english
한국어 기준으로는 77%라고 합니다. (기존 chatgpt에 기반 모델인 3.5는 영어 기준 70.1% 수준이라고 하네요)
-여전히 팩트가 아닌 사실을 지어내서 만들지만 기존버전보다 40% 정도 감소
(논문 검색해달라고 하면 없는 논문 제목을 만들어내서 알려줄때가 많았는데, 그런 문제점이 개선되었다는 것 같아요)
원문: We spent 6 months making GPT-4 safer and more aligned. GPT-4 is 82% less likely to respond to requests for disallowed content and 40% more likely to produce factual responses than GPT-3.5 on our internal evaluations
-입력할 수 있는 토큰 수 25000개로 증가
오픈AI, 더 똑똑해진 GPT4 공개… 미국 변호사 시험 상위 10% 수준 - 머니S (mt.co.kr)
그외 미국 연방 변호사 시험을 상위 10%권으로 합격
(GPT-3.5는 하위 90% 로 합격)
미국 생물올림피아드(2020년 준결승 기준) GPT4%는 상위 1%
(GPT-3.5는 하위 30%)
미국판 수능인 SAT에서 상위 10% 성적
시연 부분
GPT-4 Developer Livestream - YouTube
짧은 데모들이지만 이미지 멀티 모달의 위력을 보여주는 내용이 많았습니다.
그중 하이라이트는 메모장으로 그린 그림보고 html 화면으로 코딩하는 부분이라고 생각되네요
그외 멀티모달에 관한 부분은 gpt4 report 보면 자세히 알 수 있습니다. (31페이지부터 몇가지 실제 사례가 나옵니다)
그중 몇개만 보면
통계 그래프 해석해주기
실제 사진 보고 문맥 파악해서 설명하기
논문 사진보고 설명해주기
아마 한국시간으로 17일날 정시에 열리는 마이크로소프트 행사에서 GPT4 내용이 더 나오지 않을까 싶네요
개인적으로는 코딩부분은 아직 아쉬운 수준인데(프로그래밍 대회에서 점수가 하위권에 머뭄), 표준화된 시험이나 정답은 기대 이상으로 잘 맞추는 것 같습니다.
그밖에 구글에서도 PALM 모델을 API 로 최초로 공개했고,
NVIDIA 발표도 곧 진행된다고 하는데, AI 쪽 경쟁이 더욱 치열해지고 있는 것 같네요
