"생성형 AI의 기반", 대규모 언어 모델 안내서
언어 모델의 기원과 발전: 언어 모델의 역사는 20세기 초로 거슬러 올라가며, 2017년에 등장한 트랜스포머 아키텍처가 LLM의 발전에 중요한 역할을 함.
LLM의 활용: LLM은 텍스트 생성, 코드 생성 및 완성, 텍스트 요약, 언어 간 번역, 텍스트-투-스피치 등 다양한 작업에 유용.
LLM의 단점: 현재 개발 단계에서 LLM은 생성된 텍스트의 품질이 떨어지고, 때로는 사실이 아닌 정보를 생성하는 문제(환각)가 있음. 또한, 번역의 정확도 문제, 생성된 코드의 버그, 안전 장치의 취약성 등이 있음.
학습 데이터와 저작권 문제: LLM을 학습시키기 위해 대규모 텍스트 데이터가 필요하며, 이에는 저작권 침해와 데이터의 질적 문제가 있음.
모델의 크기와 매개변수: LLM은 수백만 개 이상의 매개변수를 필요로 하며, 매개변수의 수가 증가할수록 모델의 정확도는 높아지지만 메모리 요구량과 실행 속도에 영향을 줌.
언어 모델의 역사: 언어 모델의 역사는 1913년 안드레이 마코프의 연구에서 시작되었으며, 시간이 지남에 따라 크기와 성능이 개선되었음.
언어 모델의 크기에 대한 논란: 크기가 큰 언어 모델이 반드시 좋은 것은 아니며, 환경적, 재정적 비용을 고려하여 데이터 집합을 선별하는 것이 중요하다는 의견이 있음.
대규모 언어 모델의 발전: 2017년 "필요한 것은 주의 집중(Attention is All You Need)"이라는 논문에 의해 촉발. 이 논문은 순환과 컨볼루션을 배제하고 주의 집중 메커니즘만을 사용하는 새로운 신경망 아키텍처인 트랜스포머를 소개.
대표적인 대규모 언어 모델: ELMo, BERT, T5 등. ELMo는 2018년에 출시된 AllenNLP의 LLM로, 단어 사용의 복잡한 특징과 언어적 맥락을 모델링. BERT는 구글 AI가 2018년에 출시한 모델로, 심층 양방향 표현을 사전 학습. T5는 2020년 구글이 출시한 모델로, 모든 NLP 작업을 통합 텍스트-투-텍스트 형식으로 재구성.
GPT 제품군: 오픈AI의 GPT 언어 모델 제품군은 구글의 트랜스포머 신경망 아키텍처를 기반으로 함. GPT 시리즈는 GPT부터 GPT-4까지 다양한 버전이 있으며, 각각의 모델은 더 많은 매개변수와 복잡한 데이터 세트를 사용하여 학습. GPT-3와 GPT-4는 특히 주목할 만한 발전을 보였으며, GPT-4는 다양한 시험에서 인간 수준의 성능을 보여주었음. 그러나 이 모델들은 여전히 환각, 즉 사실을 지어내는 경향이 있음.
코덱스와 챗GPT: 코덱스는 GPT-3에서 파생된 모델로, 코드 생성에 특화. 챗GPT와 빙GPT는 원래 GPT-3.5 기반의 챗봇이었으나, 2023년에 GPT-4를 사용하도록 업그레이드.
구글의 람다와 팜: 구글의 람다는 대화 기술을 위한 언어 모델로, 대화를 통해 학습되며 응답의 분별력과 구체성을 개선하도록 설계. 팜은 고밀도 디코더 전용 트랜스포머 모델로, 다양한 언어 및 데이터 집합을 사용하여 학습.
메타 AI의 라마: 라마는 메타 AI가 개발한 대규모 언어 모델로, 다양한 크기와 사전 학습된 변형이 있음. 라마 2는 라마의 차세대 모델로, 더 많은 데이터와 긴 컨텍스트 길이로 학습.
