IQ 140의 LLM 만드는 법

여기 계신 많은 개발자 분들이 LLM 개발을 위해 방대한 데이터를 모으고 계실텐데요. LLM을 개발해온 입장에서 말씀드리자면 이때 빠지기 쉬운 함정이 있습니다. 데이터의 양과 질이 비례하는 건 아니라는 것이죠. 양과 질 모두 훌륭한 데이터셋을 구축해야 IQ 140 급의 LLM이 나옵니다.

‘당연하고 맞는 말인데, 그래서 구체적으로 어떻게 해야 하는거야?’라는 생각이 들죠. 

구체적인 방법론이 궁금하신 분들은 11만 건의 LLM 데이터셋을 직접 구축한 과정을 한 번 읽어보세요. 전처리, 지식 그래프, QA 생성, 품질 검증이라는 순서를 거쳐, GPT-4 대비 121% 높은 성능을 달성한 LLM을 만들었습니다.