ARC-AGI-2 벤치마크 공개
보통 사람은 누구나 쉽게 풀지만 AI는 쉽게 풀지 못하는 문제로 벤치마크를 만드는 ARC-AGI의 새로운 버전이 공개되었습니다.
기존에 공개된 ARC-AGI-1이 철옹성같은 모습을 보이다가 o3에 정복당한 이후에 새롭게 준비한 벤치마크인데요.
ARC-AGI-2는 o3조차도 헤매는 모습을 보여줍니다. (o3 (low)의 경우 ARC-AGI-1 : 75.7% → ARC-AGI-2 : 4.0%)
가로축이 문제당 푸는 비용 (log scale), 세로축이 총점 (linear scale)입니다.
좌상단에 위치할수록 더 효율적이고 좋은 모델입니다.
ARC-AGI-1 결과는 원, ARC-AGI-2 결과는 삼각형으로 표시되어 있는데, 삼각형은 모두 바닥에 붙어있는 모습입니다.
자세한 내용은 해당 웹페이지에서 확인할 수 있습니다.
아래 예제를 보면 알겠지만 ARC-AGI-1보다 테스트가 많이 어려워졌습니다. (기존 문제는 사람이 10-20초 정도면 풀었다면, 이번에는 1-2분 정도는 걸립니다)
위가 ARC-AGI-1 문제, 아래가 ARC-AGI-2 문제입니다.
참고로 ARC-AGI-2는 정답 기회가 두 번까지 주어졌을 때 (pass@2) 최소 두 명은 푸는 것이 확인된 문제로만 구성했다고 합니다.
이름처럼 ARC-AGI가 LLM이 AGI임을 확인하는 벤치마크인지는 잘 모르겠습니다.
다만 박사 수준의 지능을 요구하는 등 너무 어려워지고 특정 분야의 지식을 강하게 요구하는 벤치마크에 비하면 ARC-AGI는 사람이 직관적으로 풀 수 있는 문제로만 구성되어 있어서 저에게는 벤치마크 결과가 더 와닿는 느낌입니다.
ARC-AGI-1은 2020년에 처음 출시되어 4년 만에 정복되었는데, ARC-AGI-2 정복까지는 얼마나 시간이 걸릴지 궁금해집니다.
ARC-AGI-2에 대한 더 자세한 내용은 공식 웹페이지에서 확인할 수 있습니다.
