카르파시의 펠리컨 (Karpathy’s Pelican)

이제 LLM에 “자전거를 탄 펠리컨의 SVG를 만들어줘” 같은 과제를 내 시험하던 단계를 벗어나기 시작했다. 이를 좀 더 일반화해 볼 방법으로, Opus 5에 『반지의 제왕』 첫 문단과 1M 토큰 예산(~$10)을 주고 three js로 렌더링해 달라고 하면 무엇을 만들지 궁금했다. Opus는 ~2시간 동안 작업해 이야기를 절차적으로 렌더링하는 5500줄의 코드를 작성했다. 다소 엉성하지만 재미있다. LLM이 여러 폴리곤 에셋을 (x,y,z) 좌표에 배치하고 조율하면서, 그 모든 것을 움직이는 코드까지 작성해야 하는데 실제로 무언가를 만들어 냈다는 사실은 조금 경이롭다.

이런 사례가 마음에 드는 또 다른 이유도 있다. 제정신인 사람이라면 이토록 맞춤화된 결과물을 만드는 데 시간을 들이지 않겠지만, LLM에는 지치지 않는 끈기와 인내심이 있다. 덕분에 “누가 이런 걸 하겠어”가 “거의 공짜인데, 못 할 이유가 있나”로 바뀐다. 이런 사례는 훨씬 더 많을지도 모른다. 특히 상상한 대로 초맞춤형 세계를 만들고 그 안에 플레이어를 투입할 수 있다는 가능성이 기대된다. 예를 들어 여기서는 관전자 NPC나 등장인물 중 하나가 되어 LoTR 이야기에 참여할 수 있다. 필요할 때 즉석에서 만드는 일시적인 ‘X 버전 GTA’ 같은 것이다.

마지막으로, 세계와 게임이라는 영역은 LLM의 약점도 드러낸다. LLM은 동영상을 효율적으로 직접 인식하거나 게임을 플레이하기 어려워서 자신이 만든 결과물을 손쉽게 검토할 수 없다. 여기서 Opus 5는 여러 시점의 스크린샷을 아주 느리고 힘겹게 찍어 가며 확인해야 했다. 그 과정에서 몇 차례 실수했고 엉성한 부분도 잔뜩 생겼다. 멀티모달 인식과 게임플레이라는 기초 역량이 아직 상당히 부족하다는 사례라고 생각한다.

영상: https://x.com/karpathy/status/2083749667410727319/video/1

^{source https://twitter.com/karpathy/status/2083749667410727319}

HN에서는 이 시연이 모델의 새로운 역량을 보여주는지, 소셜미디어용 볼거리에 가까운지를 놓고 평가가 엇갈렸다. 문학 문장을 3D 장면으로 옮기려면 공간 관계와 물리 감각, 장면 구성, 애니메이션 코드를 함께 다뤄야 한다. 이를 기존 이미지 생성보다 복합적인 시험으로 보는 시각이 있었다. 다만 Three.js 코드 작성에 익숙한 모델의 특성이 두드러졌을 뿐, 전반적인 이해력이나 실제 업무 능력을 입증하지는 못한다는 반박도 만만치 않았다.

게임 제작 경험이 있는 이용자들은 겉보기보다 실제 사용성을 따졌다. 필요한 요소를 모두 넣어도 발사대가 막히거나 플리퍼가 거꾸로 움직이면 핀볼은 게임이 되지 않는다. 짧은 영상에서는 그럴듯해도 수정할 때마다 다른 기능이 깨지고, 재미와 규칙을 다듬는 과정에서 진전이 멈췄다는 경험도 나왔다. 빠르게 초안을 만드는 능력과 오랜 테스트를 거친 완성도는 별개라는 뜻이다.

더 근본적인 한계는 모델이 결과를 직접 검증하기 어렵다는 데 있다. 화면을 간헐적으로 캡처해 확인하는 방식으로는 계속 변하는 영상과 게임의 오류를 효율적으로 찾기 어렵다. 오디오 작업에서도 비슷한 문제가 제기됐다. 엄격한 규칙을 보장하는 엔진이나 전문 도구를 함께 쓰자는 제안도 결국 생성보다 검증 가능한 작업 환경이 중요하다는 판단에 가깝다.

평가 조건도 따져봐야 한다. 프롬프트가 공개되지 않아 재현하기 어렵고, 이미 수많은 영상과 이미지로 시각화된 작품이라 학습 데이터의 영향을 분리하기도 쉽지 않다. 두 시간의 실행과 약 10달러를 두고 ‘거의 무료’라고 부를 수 있는지도 논란이 됐다. 실무에서는 화려한 시연보다 실제 작업 기록으로 비용·속도·품질을 비교하고, 자동 검증이 가능한지와 반복 수정 뒤에도 기능과 맥락이 유지되는지를 확인해야 한다.