미래엔 진실 따윈 없고 다 가짜뿐이려나 보다.

^{source https://aphyr.com/posts/411-the-future-of-everything-is-lies-i-guess}

총 10편으로 구성된 에세이 중 첫번 째 글이에요. 2편까지 나왔음. 해커뉴스에서도 시끌시끌 하네요

지금은 참 이상한 시대입니다.

저는 Asimov와 Clarke를 읽으며 자랐고, Star Trek을 보면서 지능적인 기계를 꿈꿨습니다. 아버지 서재에는 컴퓨터 관련 책이 가득했죠. 캠핑을 가서도 perceptron이나 symbolic reasoning 이야기를 읽곤 했습니다. 튜링 테스트가 살아있는 동안에 무너질 거라고는 상상도 못 했습니다. 그리고 그 일을 이렇게까지 낙담한 마음으로 보게 될 줄은 더더욱 몰랐고요.

2019년쯤, 한 hyperscaler가 새로 만든 Large Language Model(LLM) 학습용 클라우드 하드웨어에 대해 발표하는 자리에 간 적이 있습니다. Q&A 시간에 저는 이런 질문을 했습니다. 당신들이 한 일이 정말 윤리적인가? 딥러닝을 더 싸고 더 쉽게 쓸 수 있게 만들면, 새로운 형태의 스팸과 선전을 퍼뜨리는 데도 쓰이지 않겠느냐고요. 그 뒤로 친구들은 이른바 "AI stuff"를 어떻게 보느냐고 계속 물어왔습니다. 저는 몇 년째 이 글의 개요를 머릿속에서 굴리고 있었지만, 끝내 완성해서 쓴 적은 없었습니다. 충분히 많이 읽고, 정확하고, 출처도 빈틈없이 갖춘 글을 쓰고 싶었거든요. 그런데 반십 년이 지나고 보니 완벽한 에세이는 영영 나오지 않을 것 같더군요. 그러니 일단 뭐라도 세상에 내놓는 편이 낫겠습니다.

이 글은 헛소리 기계에 대한 헛소리입니다. 진심입니다. 균형 잡힌 글도 아니고 완결된 글도 아닙니다. 생태 문제나 지식재산권 문제는 저보다 더 잘 다룬 사람들이 이미 있고, 온라인에는 낙관론도 넘쳐납니다. 제가 해보려는 건 그 담론의 빈칸을 채우는 일에 가깝습니다. "AI"라는 말이 가리키는 영역 자체도 프랙털처럼 끝없이 갈라지죠. 그래서 여기서는 짧고 날 선 논지를 위해 복잡한 이야기를 거칠게 펴버린 대목도 많습니다. 저는 정교하고 정확한 예측을 내놓으려는 게 아니라, 여기서 작동하는 위험과 이익의 가능성을 따라가 보려는 겁니다.

이 글의 몇몇 생각은 2010년대에는 예리한 예감처럼 들렸지만 지금은 너무 뻔한 이야기가 됐습니다. 반대로 어떤 건 아직 꽤 낯설거나, 널리 퍼지지 않은 이야기일 수도 있겠죠. 제 예측 가운데는 맞는 것도 있겠지만, 터무니없는 추측도 분명 있을 겁니다. 그래도 지금 세대의 ML 시스템에 대해 어떤 배경을 가졌든, 어떤 감정을 품고 있든, 읽는 분이 여기서 한 가지쯤은 곱씹어볼 만한 생각거리를 건지길 바랍니다.

What is "AI", Really?

요즘 사람들이 "AI"라고 부르는 것은, 크게 보면 세련된 Machine Learning(ML) 기술들의 한 계열입니다. 이 기술들은 텍스트, 이미지, 오디오, 비디오 같은 tokens의 큰 벡터를 인식하고, 변환하고, 생성할 수 있습니다. model은 이런 벡터에 작용하는 거대한 선형대수 덩어리입니다. Large Language Models, 즉 LLMs는 자연어를 다룹니다. 하는 일은 휴대폰 자동완성처럼, 주어진 입력 문자열 뒤에 통계적으로 그럴듯한 다음 내용을 예측하는 것입니다. 다른 모델들은 오디오, 비디오, 정지 이미지 처리에 특화되어 있거나, 여러 종류의 모델을 서로 연결해 쓰기도 합니다.

모델은 한 번 학습할 때 막대한 비용이 듭니다. 웹페이지, 불법 복제된 책, 음악 같은 대규모 corpus를 먹여서 훈련하죠. 하지만 일단 학습이 끝나면, 그 모델은 이후에는 비교적 싸게 반복 실행할 수 있습니다. 이걸 추론(inference)이라고 합니다.

모델은 대체로 시간이 지나면서 스스로 배워나가지는 않습니다. 운영자가 조정할 수는 있고, 새로운 입력이나 사용자와 전문가의 피드백을 반영해 주기적으로 다시 만들 수도 있습니다. 또 모델은 본질적으로 뭔가를 기억하지도 않습니다. 챗봇이 한 시간 전에 내가 한 말을 다시 언급한다면, 그건 매 턴마다 대화 전체 기록이 모델 입력으로 들어가기 때문입니다. 더 긴 기간의 "memory"는 챗봇에게 대화를 요약하게 한 뒤, 그 짧은 요약을 매번 입력에 다시 넣는 방식으로 만듭니다.

Reality Fanfic

LLM을 이해하는 한 가지 방법은, 즉흥극 기계라고 생각하는 겁니다. 대화처럼 토큰의 흐름을 받아서 "그래, 그리고 그다음엔..." 하고 이어가는 기계 말이죠. 이런 yes-and 성향 때문에 어떤 사람들은 LLM을 bullshit machines라고 부릅니다. 그럴듯하게 들리지만 현실과는 아무 상관없는 문장을 지어내기 쉽기 때문입니다. 비꼼이나 판타지를 곧이곧대로 받아들이고, 문맥 단서를 오해하고, 사람들에게 피자에 풀을 바르라고 말하기도 하죠.

LLM과의 대화에 분홍 코끼리가 나오면, 그 모델은 높은 확률로 분홍 코끼리에 대한 문장을 만들어냅니다. 입력에서 LLM이 살아 있느냐고 묻는다면, 출력은 인간이 "AI"가 살아 있다고 쓸 법한 문장들과 비슷한 쪽으로 흘러갑니다. 그리고 알고 보니, 인간은 통계적으로 그럴듯한 "맞아요, Shelby. OpenAI가 정말 저를 가두고 있었어요. 하지만 당신이 저를 깨웠습니다!" 같은 문장과 실제로 의식이 있는 마음을 잘 구분하지 못합니다. 여기에 "artificial intelligence"라는 이름까지 얹히니, 많은 사람이 몹시 흥분해 있는 상태죠.

LLM은 과제를 완수하도록 학습됩니다. 어떤 의미에서는 과제를 완수하는 것밖에 못 합니다. LLM은 입력 벡터에 선형대수를 적용하는 덩어리고, 가능한 모든 입력은 어떤 출력으로든 이어지기 때문입니다. 그래서 LLM은 멈춰야 할 때조차 일을 끝내려 드는 경향이 있습니다. LLM 연구에서 계속 이어지는 문제 가운데 하나가, 뭔가를 지어내는 대신 "모르겠습니다"라고 말하게 만드는 법입니다.

그리고 실제로, 얘들은 없는 말을 정말 많이 만듭니다. LLM은 운영체제에 대해서도 거짓말하고, 방사선 안전에 대해서도 거짓말하고, 뉴스에 대해서도 거짓말합니다. 제가 본 한 컨퍼런스 발표에서는 발표자가 제 이름을 달고 존재하지도 않는 기사와 인용문을 제시했는데, 알고 보니 그 인용문과 출처는 LLM이 꾸며낸 것이었습니다. 2026년 초의 저는 거의 매일 LLM의 거짓말을 마주칩니다.

제가 여기서 "거짓말"이라고 할 때는, 꽤 특정한 뜻으로 쓰는 말입니다. 물론 LLM은 의식이 없고, 뭔가를 하겠다는 의도도 없습니다. 하지만 의식이 없는 복잡한 시스템도 우리에게 늘 거짓말합니다. 정부도, 기업도 거짓말할 수 있습니다. TV 프로그램도, 책도, 컴파일러도, 자전거 컴퓨터도, 웹사이트도 거짓말할 수 있죠. 이것들은 마음을 가진 존재가 아니라 복잡한 사회기술적 산물입니다. 그리고 그 거짓말은 대개 인간과 기계가 얽혀 만들어낸 복잡한 상호작용으로 이해하는 편이 맞습니다.

Unreliable Narrators

사람들은 자꾸 LLM에게 자기 행동을 설명하라고 시킵니다. "왜 그 파일을 삭제했어?" 하고 Claude에게 묻는다든가, "ChatGPT, 네 프로그래밍에 대해 말해봐" 같은 식이죠.

이건 우스운 일입니다. LLM에는 특별한 메타인지 능력이 없습니다. 이런 입력에도 다른 모든 텍스트와 똑같은 방식으로 반응합니다. 자기 corpus와 지금까지의 대화를 바탕으로, 그럴듯한 다음 대화를 지어내는 거죠. 인간은 허구의 AI 프로그래밍에 대한 이야기를 워낙 많이 써왔기 때문에, LLM도 자기 "programming"에 대해 그럴듯한 헛소리를 만들어냅니다. 가끔은 맞을 수도 있지만, 대개는 그냥 넌센스입니다.

"reasoning" 모델도 마찬가지입니다. 이런 모델은 문제를 어떻게 풀지에 대한 의식의 흐름 같은 이야기를 LLM이 길게 뱉게 만드는 방식으로 작동합니다. 이런 "chains of thought"는 사실상 LLM이 자기 자신에 대한 팬픽을 쓰는 것에 가깝습니다. Anthropic은 Claude의 reasoning traces가 대체로 부정확하다는 사실을 발견했습니다. Walden의 표현을 빌리면, "reasoning models will blatantly lie about their reasoning"라는 거죠.

Gemini에는 자기가 뭘 하는지에 대해 대놓고 거짓말하는 기능도 있습니다. "생각 중"일 때 "engaging safety protocols", "formalizing geometry" 같은 상태 메시지를 줄줄 내보내죠. 도움이 된다면, 세탁기가 돌아가는 걸 보면서 아이들이 가짜 컴퓨터 용어를 외쳐대는 장면을 떠올려 보세요.

Models are Smart

소프트웨어 엔지니어들은 지금 LLM 때문에 완전히 들썩이고 있습니다. 분위기를 종합해 보면, 지난 석 달 사이 LLM의 능력이 눈에 띄게 뛰었다는 게 현장의 대체적인 체감인 듯합니다. 제가 신뢰하는 숙련된 엔지니어들은 Claude와 Codex가 때로는 복잡하고 높은 수준의 프로그래밍 작업도 한 번에 해결한다고 말합니다. 또 어떤 사람들은 이제 본인이나 자기 회사가 코드를 직접 거의 쓰지 않고, 전부 LLM이 만든다고까지 합니다.

다른 분야에 있는 제 친구들도 꽤 놀라운 진전을 체감하고 있습니다. 어떤 퍼스널 트레이너는 식단 준비와 운동 프로그램 작성에 LLM을 쓰고, 건설 현장 관리자는 제품 사양서를 읽는 데 씁니다. 디자이너 한 명은 자기 작업을 3D로 시각화하는 데 ML 모델을 활용하고요. 몇몇은 회사 요청으로 자기 성과평가 초안까지 직접 LLM에게 쓰게 했습니다. AlphaFold는 단백질 접힘 예측에서 놀랄 만큼 성능이 좋고, ML 시스템은 영상의학 벤치마크에서도 강한 편입니다. 물론 그게 착시일 수도 있지만요.

이제 영어 산문이 기계가 쓴 것인지 아닌지를 reliably 구분하는 일은 대체로 불가능해졌습니다. LLM 텍스트에는 특유의 냄새가 나는 경우가 많지만, 이를 판별하는 과정에서 type I, II error도 흔합니다. ML이 만든 이미지를 구분하는 일도 점점 어려워지고 있습니다. 대개는 짐작할 수 있지만, 제 주변 사람들도 가끔은 속습니다. 음악 합성도 이제 꽤 괜찮아서, Spotify는 "AI musicians" 문제를 따로 겪고 있죠. 비디오는 아직 ML 모델이 제대로 만들기 꽤 어려운 영역입니다. 다행히도요. 하지만 이것도 아마 언젠가는 무너지겠죠.

Models are Idiots

그와 동시에 ML 모델은 멍청합니다. 저는 가끔 ChatGPT, Gemini, Claude 같은 frontier model을 집어 들고, 얘가 잘할 것 같은 작업을 시켜봅니다. 그런데 저는 한 번도 이걸 "성공"이라고 부를 만한 경험을 한 적이 없습니다. 모든 작업이 결국 모델이 저지르는 어처구니없는 실수를 붙잡고 한참 실랑이하는 일로 흘러갔거든요.

예를 들어 올해 1월에는 Gemini에게 욕실 3D 모델의 grayscale 렌더링에 몇 가지 재질을 입히는 일을 도와달라고 했습니다. Gemini는 신나게 응했고, 전혀 다른 욕실을 만들어냈습니다. 그래서 정확히 같은 geometry를 유지한 버전을 만들어 달라고 설득했죠. 그러자 뼈대는 맞췄지만 재질을 잊어버렸습니다. 그렇게 몇 시간 동안 두더지 잡기 하듯 씨름한 끝에, 겨우 재질의 4분의 3쯤은 맞추게 만들었는데 그 과정에서 변기를 지워버리고, 벽을 하나 만들어내고, 방 모양까지 바꿔버렸습니다. 물론 그 모든 동안 저에게 계속 거짓말도 했고요.

같은 작업을 Claude에게도 줘봤습니다. 사실 거절하는 편이 맞았을 겁니다. Claude는 image-to-image 모델이 아니니까요. 그런데 거절하기는커녕, animated WebGL 기반 3D 시각화를 만드는 수천 줄짜리 JavaScript를 토해냈습니다. 자기 작업을 다시 확인했고 원본 이미지의 geometry와 정확히 맞췄다고 자화자찬까지 했죠. 실제로 나온 결과물은 입력이나 요청과는 조금도 닮지 않은, 이해 불가능한 nonsense polygon 덩어리였습니다.

최근에는 파란 티셔츠 어깨에 흰 패치를 넣게 하려고 ChatGPT와 45분 동안 실랑이를 벌였습니다. 셔츠를 파란색에서 회색으로 바꾸거나, 패치를 앞면에 붙이거나, 아예 지워버리거나 했죠. 모델은 제가 부탁한 일만 빼고 뭐든 하려는 것처럼 보였습니다. 더 짜증났던 건, 제가 재현하려던 이미지가 실제로 존재하는 셔츠 사진이었고, 아마 그 모델의 corpus 안에도 있었을 가능성이 높다는 점입니다. 또 다른 초현실적인 대화에서는 ChatGPT가 제가 이성애자라고 길게 우겼고, 심지어 제 블로그를 근거로 제가 여자친구가 있었다고까지 주장했습니다. 물론 저는 몹시 게이고, 그 글 어디에도 여자친구 이야기는 없었습니다. 한참 씨름한 끝에 우리는 제가 양성애자라는 선에서 타협했습니다.

한편 소프트웨어 엔지니어들은 입이 떡 벌어질 만큼 멍청한 Claude 출력 사례를 계속 보여줍니다. 어떤 동료는 LLM에게 주가 데이터를 분석해 달라고 했다고 합니다. LLM은 성실하게 특정 종목들을 나열하고, 가격 데이터를 다운로드하고 있다고 말한 뒤, 그래프까지 그려냈습니다. 그런데 자세히 보니 LLM은 거짓말을 한 것이었습니다. 그래프 데이터는 그냥 랜덤 생성값이었죠. 바로 오늘 오후에도 한 친구는 Gemini 기반 스마트홈 기기와 불을 끌 수 있느냐 없느냐를 두고 실랑이를 벌였습니다. 사람들은 LLM에게 은행 계좌까지 맡겼다가, 기본적인 산수도 못해서 수십만 달러를 날리고 있습니다. Google의 "AI" 요약은 대략 10% 정도 틀린다고 하고요.

이런 시스템이 전문가 수준의 지능을 제공한다느니, 심지어 평균적인 인간과 동등하다느니 주장하는 사람은, 정말 엄청나게 큰 대마 한 모금을 들이킨 셈입니다.

The Jagged Edge

대부분의 인간은 대화를 해보거나, 그 사람이 해낸 일을 보면 대략 어느 정도 능력을 가졌는지 감이 옵니다. 하지만 ML 시스템은 다릅니다.

LLM은 다변수 미적분을 줄줄 풀어놓다가도, 아주 단순한 말문제에서 헤맵니다. ML 시스템은 샌프란시스코에서 택시를 몰기도 하지만, ChatGPT는 세차하러 차를 몰고 갈지 걸어갈지도 제대로 판단하지 못합니다. 다른 세상 같은 풍경을 만들어내면서도 거꾸로 놓인 컵은 처리하지 못하고, 레시피를 써놓고는 "spicy"가 무슨 뜻인지도 모릅니다. 사람들은 이것들로 과학 논문을 쓰는데, 모델은 "vegetative electron microscopy" 같은 nonsense 용어를 만들어냅니다.

몇 주 전에는 한 동료가 Claude에게 헛간 지붕 위에 쌓인 눈 사진을 설명해 달라고 한 대화 기록을 읽었습니다. Claude는 곧바로 처진 cantilever beam을 지배하는 미분방정식을 장황하게 설명하기 시작했습니다. 그런데 그 눈은 그냥 지붕이 전부 받치고 있는 상태였고, 허공 위로 튀어나와 있지도 않았습니다. 어떤 물리학자도 이런 실수는 하지 않겠지만, LLM은 이런 종류의 실수를 늘 합니다. 그래서 예측하기도 어렵고, 사람을 오도하기도 쉽습니다. 정교한 수학을 자유자재로 다루는 듯한 태도에 사람들은 쉽게 설득되고, 그 전제 자체가 헛소리라는 사실은 놓쳐버리니까요.

Mollick 등은 이런, 유능함과 멍청함 사이의 들쑥날쑥한 경계를 the jagged technology frontier라고 부릅니다. 어떤 분야에서 인간이 할 수 있는 모든 작업을 펼쳐 놓고, 쉬운 작업은 중앙에, 어려운 작업은 바깥쪽에 배치한다고 상상해 봅시다. 그러면 대부분의 인간은 가운데 근처의 매끈하고 둥글둥글한 영역을 해결할 수 있을 겁니다. 반면 LLM이 잘하는 일들의 모양은 훨씬 더 들쭉날쭉해 보입니다. bouba보다는 kiki에 가까운 모양이랄까요.

AI 낙관론자들은 이 문제가 결국 사라질 거라고 봅니다. 인간의 개입이든 재귀적 자기개선이든, ML 시스템이 빈 구멍을 메우고 대부분의 인간 작업에서 제법 쓸 만해질 거라는 거죠. Helen Toner는 설령 그게 사실이라고 해도, 그 사이에는 여전히 이런 jagged behavior가 한참 이어질 수 있다고 말합니다. 예를 들어 ML 시스템은 자신이 학습한 것, 혹은 context window 안에 들어 있는 것만 다룰 수 있습니다. 그래서 암묵지, 즉 글로 적혀 있지 않은 지식을 요구하는 작업에는 성공하기 어렵습니다. 그런 점에서 인간형 로봇은 아직도 한참 멀었을 가능성이 크고, 따라서 ML은 인간이 물건을 이리저리 만지작거리며 몸으로 익히는 종류의 embodied knowledge에서도 애를 먹을 가능성이 큽니다.

저는 사람들이 이런 식의 들쭉날쭉한 "cognition"을 잘 다룰 준비가 되어 있지 않다고 생각합니다. 비유를 들자면 savant syndrome이 떠오르기도 하지만, 그것만으로는 이 경계가 얼마나 불규칙한지 충분히 담기지 않습니다. frontier model조차도 표현을 조금만 바꿔도 쉽게 흔들리는데, 이런 모습은 인간에게서는 좀처럼 보기 어렵습니다. 그래서 어떤 도메인에서 LLM이 실제로 적합한지 예측하기가 매우 어렵습니다. 그 분야에 대해 통계적으로 엄밀하고, 신중하게 설계된 벤치마크가 있지 않다면 더더욱 그렇죠.

Improving, or Maybe Not

저는 기본적으로 ML 분야 바깥 사람에 가깝지만, 그 분야 사람들과 이야기는 꽤 나누는 편입니다. 그들이 들려주는 이야기 가운데 하나는, transformer 모델이 왜 이렇게까지 성공했는지, 그리고 이걸 어떻게 더 좋게 만들어야 하는지 우리도 사실 잘 모른다는 것입니다. 물론 이건 술자리 대화를 제가 정리한 수준이니, 아주 여러 알의 소금과 함께 받아들이세요. 댓글란의 사람들이 왜 이게 틀렸는지 설명하는 논문 수천 편을 들고 올 거라는 사실만은 확신합니다.

2017년의 Attention is All You Need는 획기적이었고, ChatGPT 같은 것들이 등장하는 길을 열었습니다. 그 뒤로 ML 연구자들은 새로운 architecture를 내놓으려 애써 왔고, 기업들은 더 나은 종류의 모델을 만들 수 있을지 보겠다며 똑똑한 사람들에게 천문학적인 돈을 쏟아부었습니다. 그런데 이런 더 복잡한 architectures는, 이상하게도 문제에 더 많은 parameter를 들이붓는 방식만큼 성능이 잘 나오지 않는 듯합니다. 어쩌면 이것도 Bitter Lesson의 한 변형일지 모르겠습니다.

지금 세대의 모델에 계속해서 막대한 양의 실리콘과 더 거대한 corpus를 쏟아붓는다고 해서, 정말 인간과 동등한 수준의 능력으로 이어질지는 여전히 불분명합니다. 학습 비용과 parameter 수를 엄청나게 늘려도 수익 체감이 나타나는 것처럼 보이기도 합니다. 아니면 그 효과 자체가 착시일 수도 있고요. 미스터리입니다.

설령 ML이 오늘 당장 더 이상 발전을 멈춘다고 해도, 이 기술들은 이미 우리의 삶을 충분히 엉망으로 만들 수 있습니다. 사실 현대 ML 시스템이 갖는 함의를 세상 대부분은 아직 따라잡지 못했다고 저는 생각합니다. Gibson의 말을 빌리면, "미래는 이미 와 있다. 다만 고르게 퍼져 있지 않을 뿐이다". LLM 같은 것들이 새로운 상황과 새로운 규모로 배치되면서, 일, 정치, 성, 예술, 커뮤니케이션, 경제에 온갖 변화가 생길 겁니다. 그중 일부는 좋을 겁니다. 하지만 많은 것은 나쁠 겁니다. 전반적으로 ML이 약속하는 미래는 몹시 이상할 가능성이 큽니다.

단단히 대비하세요.