Anthropic의 새로운 암호분석 결과에 관한 몇 가지 생각

어제 Anthropic은 아직 공개하지 않은 고급 모델 Claude Mythos가 내놓은 새로운 암호분석 결과 두 건을 발표했다. 첫 번째는 HAWK라는 서명 방식을 공격한 결과이고, 두 번째는 라운드 수를 줄인 AES에 대한 기존 공격을 개선한 결과다. Anthropic은 이 결과를 만들어낸 연구 과정을 설명하는 블로그 글도 공개했다. 온라인에서 몇몇 사람이 이 모든 것이 무엇을 의미하는지 내게 물었다. 나도 모든 답을 안다고 확신할 수는 없지만, 지금까지 이해한 내용을 조금 적어도 나쁠 건 없겠다고 생각했다. 이는 어디까지나 내 생각일 뿐이며, 해당 두 분야의 전문가를 포함해 다른 사람들의 견해는 다를 수 있으니 그 정도로 받아들여 주기 바란다.

두 결과는 서로 완전히 다른 분야를 다루며, 결과의 완성도도 크게 다르다. 세상이 어떻게 바뀔지, 보유한 암호화폐를 전부 팔아야 할지 같은 거창한 이야기에 앞서 연구의 실질적인 내용을 먼저 살펴보자.

HAWK. 첫 번째는 비표준 서명 방식 HAWK에서 키를 복구하는 새로운 알고리즘이다. HAWK는 module Lattice Isomorphism Problem(module-LIP)을 기반으로 제안된 양자 내성 서명 방식이다. 결과 자체를 Claude가 짧게 요약한 내용은 여기에서 볼 수 있다. 이 결과에 관해 알아야 할 점은 다섯 가지다.

1. HAWK는 배포됐거나 표준으로 채택된 알고리즘이 아니라 제안된 알고리즘이다. 표준화가 진행 중인 Falcon 서명 방식과 관련은 있지만, 서로 다른 난제를 기반으로 하므로 이번 공격을 Falcon에 그대로 적용할 수는 없다.

2. 다만 HAWK는 향후 표준 후보로 평가받는 절차가 어느 정도 진척된 상태였다.

3. 이번 공격이 SF 영화에서처럼 ‘실제로 배포된’ HAWK를 깨뜨린 것은 아니다. 공격에는 여전히 지수 시간이 필요하지만, 알고리즘의 보안 ‘비트’ 수를 대략 절반으로 줄인다. 이론상 키 크기를 두 배로 늘리면 문제를 해결할 수 있다는 뜻이다. 그러나 그렇게 하면 효율이 떨어진다. HAWK를 제안한 이유가 전적으로 다른 방식보다 높은 효율에 있다는 점을 고려하면, 이제는 이 방식의 필요성을 정당화하기가 훨씬 어려워졌다.

4. 이번 공격으로 실제 코드도 만들어졌다. 이 코드는 저자들이 공격 검증용으로 제공한 *약화된 HAWK ‘도전 인스턴스’*를 상대로 몇 시간 안에 실행된다. 실제 배포용으로 제안된 매개변수를 사용한 인스턴스는 아니지만, 암호분석으로 발견한 약점을 입증하기에는 충분하다.

5. 특히 우려할 만하고, 그래서 AI가 공략하기에 알맞은 부분은 이번 공격이 근본적으로 새로운 수학을 발명하지 않았다는 점이다. 이미 널리 알려져 있던 여러 도구를 확장했을 뿐인데도 좋은 결과를 얻었다.

마지막 부분이 중요하다. Claude에게 의견을 물었더니 돌려 말하지 않았다. “이 결과가 정말 흥미로운 이유이자, 솔직히 이 분야가 조금은 부끄러워해야 할 이유는 어떤 재료도 낯설거나 기이하지 않다는 데 있다.” 요약하면, 누군가 우리가 알고 있던 모든 도구를 훨씬 철저하게 적용했을 뿐이다. 공격용 AI가 특히 잘하는 일이 바로 이런 것이다.

AES. 두 번째 결과는 라운드 수를 줄인 AES에 대한 새로운 공격이다. 대부분 ‘AES 공격’이라는 말을 들으면 불안해하므로 처음에는 더 대단하게 들린다. 하지만 두 결과 가운데 흥미도는 이쪽이 훨씬, 훨씬 낮다.

이 블로그를 읽는 사람이라면 대부분 AES가 거의 모든 곳에서 쓰이는 표준 블록 암호라는 사실을 알 것이다. AES는 2001년부터 표준으로 사용됐으며, 배포된 버전은 지금까지 가해진 모든 중대한 공격을 견뎠다. 여기에는 NSA가 수행한 상당한 규모의 비공개 검증도 포함된다. 완전한 암호를 공격하기는 매우 어렵기 때문에 암호분석가들은 보통 약화된 버전, 즉 ‘라운드 수를 줄인’ 암호를 연구한다. 완전한 AES는 키 크기에 따라 10, 12 또는 14라운드를 실행한다. Anthropic의 새로운 결과가 공격하는 대상은 더 약한 7라운드 변형이다.

중요한 사실은 7라운드 AES에 대한 공격이 새롭지 않다는 점이다. 이미 여러 공격이 나왔다. 실제로 Anthropic의 이번 결과는 2013년에 발표된 기존 연구의 논문과 ePrint 버전을 상수 배수 수준에서 소폭 개선한 것이다. 이런 공격이 AES를 실제로 ‘깨뜨리는’ 것과 얼마나 거리가 먼지 보여주는 핵심 수치를 살펴보자. 새로운 공격에는 2^89^회의 암호 연산이 필요하다. 더 심각한 문제는 실제 암호화 장치가 비밀 키를 이용해 공격자가 선택한 평문을 2^105^회 암호화하도록 어떻게든 유도한 뒤에야 이 작업을 수행할 수 있다는 것이다! 어느 쪽도 현실에서는 전혀 실용적이지 않다. 이번 결과가 이전 연구보다 공격 속도를 다소 높였다고는 하지만, 그 향상이 실제로 얼마나 유효한지도 분명하지 않다. 공격 자체에 2^89^회의 연산이 필요해 현실적으로 ‘실행’할 수 없기 때문이다. 지금 확보한 것은 이론상의 분석이며, 모든 세부 사항을 실제로 구현했을 때 실행 시간이 정말 줄어들지는 확실하지 않다.

그렇다고 결과가 나쁘다는 뜻은 아니다! 기법의 관점에서는 여전히 흥미롭다. 다만 HAWK 연구처럼 실용적인 새 공격이 아니라, 기존 지식에 작은 진전을 더한 결과에 가깝다. 요약하면 완전히 새로운 수학적 결과는 없지만, 과학자들이 기뻐할 만한 실질적인 암호분석의 진전은 있다. 특히 HAWK는 실제로 표준이 될 가능성이 있었으나 이제는 표준으로 채택되지 않을 가능성이 매우 크므로, HAWK 연구는 분명 의미가 크다.

이제 이런 결과가 어떻게 나왔으며 무엇을 의미하는지 이야기해 보자.

Anthropic은 어떻게 이런 결과를 얻었나?

Anthropic의 글은 연구 방법을 자세히 설명하는데, 솔직히 조금 우습기까지 하다. Anthropic이 여러 분야의 전문가를 대거 모아 AI를 세심하게 조정한 끝에 새로운 결과를 찾아낸 것은 아니다. 그저 AI에게 결과를 내라고 지시한 뒤, 무언가를 찾아낼 때까지 계속 밀어붙인 것으로 보인다. 믿기 어렵다면 이들이 사용한 프롬프트 몇 가지를 보자. 다음 내용은 Anthropic의 글에서 인용했다.

그렇다. AI는 상당히 능숙해지고 있다. 이제 기존 암호분석 결과를 이해하고 종합해 실제 새로운 공격을 만들며, 심지어 이를 확장할 수도 있다. 세세한 인간의 개입 없이도 가능한 것으로 보인다. 아직 초지능 수준의 암호분석은 아니지만, 그래도 대단히 인상적이다.

이제는 검증 가능성이 병목이다

나 역시 연구자로서 모델과 많은 시간을 보내며 여러 아이디어를 논의해 왔다. 불과 지난 몇 달 사이에도 모델의 성능이 확실히 좋아졌다고 말해도 놀랄 사람은 없을 것이다. 내게 Mythos가 있는 것도 아니고 여기에 쓸 $100k도 없지만, 아직 공개되지 않은 새로운 고급 모델 하나에는 질문을 던져볼 수 있었다. 몇 년 동안 관심을 두었던 질문에서 놀라운 새 ‘결과’를 받기도 했다.

여기에서 진짜 문제가 생긴다. 모델이 새로운 결과처럼 보이는 내용을 내놓았다고 해서 그 결과가 실제로 옳다는 뜻은 아니다. 모델은 진짜 결과를 만들어내는 데도 능숙하지만, 사실은 오해를 일으키면서도 진짜처럼 보이는 결과를 만드는 데는 훨씬 더 능숙하다. 이는 엄청난 좌절감을 줄 수 있으며, 인간의 주의 깊은 검토가 오히려 그 어느 때보다 더 필요하다는 뜻이기도 하다.

물론 예외도 있다. HAWK처럼 약화된 버전을 상대로 몇 시간 안에 실행되는 ‘완전한’ 공격은 검증하기가 매우 쉽다. 코드를 전달한 뒤 실제로 키를 복구하고 선택한 메시지에 서명하는지 누구나 확인하면 된다. AES 결과처럼 미묘하게 속도를 높인 공격은 유효성을 확인하기가 쉽지 않다. 이 경우에는 좀 더 구체적인 접근법이 필요하다. 형식적으로 검증할 수 있는 Lean 증명이 도움이 될 수 있지만, 이런 증명을 쉽게 만들 수 있을 때조차 정리를 어떻게 서술했는지에 따라 결과가 크게 달라진다. 이 부분은 대개 인간 전문가가 확인해야 한다.

최근 나온 흥미로운 수학적 결과 가운데 상당수가 이런 특성을 띤다는 사실을 눈치챘을 것이다. 잘 알려진 정리에 관해 기계가 검사할 수 있는 증명을 포함하거나, Jacobian 추측 사례처럼 직접 계산해 확인할 수 있는 간단한 반례를 찾는 식이다. 그렇지 않으면 여러 전문가가 많은 시간을 들여 결과를 검토한 뒤에야 이를 받아들였다. 인간이 연구를 확인해야 한다는 필요성은 발전 속도를 늦출 것이다. 파괴적인 피해로 이어지지 않는 암호분석 사례에서는 당분간 이런 방식이 이어질 가능성이 크다.

현실에는 어떤 영향을 미칠까?

암호 기술의 사용자, 과학자, 인류 전체 가운데 누구의 관점에서 묻느냐에 따라 답이 크게 달라진다. 하나씩 살펴보자.

암호 기술 사용자에게: 좋은 소식 두 가지와 평가가 엇갈릴 만한 소식이 있다. 첫 번째 좋은 소식은 대칭키 암호의 구조가 매우 복잡하고 견고하다는 것이다. 농부가 트랙터를 늪 한가운데 끌고 들어간 다음 시멘트로 묻어버린다고 상상해 보자. 대칭키 암호의 설계가 이와 같다. 빠르고 쉽게 적용할 수 있으면서도, 구조를 풀어내기는 매우 복잡하고 어렵도록 의도적으로 만든다. 막대한 지능 노동시간이 새로 투입된다고 해서 이 문제가 마법처럼 해결되지는 않을 것이다. AI가 완전히 새로운 기법으로 언젠가 실질적인 진전을 이룰 수는 있겠지만, 지금까지는 그에 필요한 진정으로 획기적인 직관을 보여주지 못했다. 설령 AI가 그런 진전까지 이루더라도, 암호 자체도 개선해 훨씬 깨기 어렵게 만들 수 있으리라고 기대할 만한 충분한 이유가 있다.

공개키 암호는 사정이 더 복잡하다. 공개키 암호에는 한 방향으로는 빠르게 계산할 수 있지만 반대 방향으로는 그렇지 않고, 특정 당사자만 계산을 역으로 수행할 수 있게 해주는 편리한 ‘트랩도어’를 갖춘 수학적 대상이 필요하다. 인류가 이런 기능을 구현하기 위해 찾아낸, 편리한 구조를 지닌 수학적 대상은 몇 가지뿐이다. 여기에는 (EC)DLP 문제, RSA, 격자 문제, 부호 이론 분야의 여러 문제처럼 어렵다고 추정되는 ‘난제’가 사용된다. 우리는 이 문제들을 분석하는 데 온 힘을 쏟았지만, RSA처럼 오래된 문제조차 분석에 전념한 사람이 충분하지 않았다. 따라서 아직 발견하지 못한 좋은 공격이 전혀 없다고 단언할 수는 없다. 부호 기반 암호처럼 새로운 분야는 물론이고 격자 기반 암호에서도 특히 그렇다.

이는 AI가 실질적인 진전을 이룰 여지가 많다는 뜻이다.

그렇지만 앞서 좋은 소식이 있다고 한 말은 진심이다. 지금 우리는 EC 기반 암호와 RSA를 사용하는 전통적인 공개키 알고리즘에서 새로운 난제를 기반으로 한 양자 내성 알고리즘으로 넘어가는 역사적인 전환기를 지나고 있다. HAWK 같은 수많은 방식이 표준 후보로 검토되는 이유도 여기에 있다. 대규모의 새로운 공개 암호분석 역량이 등장하기에 완벽한 시기가 있다면 바로 지금이다. 따라서 AI가 우리가 의존하는 난제를 모조리 무너뜨리는 데 성공하지 않는 한, 또는 우리가 Impagliazzo의 Minicrypt에 살고 있는 게 아니라면, AI가 암호분석에 능숙해지기에 지금보다 더 좋은 시기는 없다. 최상의 결과는 우리가 찾아낸 난제에 진정한 확신을 얻고, 암호분석 문헌도 훨씬 탄탄해지는 것이다. 그러기를 바란다.

과학자에게: 지금은 과학자에게도 멋진 시기다. 함께 있으면 즐거운 플라스틱 친구가 생겼고, 가장 어려운 문제를 놓고 이야기를 나눌 수도 있다. 동시에 아직은 인간의 도움 없이 모든 문제를 풀 만큼 똑똑하지 않다. 게다가 새로운 발견이 나오는 속도도 크게 빨라지고 있다. 활력이 넘치는 사람이라면 대체로 좋은 일이다! “이 새로운 결과의 공로는 누구에게 돌아가야 하는가”, “이 모든 새로운 결과를 누가 검토할 것인가” 같은 의문은 여전히 많지만, 아직은 불안에 빠지지 않았다. 세상은 조금씩 나아지고 있다. 지금으로서는 그렇다.

세상 전체에는: 모르겠다. 이 모델들이 ‘과장된 자동완성’에 불과하다거나 발전 속도가 느려지고 있다고 생각한다면 간곡히 권하고 싶다. 그런 생각은 버려야 한다. 모델은 매우 지능적이고 유능하며 빠른 속도로 발전하고 있다. 내가 검토를 요청한 특정 유형의 문제에서 불과 지난 5개월 동안 측정 가능하면서도 인상적인 발전이 있었다고 구체적으로 말할 수 있다. 어딘가에 한계가 있다 해도 아직은 그 증거가 보이지 않는다. 모델이 멍청하다고 생각하는 사람들은 대부분 Google의 무료 AI 검색 결과만 사용하고, 비용도 $20에 불과해 접근하기 어렵지 않은 최고급 모델은 직접 써보지 않는다. 대부분 새로운 분야에서 일하고 있지도 않다.

반대로 모델이 초지능을 갖췄거나 AGI가 이미 도래했다고 생각한다면 그 생각 역시 버려야 한다. 이 도구들과 일하는 경험은 바닥이 갑자기 깊어지는 연못에서 헤엄치는 것과 같다. 잠시 전까지는 발밑에 땅이 있어 편안하게 걸어갈 수 있다. 그러다 어느 지점을 갑자기 넘으면 아무런 도움 없이 혼자 헤엄쳐야 한다. 모델이 도움을 주다가 갑자기 아무것도 모르게 되는 느낌을 가장 잘 설명하는 비유가 이것이다. 지금은 고급 연구를 하다 보면 인간이 그 경계를 쉽게 찾을 수 있으므로, 모델의 지능이 어디에서 급격히 떨어지는지 알 수 있다. 하지만 그 경계는 움직이고 있다. 발밑에서 서서히 멀어지는 것이 느껴진다.

이 변화가 좋은지 나쁜지는 인간이 물을 딛고 걷는 것과 직접 헤엄치는 것 중 무엇을 선호하는지, 그리고 바닥 자체가 움직이는 연못에서 헤엄쳐도 괜찮은지에 달렸다.

내가 전할 수 있는 유일한 좋은 소식은 과학자, 변호사, 영업사원, 심지어 배관공까지 우리 모두가 같은 연못에 있다는 것이다. 다음에 무슨 일이 벌어지든 아마 우리 모두에게 닥칠 것이다. 좋은 일이기를 바라자.

^{source https://blog.cryptographyengineering.com/2026/07/29/some-notes-about-anthropics-new-results/}

HN에서는 이번 결과를 두고 언어 모델을 ‘단순한 자동완성’으로 치부하는 시각과 이미 초지능에 도달했다는 해석을 함께 경계했다. 다음 토큰을 예측한다는 설명은 작동 방식을 이해하는 데 도움이 되지만, 그것만으로 실제 성과까지 평가절하할 수는 없다. 반대로 특정 과제의 성공이 범용 지능을 입증하지도 않는다. 능숙하게 처리하던 모델이 어느 지점에서 갑자기 한계를 드러내는 특성을 함께 봐야 한다는 것이다.

이번 성과에서 주목받은 부분은 새로운 수학을 발명했다기보다 이미 알려진 도구를 폭넓게 조합하고 탐색을 오래 이어갔다는 데 있다. 사람도 충분히 살피면 찾을 수 있는 취약점이지만, 현실에서는 모든 코드와 가능성을 빠짐없이 검토하기 어렵다. 모델은 방대한 자료에서 관련 지식을 찾아 문제에 맞게 연결하고, 반복 작업을 빠르게 수행한다. 이 능력만으로도 연구와 보안 검토의 기본 수준을 높일 수 있다는 평가가 나왔다.

짧은 지시와 반복적인 재시도만으로 결과를 얻었다는 사례는 장황한 프롬프트가 반드시 필요한지 되묻게 했다. 다만 간결한 지시만으로 충분하다고 단정하기는 어렵다. 좋은 질문은 핵심에 더 빨리 접근하게 하고, 전문가가 기존 연구 과정과 부분 성과를 맥락으로 제공하면 성공 가능성도 높아진다. 중요한 것은 문구를 길게 꾸미는 기술보다 모델이 탐색을 계속하도록 절차를 설계하고 결과를 검증하는 방식에 가깝다.

실무에서는 인상적인 한 번의 성공보다 같은 결과를 다시 얻을 수 있는지, 어떤 모델과 실행 도구를 사용했는지, 필요한 정보가 제대로 제공됐는지를 확인해야 한다. 모델의 작동 원리를 능력의 한계로 오해해서도 안 되지만, 한 분야의 돌파를 보편적인 신뢰성으로 확대해서도 안 된다. 결국 성과를 가르는 기준은 모델 자체와 함께 전문가가 탐색과 검증 과정을 얼마나 치밀하게 구성하느냐에 있다.