Moonshot이 K3 개발을 위해 Fable을 증류했다는 정보가 있다

원문 트윗:

Moonshot AI가 K3 모델 개발을 위해 Anthropic의 Fable을 증류했다는 정보를 확보했다. 이를 위해 Moonshot AI는 미국 모델을 대규모로 증류하는 정교한 내부 플랫폼을 개발했으며, 탐지를 피하고자 여러 접근 방식을 빠르게 전환할 수 있도록 했다. 또한 GB300 탑재 서버를 확보했고 태국에서 GB300을 이용한 것으로 파악됐다. AI 모델을 학습하기 위한 목적으로 보인다. 미국은 자유롭고 공정한 발전을 강력히 지지한다.

이를 위해 Moonshot AI는 미국 모델을 대규모로 증류하는 정교한 내부 플랫폼을 개발했다. 이 플랫폼을 이용하면 탐지를 피하고자 여러 접근 방식을 빠르게 전환할 수 있다. Moonshot AI는 GB300 탑재 서버도 확보했으며 태국에서 GB300을 이용했다. AI 모델을 학습하기 위한 목적으로 보인다.

미국은 프런티어 모델, 특화 시스템, 오픈소스 프레임워크, 오픈 웨이트 모델을 아우르는 활발한 경쟁 생태계를 비롯해 AI가 자유롭고 공정하게 발전하는 것을 강력히 지지한다. 더 작고 효율적인 모델을 만드는 데 쓰이는 정당한 AI 증류는 이러한 개방형 혁신 생태계에서 핵심적인 역할을 한다. 그러나 미국의 독점 기술을 훔치고 미국의 연구를 약화하려는 대규모 비밀 산업 증류는 용납할 수 없다.

^{source https://twitter.com/mkratsios47/status/2079933645888880708}

HN에서는 우선 이번 주장을 뒷받침할 증거가 충분한지 의문을 제기했다. Fable의 접근 제한이 풀린 뒤 K3가 공개되기까지 시간이 너무 짧아, 대량의 응답을 수집하고 학습·평가까지 마쳤다는 설명이 선뜻 맞지 않는다는 지적이다. 구체적인 자료 없이 ‘정보가 있다’고만 밝힌 표현도 신뢰를 얻지 못했다. K3의 성능을 증류만으로 설명하면 Moonshot이 자체 개발한 구조와 연구 성과를 지나치게 낮춰 본다는 비판도 나왔다.

기술적으로는 여기서 말하는 증류의 범위부터 모호하다. 전통적인 증류는 토큰별 확률 분포나 내부 정보가 필요하지만, 상용 API에서는 이를 제공하지 않는다. 따라서 대량의 질의로 응답을 모은 뒤 지도학습에 쓰거나, 기존 모델이 새 모델의 답을 평가하도록 했을 가능성이 더 현실적이라는 설명이 제시됐다. 이런 방식은 후발 모델의 성능을 빠르게 높이는 데 유용하지만 선도 모델을 그대로 복제하는 일과는 구분해야 한다.

윤리와 권리 문제에서는 Anthropic을 두둔하는 반응이 드물었다. 인터넷의 저작물과 공개 코드를 학습에 활용해 온 기업이 유료 API 출력을 다시 학습하는 행위만 절도로 규정할 수 있느냐는 반문이 많았다. 비용을 내고 받은 출력은 누가 소유하는지, 이를 합성 데이터로 공개한 뒤 제3자가 학습하면 계약상 무엇이 달라지는지도 불분명하다. 소비자에게는 더 저렴하고 성능 좋은 모델이 늘어나는 이점도 있다.

반면 결과를 경쟁사가 곧바로 흡수할 수 있다면 고비용 데이터와 연구에 투자할 유인이 약해진다는 우려도 무시하기 어렵다. 판단하려면 국적이나 기업에 대한 호감보다 증거의 구체성, 실제 학습 방식, API 계약과 출력의 권리 범위를 먼저 확인해야 한다. 그 위에서 개방 경쟁의 이익과 선도 연구비를 회수할 장치를 함께 따져야 한다.