Kimi K3 아키텍처 개요와 해설
어제 공개된 대형 오픈 웨이트 모델 Kimi K3의 아키텍처 그림과 몇 가지 관찰 및 견해를 정리했다.
비교적 복잡해 보이는 것은 사실이지만, 본질적으로는 지난해 공개한 Kimi Linear 모델을 확장해 프로덕션 수준으로 만든 버전이다. 규모는 48B에서 2.8T로 커졌으며, 현재 K3는 다른 모델과 큰 격차로 가장 큰 오픈 웨이트 모델이다.
Kimi Linear에 없던 새로운 구성 요소는 LatentMoE다. 아래 그림은 이미 상당히 복잡해서 이를 생략했지만, 본질적으로 Nemotron 3 Ultra의 LatentMoE와 같다. 궁금하다면 내 LLM Architecture Gallery에서 확인할 수 있다. 핵심 아이디어는 multi-head latent attention과 비슷하게 대형 선형 레이어를 압축하는 것, 즉 더 낮은 차원으로 투영하는 것이다.
Kimi K3도 Nemotron 3, DeepSeek V4 등과 마찬가지로 전반적으로 추론 효율을 높이는 방향으로 발전했다. 기존 구성 요소를 효율성에 맞게 조정한 버전으로 교체한 부분이 많다. 예를 들면 MoE -> LatentMoE, 일반 attention -> multi-head latent attention 및 Kimi Delta Attention이다. 더 자세한 내용이 궁금하다면 내 갤러리에 있는 짧은 튜토리얼과 해설도 참고할 수 있다.
효율성을 조정하려는 목적이 아닌 유일한 구성 요소 변경은 attention residuals다. DeepSeek V4가 mHC(manifold-constrained Hyper-Connections)로 residual path를 개선했듯이, attention residuals도 residual path를 개선하는 방법이지만 작동 방식은 조금 다르다. mHC가 residual path를 더 넓힌다면, Kimi Linear에도 이미 적용됐던 attention residuals는 여러 레이어의 residual을 서로 연결한다. 이 연결 자체에는 각 residual의 중요도와 기여도를 나타내는 attention score가 가중치로 사용된다. 기술 보고서에 따르면 validation loss와 downstream 성능을 일관되게 소폭 개선하며, training cost는 약 4%, inference cost는 약 2% 증가한다.
흥미롭게도 Kimi K3는 모든 RoPE 레이어를 없애고, 대신 전체에 NoPE(No Positional Embeddings)를 사용한다. 이 역시 Kimi Linear에서 이어받은 특성이다. 최근 다른 아키텍처에서는 sliding window attention 같은 local attention 레이어에는 RoPE를, global 레이어에는 NoPE를 사용하는 방향으로 발전해 왔다. 전체에 NoPE만 사용한 아키텍처가 몇 가지 있기는 했지만, 내가 아는 한 frontier급 모델로는 Kimi K3가 처음이다.
이제 Kimi K3는 native multimodal도 지원한다. 반가운 변화다!
기술 보고서에는 이 밖에도 흥미로운 학습 관련 내용이 몇 가지 있지만, 지금까지 아키텍처 측면에서 살펴볼 내용은 이 정도다. 전반적으로 정말 훌륭한 릴리스다.
(Kimi K3 아키텍처와 출시 시점의 벤치마크 비교. 자세한 내용은 아키텍처 갤러리의 K3를 참고하면 된다. 이미지: sebastianraschka.com)
source https://sebastianraschka.com/blog/2026/kimi-k3-architecture-notes.html
HN에서는 Kimi K3가 위치 임베딩을 모두 뺀 NoPE 설계로 실제 성능을 낼 수 있는지가 가장 큰 쟁점이었다. 토큰 순서가 뒤섞이지 않느냐는 의문이 제기됐지만, 인과 마스킹만으로도 모델이 암묵적인 위치 정보를 익힐 수 있다는 설명이 이어졌다. 반복 상태를 쓰는 Kimi Delta Attention과 선형 계층의 감쇠 특성도 앞뒤 관계와 상대적 위치를 파악하는 단서가 된다. 덕분에 전역 어텐션은 거리에 얽매이지 않고 개념 사이의 관계를 찾는 데 집중할 수 있다는 해석이다.
LatentMoE와 Kimi Delta Attention, attention residuals 같은 구성은 K3를 단순한 규모 확장으로만 보기 어렵게 한다. 일부는 이를 독자적인 연구 역량의 근거로 삼아, K3를 증류의 결과로만 규정하는 주장에 선을 그었다. 직접 사용한 이들은 복잡한 작업이나 C++ 코드에서 버그와 구조적 문제를 찾는 능력을 높게 평가했다. 다만 필요 이상으로 오래 추론하는 경향도 지적했다. 몇몇 경험담만으로 우위를 단정하기보다 벤치마크와 실제 작업 품질을 나눠 볼 필요가 있다.
계산 효율을 높인 구조가 운영까지 단순하게 만드는 것은 아니다. 반복 상태를 재사용하려면 체크포인트를 관리해야 한다. 일부 제공 환경에서는 캐시를 고정된 토큰 블록으로 처리해 캐시가 빗나갈 때 추가 입력 연산이 생겼다. 동시 요청이 많은 서비스라면 복잡한 상태 관리 대신 이 비용을 감수할 수도 있다. 모델 자체의 계산량과 실제 서빙 비용을 별도로 확인해야 하는 이유다.
논문과 공개 코드만으로도 핵심 구조를 축소해 실험할 수 있다. 그러나 원래 학습 결과까지 재현하려면 데이터셋과 전체 학습 파이프라인, 인프라, 세부 하이퍼파라미터가 필요하다. 도입을 검토할 때는 구조의 참신함만 볼 일이 아니다. 실제 업무 결과와 추론 성향, 캐시 운용 비용, 공개 구현으로 검증할 수 있는 범위를 함께 따져야 한다.
