🧠 레슨

Kimi 리포트로 보는 LLM 내부 구조 — MoE와 Attention

1T/32B 활성 파라미터, MoE expert routing, MLA, optimizer, post-training으로 모델이 답을 만드는 흐름을 읽는다.

① 리포트 숫자를 모델 동작으로 번역하기

Kimi 리포트로 모델의 몸속을 봅니다

최신 모델 리포트는 벤치마크 자랑처럼 보이지만, 잘 읽으면 모델이 실제로 어떻게 계산하는지 볼 수 있습니다.

이번 레슨은 Kimi 계열 리포트에서 자주 보이는 구조 키워드 — MoE, activated parameters, attention, MLA, optimizer, post-training, agentic data — 를 “모델이 답을 만드는 과정”으로 번역합니다.

오늘의 질문

모델은 그냥 큰 뇌일까요, 아니면 토큰마다 다른 부품을 골라 쓰는 계산 시스템일까요?

📚 「Kimi 리포트로 보는 LLM 내부 구조 — MoE와 Attention」 레슨 내용 전체 텍스트로 훑어보기

Kimi 리포트로 모델의 몸속을 봅니다

최신 모델 리포트는 벤치마크 자랑처럼 보이지만, 잘 읽으면 모델이 실제로 어떻게 계산하는지 볼 수 있습니다.

오늘의 질문

모델은 그냥 큰 뇌일까요, 아니면 토큰마다 다른 부품을 골라 쓰는 계산 시스템일까요?

Kimi K2 공개 리포트에는 1T total parameters, 32B activated parameters라는 식의 표현이 나옵니다. 가장 가까운 뜻은?

맞아요. MoE 모델은 큰 부품 창고를 갖고 있지만, 매 토큰마다 모든 부품을 쓰지 않습니다. router가 일부 expert를 골라 계산하므로 전체 크기는 크지만 실제 계산량은 상대적으로 줄일 수 있습니다.

MoE(Mixture of Experts)는 전문가 여러 명이 있는 주방과 비슷합니다.

토큰 하나가 들어옵니다. 예: “계약서”, “Python”, “환불”, “증명”
router가 이 토큰을 어느 expert에게 보낼지 고릅니다.
선택된 expert들이 계산하고 결과를 섞습니다.

Kimi K2 공개 요약 기준으로는 384 experts 중 token마다 8개 expert를 고르는 구조가 소개됩니다. 숫자를 외우기보다 모든 전문가를 매번 부르지 않고 필요한 일부를 부른다는 감각이 중요합니다.

둘 다 Transformer 계열일 수 있지만 계산 방식의 감각이 다릅니다.

Dense 모델: 모든 토큰이 같은 큰 네트워크 경로를 지나간다. 구조가 단순하고 예측 가능하지만, 모델을 키우면 계산비도 같이 커진다.

MoE 모델: 큰 expert 풀을 두고 토큰마다 일부 expert만 선택한다. 전체 지식 용량을 키우면서도 token당 계산량을 낮추려는 설계다.

Attention은 Transformer가 지금 토큰을 이해할 때, 앞의 문맥 중 어떤 부분을 얼마나 참고할지 계산하는 장치입니다.

예를 들어

“그 회사는 Kimi K2를 공개했고, 그 모델은 MoE 구조다”라는 문장에서 그 모델이 무엇인지 알려면 앞의 Kimi K2를 봐야 합니다. Attention은 이런 연결을 숫자로 계산합니다.

그래서 긴 문서, 코드, 계약서, 대화 히스토리처럼 “앞에서 나온 정보”를 다시 참고해야 하는 작업에서 attention이 중요해집니다.

방금 본 설명을 기준으로, Transformer에서 attention의 역할을 가장 잘 설명한 것은?

맞아요. attention은 ‘지금 이 토큰을 이해하려면 앞 문맥의 어디를 봐야 하지?’를 계산합니다. 이 덕분에 모델은 긴 문맥 안의 단서들을 연결할 수 있습니다.

Attention을 빠르게 계산하려면 모델은 각 토큰에서 나온 key/value 정보를 저장해 둡니다. 이 저장 공간을 보통 KV cache라고 부릅니다.

문맥이 짧을 때: 저장할 토큰이 적으니 KV cache 부담이 작습니다.
문맥이 길 때: 128K처럼 긴 컨텍스트를 다루면 저장·조회해야 할 정보가 커집니다.
토큰을 계속 생성할 때: 새 토큰마다 이전 문맥을 다시 참고하므로 KV cache 효율이 중요해집니다.

여기까지의 연결

Attention은 “어디를 볼지”이고, KV cache는 그 attention을 매번 처음부터 다시 계산하지 않도록 돕는 “문맥 메모장”에 가깝습니다.

Kimi K2 요약에 나오는 MLA는 Multi-head Latent Attention 계열로 이해하면 됩니다. 처음 외울 단어라기보다, 긴 문맥 attention을 더 싸게 처리하려는 구조라고 잡으면 됩니다.

핵심은 KV cache 같은 attention 관련 표현을 더 압축적으로 다루는 것입니다. 즉 “많이 기억해야 하는데, 덜 무겁게 기억하자”에 가까운 설계입니다.

서비스 기능과 구분

프롬프트 캐싱은 API/서비스 호출 비용을 줄이는 기능이고, MLA는 모델 내부에서 긴 문맥을 다루는 계산 구조입니다. 둘 다 “긴 문맥 비용”과 관련 있지만 층위가 다릅니다.

Kimi K2 공개 요약에는 128K context length가 나옵니다. 그러면 긴 문서를 그냥 전부 넣으면 항상 잘 답할까요?

정답입니다. 긴 컨텍스트는 큰 장점이지만 만능은 아닙니다. Attention/MLA/KV cache는 긴 문맥을 처리하는 내부 구조의 문제이고, 사용자가 넣은 긴 문서 안에서 중요한 근거를 잘 배치·검색·요약하는 문제는 여전히 남습니다.

리포트에 나오는 MuonClip optimizer 같은 단어는 모델이 답변할 때 쓰는 기능이라기보다, 거대한 모델을 훈련할 때 쓰는 운전법에 가깝습니다.

모델은 다음 토큰 예측을 틀릴 때마다 파라미터를 조금씩 고칩니다.
optimizer는 “어느 방향으로, 얼마나 고칠지”를 정합니다.
초거대 MoE 훈련에서는 loss spike 같은 불안정이 생길 수 있어 안정화 기법이 중요해집니다.

즉 optimizer는 큰 모델을 망가지지 않게 오래 훈련시키는 기술입니다.

Kimi 같은 Transformer/MoE 모델에서 토큰이 처리되는 흐름을 감각적으로 정렬해봅시다.

좋습니다. 실제 구조는 레이어가 반복되며 더 복잡하지만, 큰 그림은 token → embedding → attention → expert/MLP → 다음 token 확률입니다.

최신 모델 리포트는 보통 base와 instruct/post-trained 모델을 나눕니다.

Base model

대규모 텍스트로 다음 토큰 예측을 배운 기본 모델입니다. 세상 지식과 언어 패턴의 바탕이 됩니다.

Instruct / post-trained model

사람 지시를 따르고, 도구를 쓰고, 안전하게 답하고, 코딩 과제를 수행하도록 추가 학습한 모델입니다.

우리가 채팅에서 만나는 모델의 성격은 base만으로 결정되지 않습니다. post-training과 RL, synthetic/real environment interaction이 실제 사용감을 크게 바꿉니다.

Kimi K2는 agentic capability를 강조합니다. 여기서 중요한 의미는?

맞아요. agentic은 모델 혼자 모든 것을 한다는 뜻이 아니라, 도구 호출과 환경 피드백이 있는 루프에서 더 잘 작동하도록 학습·평가되었다는 의미에 가깝습니다.

모델 리포트를 볼 때 두 층을 나눠 읽어야 합니다.

벤치마크 읽기: SWE-Bench, AIME, GPQA 같은 점수로 무엇을 잘하는지 본다. 다만 점수는 결과표다.

구조 읽기: MoE, attention, context length, optimizer, post-training으로 왜 그런 성능이 나올 수 있는지 가설을 세운다. 구조는 동작 원리다.

오늘 배운 내용을 한 문장으로 완성해봅시다.

정답입니다. 이 감각 하나만 잡아도 1T total / 32B activated 같은 리포트 숫자가 훨씬 잘 읽힙니다.