🧠 레슨

Attention Is All You Need — 지금 LLM의 문법이 된 논문

논문 한 편을 일반인 시선으로 읽으며 Transformer와 self-attention의 핵심 맥락을 소화한다.

① 오늘 읽을 논문

Attention Is All You Need

오늘은 논문 읽는 법을 배우는 시간이 아니에요. 실제로 논문 한 편을 일반인의 눈높이로 끝까지 소화해보는 시간입니다.

이 논문은 2017년에 나온 Transformer 논문이에요. 지금 우리가 쓰는 ChatGPT, Claude, Claude Code 같은 생성형 AI의 기본 문법을 만든 논문으로 보면 됩니다.

목표는 수식을 외우는 게 아니라, 논문이 던진 질문 하나를 잡는 거예요.

오늘의 한 문장

AI가 문장을 꼭 앞에서부터 차례대로 읽어야 할까? 필요한 단어끼리 서로 바로 보게 만들면 안 될까?

📚 「Attention Is All You Need — 지금 LLM의 문법이 된 논문」 레슨 내용 전체 텍스트로 훑어보기

Attention Is All You Need

오늘은 논문 읽는 법을 배우는 시간이 아니에요. 실제로 논문 한 편을 일반인의 눈높이로 끝까지 소화해보는 시간입니다.

이 논문은 2017년에 나온 Transformer 논문이에요. 지금 우리가 쓰는 ChatGPT, Claude, Claude Code 같은 생성형 AI의 기본 문법을 만든 논문으로 보면 됩니다.

목표는 수식을 외우는 게 아니라, 논문이 던진 질문 하나를 잡는 거예요.

오늘의 한 문장

AI가 문장을 꼭 앞에서부터 차례대로 읽어야 할까? 필요한 단어끼리 서로 바로 보게 만들면 안 될까?

논문 제목은 Attention Is All You Need입니다. 여기서 저자들이 가장 세게 주장한 말은 무엇에 가까울까요?

맞아요. 여기서 attention은 사람의 집중력 이야기가 아니라, 문장 안에서 어떤 단어가 어떤 단어를 봐야 하는지 계산하는 장치예요. 당시에는 RNN/CNN이 주인공이고 attention은 보조 장치에 가까웠는데, 이 논문은 attention을 주인공으로 올렸습니다.

이 논문이 나오기 전에도 AI는 번역을 꽤 잘했습니다. 하지만 대표적인 방식은 문장을 앞에서부터 순서대로 읽는 쪽에 가까웠어요. RNN, LSTM 같은 모델이 그런 흐름입니다.

순서대로 읽는 방식의 문제

긴 회의록을 첫 줄부터 마지막 줄까지 한 줄씩 읽는다고 상상해보세요. 마지막 문장을 읽을 때 첫 문장의 중요한 단서를 기억해야 하면 힘들어집니다. 그리고 여러 사람이 나눠 읽는 병렬 처리도 어렵죠.

논문의 문제의식도 비슷합니다. 문장이 길어질수록 멀리 떨어진 단어 관계를 잡기 어렵고, 순차 처리 때문에 학습도 느렸습니다.

아래 문장을 읽어보세요.

민지는 계약서를 검토한 뒤 그것을 고객에게 보냈다.

여기서 그것이 무엇인지 이해하려면 어느 단어를 가장 봐야 할까요?

정답은 계약서입니다. 사람은 자연스럽게 멀리 떨어진 관련 단어를 찾아가죠. Self-attention은 이 일을 모델 안에서 하게 만든 장치예요. 각 단어가 문장 안의 다른 단어들을 보며 '내가 지금 누구를 참고해야 하지?'를 계산합니다.

Transformer의 감각은 이 비교로 잡으면 쉽습니다.

예전 방식에 가까운 감각: 문장을 앞에서부터 차례대로 읽으며 기억을 넘겨준다. 뒤로 갈수록 앞 단서가 희미해질 수 있고, 계산도 순차적으로 묶인다.

Transformer의 감각: 문장 안의 모든 단어가 서로를 한 번에 바라본다. '그것'은 '계약서'를, 동사는 주어와 목적어를 직접 참고한다. 그래서 멀리 떨어진 관계도 바로 연결한다.

Self-attention은 수식으로 들어가면 Query, Key, Value가 나오지만, 처음엔 이렇게 이해하면 됩니다.

회의록에서 관련 문장 찾기

어떤 문장을 이해할 때 머릿속에서 질문합니다. “이 말은 무엇을 가리키지?”
문서 안의 여러 문장은 색인처럼 단서를 내놓습니다. “나는 계약서 이야기야”, “나는 고객 이야기야”
질문과 색인이 잘 맞으면 그 내용을 크게 참고합니다.

Query는 질문, Key는 색인, Value는 실제 내용에 가깝습니다. 모델은 이 과정을 모든 단어에 대해 반복합니다.

Transformer가 당시 중요한 이유로 가장 알맞은 설명은 무엇일까요?

핵심은 성능과 학습 효율이 같이 좋아졌다는 점입니다. 논문 초록에서도 기존 최고 수준보다 좋은 번역 품질을 보이면서, 더 병렬화하기 쉽고 학습 시간이 적게 든다고 주장합니다.

초록의 핵심 문장을 아주 거칠게 번역하면 이렇습니다.

논문의 주장

기존 번역 모델은 복잡한 RNN/CNN 구조에 attention을 붙여 썼다. 우리는 recurrence와 convolution을 버리고, attention만으로 만든 Transformer를 제안한다. 번역 실험에서 더 좋은 품질을 보였고, 병렬화가 쉬워 훨씬 적은 시간으로 학습할 수 있었다.

여기서 중요한 건 “새 레이어 이름”이 아니라 구조적 전환입니다. 순서대로 처리하던 문장 모델을, 서로 바라보는 문장 모델로 바꾼 거예요.

그럼 이 논문이 지금 Claude나 ChatGPT와 연결되는 가장 큰 이유는 무엇일까요?

맞아요. 이 논문은 Claude Code 매뉴얼은 아니지만, 지금 LLM의 기본 구조를 이해하는 출발점입니다. 긴 파일을 읽고, 앞뒤 맥락을 참고하고, 필요한 부분에 주의를 기울이는 문제는 모두 attention의 감각과 이어져요.

논문을 현재 작업 감각으로 번역해보면 이렇게 볼 수 있습니다.

논문 속 문제: 모델이 긴 문장에서 멀리 떨어진 단어 관계를 잘 잡아야 한다. 순차 구조는 느리고, 먼 관계를 전달하기 어렵다.

우리가 체감하는 문제: Claude에게 긴 코드베이스나 긴 요구사항을 줄 때, 정말 중요한 파일·조건·이전 결정을 잘 찾아봐야 한다. 컨텍스트가 길어질수록 '어디를 봐야 하는가'가 성능을 좌우한다.

오늘 읽은 논문을 한 줄로 정리해봅시다. 빈칸에 들어갈 말은 무엇일까요?

정답입니다. 모든 단어가 서로를 바라보게 만든 구조. 이 한 문장만 잡아도 Attention Is All You Need의 핵심 맥락은 가져간 겁니다.

이제 논문 한 편을 다 이해했다기보다, 핵심 맥락을 소화했다고 보면 됩니다. 다음 질문은 자연스럽게 이어집니다.

모든 단어가 서로를 보면 계산량은 얼마나 커질까?
문장이 아주 길어지면 attention은 어디에서 흔들릴까?
RAG는 왜 긴 컨텍스트 대신 검색을 붙이려 할까?
Claude Code에게 긴 프로젝트를 줄 때 왜 파일 구조와 요약이 중요할까?

그래서 이 논문은 Transformer에서 끝나지 않고, Long context, RAG, Lost in the Middle 같은 다음 심화 주제로 이어집니다.