🧠 레슨

수츠케버 30 논문 지도 — 논문별 심화 목차로 들어가기

전체 지도에서 끝내지 않고, 별도 ‘수츠케버 30 논문 연구’ 목차에서 30개 논문을 한 편씩 소화한다.

① 30개를 다 외우는 수업이 아닙니다

수츠케버 30을 왜 볼까?

“수츠케버 30”은 일리야 수츠케버가 딥러닝에서 중요하다고 꼽은 핵심 논문 묶음으로 알려져 있습니다. 그런데 이걸 처음부터 논문 30개 암기 목록으로 보면 바로 지칩니다.

이 레슨은 이제 입구 역할입니다. 큰 지도를 잡은 뒤, 별도 목차 수츠케버 30 논문 연구에서 30개 논문을 한 편씩 심화 레슨으로 소화합니다.

오늘의 관점

논문 목록은 시험 범위가 아니라 AI가 진화해온 문제 해결의 계보입니다.

📚 「수츠케버 30 논문 지도 — 논문별 심화 목차로 들어가기」 레슨 내용 전체 텍스트로 훑어보기

수츠케버 30을 왜 볼까?

이 레슨은 이제 입구 역할입니다. 큰 지도를 잡은 뒤, 별도 목차 수츠케버 30 논문 연구에서 30개 논문을 한 편씩 심화 레슨으로 소화합니다.

오늘의 관점

논문 목록은 시험 범위가 아니라 AI가 진화해온 문제 해결의 계보입니다.

수츠케버 30을 처음 보는 학습자에게 가장 좋은 접근은 무엇일까요?

맞아요. 심화 학습의 첫 관문은 수식 암기가 아니라 문제의 계보를 잡는 것입니다. 왜 RNN이 필요했고, 왜 LSTM이 나왔고, 왜 attention과 Transformer가 판을 바꿨는지를 먼저 봐야 합니다.

30개 논문은 한 줄 목록이 아니라 5개 섬으로 보면 이해가 쉬워집니다.

1섬 — 순서와 기억: RNN, LSTM, RNN regularization. 글자·문장처럼 시간이 있는 데이터를 어떻게 기억할까?
2섬 — 이미지와 깊이: AlexNet, ResNet, dilated convolution. 깊은 신경망은 왜 학습이 어려웠고 어떻게 깊어졌을까?
3섬 — Attention과 Transformer: Pointer Networks, Bahdanau attention, Attention Is All You Need. 모델이 어디를 봐야 하는지 스스로 고르게 만든 흐름입니다.
4섬 — 기억·추론·스케일: GNN, Neural Turing Machine, scaling laws. 모델 바깥의 구조와 계산 규모가 왜 중요해졌을까?
5섬 — 검색과 긴 컨텍스트: Dense Passage Retrieval, RAG, Lost in the Middle. 오늘의 Claude/ChatGPT/RAG 제품과 바로 연결됩니다.

초기 언어 모델의 핵심 질문은 ‘앞에서 본 것을 얼마나 오래 기억할 수 있나’였습니다.

RNN: 이전 상태를 다음 상태로 넘기며 순서를 처리한다. 글자 생성처럼 간단한 패턴은 배울 수 있지만, 긴 의존성에서는 기억이 흐려지고 학습이 불안정해진다.

LSTM: forget/input/output gate를 둬 무엇을 버리고, 무엇을 저장하고, 무엇을 꺼낼지 조절한다. 긴 문맥을 조금 더 안정적으로 다루기 위한 기억 장치입니다.

다음 문장을 AI가 이어 쓴다고 해봅시다.

민수는 파리에 도착했다. 호텔에 짐을 풀고, 다음 날 ___ 박물관에 갔다.

빈칸을 잘 채우려면 모델이 무엇을 기억해야 할까요?

맞아요. 이런 간단한 예에서도 앞쪽 정보가 뒤쪽 선택을 바꿉니다. RNN/LSTM 계열은 이 ‘순서와 기억’ 문제를 풀려는 초기 시도였습니다.

LLM만 보면 언어가 전부 같지만, 딥러닝의 큰 도약은 이미지에서도 왔습니다.

AlexNet/CNN: 이미지의 작은 패턴을 필터로 훑으며 선, 모서리, 질감, 물체를 단계적으로 배웁니다. 2012년 이후 딥러닝이 ‘된다’는 확신을 크게 만든 계열입니다.

ResNet: 층이 너무 깊어지면 오히려 학습이 어려워집니다. ResNet은 skip connection으로 입력을 우회시켜, 매우 깊은 네트워크도 학습되게 만든 아이디어입니다.

RNN 계열은 순서대로 읽습니다. 그래서 긴 문장에서 멀리 떨어진 단어를 연결하기 어렵습니다. Attention의 질문은 단순합니다.

Attention의 질문

지금 단어를 이해하려면, 문장 안의 어느 단어를 얼마나 봐야 할까?

Bahdanau attention은 번역에서 입력 문장의 중요한 부분을 보게 했고, Pointer Networks는 attention을 ‘선택’처럼 썼습니다. Transformer는 여기서 더 나아가 순서대로 읽는 구조 자체를 버리고, self-attention을 중심 구조로 세웠습니다.

Attention Is All You Need가 중요한 이유로 가장 가까운 설명은 무엇일까요?

정답입니다. Transformer는 오늘의 GPT, Claude, Gemini 같은 LLM의 기본 문법이 됐습니다. 그래서 수츠케버 30 중에서도 Attention/Transformer 구간은 일반 학습자에게 가장 먼저 소화할 가치가 큽니다.

모델이 커져도 세상의 모든 최신 지식을 안에 넣을 수는 없습니다.

모델 안 기억: 학습 때 본 패턴을 파라미터 안에 압축합니다. 빠르고 자연스럽지만 최신 정보, 사내 문서, 근거 제시에는 약합니다.

검색/RAG: 질문이 들어오면 관련 문서를 먼저 찾고, 그 문서를 근거로 답합니다. Dense Passage Retrieval과 RAG는 오늘날 사내 문서봇/지식봇의 핵심 계보입니다.

요즘 모델은 긴 컨텍스트를 자랑합니다. 하지만 긴 문서를 넣는다고 항상 잘 찾는 것은 아닙니다.

핵심 감각

모델은 문서의 앞과 뒤는 상대적으로 잘 보고, 가운데에 묻힌 중요한 정보는 놓칠 수 있습니다. 이것이 Lost in the Middle 문제입니다.

그래서 실무 RAG에서는 “많이 넣기”보다 “잘 자르고, 잘 정렬하고, 중요한 근거를 잘 배치하기”가 중요해집니다.

아래 흐름은 오늘 LLM 제품까지 이어지는 큰 줄기입니다. 순서를 맞춰보세요.

좋습니다. 이 순서가 ‘언어를 순서대로 기억하기’에서 ‘필요한 곳을 보고, 외부 지식까지 붙이고, 긴 문맥의 한계를 검증하는’ 흐름입니다.

수츠케버 30을 우리 방식으로 한 줄 정리해봅시다.

정답입니다. 이 목록의 교육효과는 ‘많이 아는 척’이 아니라, AI 기술이 어떤 문제를 하나씩 해결하며 발전했는지 보는 데 있습니다.

처음부터 30개를 모두 읽기보다, 아래 7개만 먼저 잡아도 교육효과가 큽니다.

The Unreasonable Effectiveness of RNNs — 언어 생성의 초기 감각
Understanding LSTM Networks — 긴 기억을 위한 게이트
AlexNet — 딥러닝이 이미지에서 터진 순간
ResNet — 깊은 모델을 학습시키는 길
Attention Is All You Need — 오늘 LLM의 문법
Retrieval-Augmented Generation — 모델 바깥 지식 붙이기
Lost in the Middle — 긴 컨텍스트의 실제 한계

이 7개를 먼저 “문제 → 아이디어 → 오늘 제품 연결”로 읽으면, 나머지 논문도 지도 위에 놓이기 시작합니다.