📚 레슨

15. Identity Mappings in ResNet

skip connection도 설계 디테일이 중요하다 — Pre-activation, gradient flow

① 이 논문의 질문

질문: skip connection도 설계 디테일이 중요하다

키워드: Pre-activation, gradient flow

읽기 목표

이 레슨은 논문 전체를 요약 암기하는 대신, “어떤 병목을 봤고 어떤 아이디어로 뚫었는가”를 잡습니다.

📚 「15. Identity Mappings in ResNet」 레슨 내용 전체 텍스트로 훑어보기

15. Identity Mappings in ResNet

질문: skip connection도 설계 디테일이 중요하다

키워드: Pre-activation, gradient flow

읽기 목표

이 레슨은 논문 전체를 요약 암기하는 대신, “어떤 병목을 봤고 어떤 아이디어로 뚫었는가”를 잡습니다.

다음 퀴즈로 넘어가기 전에 이 논문이 푸는 문제와 핵심 아이디어를 먼저 잡고 갑니다.

병목

skip connection도 설계 디테일이 중요하다

핵심 아이디어

residual 경로를 얼마나 깨끗하게 보존하느냐가 깊은 학습을 좌우한다

키워드: Pre-activation, gradient flow. 지금은 용어를 외우기보다 “무엇이 막혔고, 어떤 관점으로 풀었는가”를 먼저 잡으면 됩니다.

이 논문의 중심 아이디어에 가장 가까운 설명은?

맞습니다. 심화 학습에서는 점수보다 병목과 해결 아이디어를 먼저 잡아야 합니다.

작은 배치 순서/정규화 위치가 전체 훈련 안정성을 바꾼다

수츠케버 30을 따로 목차로 빼는 이유도 여기에 있습니다. 한 논문씩 보면 AI 발전사가 “기술 이름 나열”이 아니라 문제 해결의 연쇄로 보입니다.

이 논문을 지금의 Claude, Kimi, RAG, 에이전트 흐름으로 다시 읽어봅니다.

논문 당시의 문제: skip connection도 설계 디테일이 중요하다

오늘의 연결: LLM architecture table의 norm 위치, residual, activation 같은 세부가 성능에 영향을 준다는 감각을 준다

이 아이디어를 AI 제품/에이전트/검색 시스템에 옮길 때 가장 먼저 확인할 것은?

정답입니다. 심화 학습의 목표는 멋진 용어 수집이 아니라, 내 문제의 병목을 정확히 보는 눈입니다.

빈칸을 채우며 오늘 논문을 한 문장으로 정리합니다.

좋습니다. 이제 이 논문은 제목이 아니라 하나의 문제 해결 렌즈로 기억하면 됩니다.