🧠 레슨

실리콘 포토닉스 — AI 데이터센터의 다음 병목

GPU·HBM 다음의 칩 간 연결 병목을 빛 기반 인터커넥트, 대역폭, 전력, KV cache 이동 관점으로 이해한다.

① GPU 다음 병목은 칩 사이 길입니다

실리콘 포토닉스는 AI 데이터센터의 배관 문제입니다

AI 모델이 커지면 “GPU가 몇 장인가”만 중요한 게 아닙니다. GPU·HBM·스위치·서버 랙 사이를 오가는 데이터가 너무 많아져서, 계산보다 이동이 병목이 됩니다.

AI Frontier Korea EP108의 핵심 질문은 이것입니다. 칩과 칩을 전기 신호가 아니라 빛으로 연결하면, AI 데이터센터 병목을 어디까지 줄일 수 있을까요?

오늘의 질문

LLM은 머리 좋은 모델만의 문제가 아니라, 토큰을 계산하기 위해 데이터를 얼마나 빠르고 덜 뜨겁게 옮기느냐의 문제이기도 합니다.

📚 「실리콘 포토닉스 — AI 데이터센터의 다음 병목」 레슨 내용 전체 텍스트로 훑어보기

실리콘 포토닉스는 AI 데이터센터의 배관 문제입니다

AI Frontier Korea EP108의 핵심 질문은 이것입니다. 칩과 칩을 전기 신호가 아니라 빛으로 연결하면, AI 데이터센터 병목을 어디까지 줄일 수 있을까요?

오늘의 질문

LLM은 머리 좋은 모델만의 문제가 아니라, 토큰을 계산하기 위해 데이터를 얼마나 빠르고 덜 뜨겁게 옮기느냐의 문제이기도 합니다.

AI 데이터센터에서 연산 장치가 충분해도 성능이 막히는 이유로 가장 가까운 것은?

맞아요. 추론에서는 토큰마다 KV cache와 activation이 움직이고, 학습에서는 gradient와 optimizer state까지 오갑니다. 모델이 커질수록 ‘계산기’보다 ‘연결 배관’이 중요해집니다.

기존 칩 연결은 전기 신호가 중심이고, 실리콘 포토닉스는 빛으로 데이터를 싣는 접근입니다.

전기 인터커넥트: 구리선·패키지·보드 위 전기 신호로 데이터를 보낸다. 가까운 거리에서는 강하지만, 속도·거리·전력·열 한계가 커질수록 부담이 커진다.

실리콘 포토닉스: 실리콘 공정 위에 광회로를 만들고 레이저 빛에 데이터를 실어 보낸다. 멀리·많이 보내는 구간에서 대역폭과 전력 효율을 개선하려는 접근이다.

빛이 데이터를 “이해”하는 것은 아닙니다. 핵심은 전기 신호를 광 신호로 바꿔 보내고, 다시 전기 신호로 바꾸는 것입니다.

즉 실리콘 포토닉스는 AI 모델 자체가 아니라, 모델을 먹여 살리는 고속·저전력 데이터 이동 인프라입니다.

칩 사이 데이터를 광 연결로 보낼 때의 흐름을 감각적으로 정렬해봅시다.

좋습니다. 핵심은 ‘계산을 빛이 한다’가 아니라, 계산 장치 사이를 오가는 데이터를 빛으로 더 효율적으로 운반한다는 점입니다.

긴 컨텍스트 LLM 추론에서 실리콘 포토닉스 같은 고속 연결이 특히 중요해지는 지점은?

정답입니다. 긴 컨텍스트와 많은 동시 사용자는 메모리·네트워크·interconnect 부담을 키웁니다. 그래서 모델 구조의 attention/KV cache 효율과 데이터센터 연결 기술은 서로 맞물립니다.

AI 데이터센터 연결은 크게 두 층으로 나눠 볼 수 있습니다.

Scale-up: 한 서버·한 랙 안에서 GPU와 가속기들을 매우 빠르게 묶는다. 학습/추론 중 모델 일부가 여러 장치에 나뉠 때 중요하다.

Scale-out: 여러 서버·랙·클러스터를 네트워크로 묶는다. 대규모 학습, 분산 추론, 멀티테넌트 서비스에서 중요하다.

전기보다 빛이 유리한 구간이 있다면, 앞으로 모든 연결은 그냥 빛으로 바꾸면 될까요?

맞아요. 실리콘 포토닉스는 강력한 방향이지만 마법은 아닙니다. 특히 칩 가까이 붙이는 co-packaged optics, 레이저 집적, 제조 수율, 기존 전기 패키징과의 결합이 실제 제품화의 관문입니다.

앞의 Kimi 레슨에서 우리는 MoE, activated parameters, MLA, context length를 봤습니다. 이번 레슨은 그 바깥쪽 질문입니다.

모델 안쪽

attention, MoE router, KV cache, optimizer, post-training이 “토큰을 어떻게 계산하나”를 설명합니다.

데이터센터 쪽

GPU, HBM, 네트워크, 스위치, 전력, 냉각, photonics가 “그 계산을 어떤 물리 인프라로 감당하나”를 설명합니다.

최신 AI를 읽을 때는 모델 논문과 인프라 병목을 분리하지 말고 같이 봐야 합니다.

오늘 배운 내용을 한 문장으로 완성해봅시다.

정답입니다. AI의 다음 병목은 모델 파라미터 수만이 아니라, 그 모델을 움직이는 물리적 연결·전력·열의 병목입니다.