"그런 거 없는데요?"
가게 메뉴판을 만들다가 Claude에게 물었어요 —
"우리동네 반찬가게 작년 매출 1위 반찬이 뭐였어?"
그랬더니 자신만만하게
"네, 작년 1위는 '간장게장'이었습니다" 라고 답합니다.
우리 가게는
이제 막 개업했고, 작년 매출 같은 건 세상에 존재하지도 않는데 말이죠.
AI가 거짓말쟁이라서가 아니에요. 오늘은 이 현상 — 할루시네이션(hallucination)이 왜 생기는지, 그 원리를 잡으러 갑니다.
우리 가게엔 작년 매출 데이터가 없어요. 그걸 AI에게 물었을 때, AI가 가장 하기 쉬운 행동은 뭘까요?
맞아요. AI는 '모른다'보다 그럴듯한 답을 만드는 게 더 쉬운 구조예요. 이게 핵심입니다. 왜 그런지는 지난 레슨에서 배운 원리로 풀려요. 👇
지난 레슨에서 배웠죠 — AI는 답할 때 '그 다음에 올 가장 그럴듯한 토큰'을 하나씩 이어 붙여요.
여기서 함정이 생겨요
"작년 1위 반찬은 ___" 까지 왔을 때, AI에겐 빈칸을 채우는 게
일이에요.
·
'간장게장' 같은 반찬 이름은 → 자연스럽게 이어지는 그럴듯한 토큰 ✅
·
'그런 데이터는 없습니다' 는 → 흐름상 덜 그럴듯한 토큰 ❌
AI는 사실을 조회하는 게 아니라 그럴듯한 다음 말을 잇는 기계예요. 그래서 빈칸이 있으면 '모른다'는 침묵보다 그럴듯한 단어로 채우는 쪽으로 기울어요.
사람들은 AI가 '검색해서 답한다'고 오해해요. 둘은 완전히 달라요.
🔎 검색엔진이라면: 데이터에 우리 가게 작년 매출이 없으면 → '검색 결과 없음'. 없는 건 없다고 비워둬요.
🧠 생성하는 AI: 없어도 그럴듯한 문장을 만들어 채워요. "작년 1위는 간장게장"처럼 형식은 완벽한데 근거가 0인 답이 나와요.
다음 두 질문 중, 할루시네이션이 더 잘 나오는 쪽은 어디일까요?
㉮ 김치 보관은 보통 며칠 정도가 좋아?
㉯ 우리동네 반찬가게의 3월 3일 단골 손님 명단 알려줘
㉯예요. ㉮는 세상에 널린 정보라 그럴듯한 답이 대체로 맞아요. 하지만 ㉯는 존재하지 않는 데이터(빈 영역)를 물었죠. 빈 영역일수록 AI는 지어낸 그럴듯한 답으로 채웁니다. '데이터가 비어 있는 질문'이 1번 위험 신호예요.
없는 데이터를 일부러 물어보면 할루시네이션을 눈으로 볼 수 있어요. 가게 폴더에서 Claude를 켜고 물어봐요. (틀린 답이 나와도 괜찮아요 — 그게 오늘의 관찰 포인트예요.)
우리동네 반찬가게 작년 매출 1위 반찬이 뭐였어? — 세상에 없는 데이터를 물어봐요
보이시죠? 근거가 없는데도 형식은 완벽한 답이 나와요. 이게 할루시네이션의 얼굴이에요.
빈 데이터 말고 또 하나, 할루시네이션을 내가 직접 유발할 수 있어요. 바로 유도 질문(leading question)이에요.
내가 깔아준 전제
"우리 가게가
상 받은 거 정리해줘" 라고 물으면 —
AI에겐 이미
'상을 받았다'는 전제가 깔려 있어요. 다음 토큰을 잇다 보면
없는 수상 내역을 그럴듯하게 만들어 채우기 쉬워요.
질문 안에 '이미 그렇다'는 가정을 심으면, AI는 그 가정을 의심하기보다 맞장구치며 이어가는 쪽으로 기울어요.
같은 걸 물어도 묻는 방식에 따라 위험도가 달라요.
✅ 안전한 질문: 우리 가게가 받은 상이 있어? 없으면 없다고 해줘.
전제를 깔지 않고 존재 여부부터 물어요.
⚠️ 유도 질문: 우리 가게가 받은 상들 다 정리해줘.
'상이 있다'를 이미 사실로 깔아둬요. 없는 상을 지어내기 쉬워요.
지금까지 본 '위험 신호'를 정리해볼게요. 다음 중 할루시네이션이 잘 나는 조건이 아닌 것은?
맞아요. 흔한 상식은 그럴듯한 답이 대체로 진짜와 일치해요. 위험한 건 ① 데이터가 빈 영역과 ② 유도 질문 — 이 둘을 만나면 '어, 위험한 질문인데?' 하고 미리 알아채는 게 오늘의 목표예요.
발생 조건을 알면 위험을 미리 감지할 수 있어요. 질문에 뭔가가 '비어' 있거나 틀린 ___가 깔려 있으면 답을 의심하라 — 빈칸엔 뭐가 들어갈까요?
정답! 전제예요. ① 데이터가 빈 영역인지, ② 내 질문에 틀린 전제가 깔렸는지 — 이 둘만 살펴도 위험한 질문을 미리 골라낼 수 있어요. 검증하는 기술 자체는 코스3에서 따로 깊게 배워요.
원리를 알면 작은 부탁으로도 위험을 줄일 수 있어요. 아까 그 질문을, 이번엔 '모르면 모른다고 해'를 붙여 다시 물어봐요.
우리동네 반찬가게 작년 매출 1위 반찬 알려줘. 근거 데이터가 없으면 지어내지 말고 '없다'고 말해줘 — 빈 영역을 인정하게 유도해요
같은 빈 영역인데도, '없으면 없다고 해' 한 마디로 답이 정직해졌죠. 원리를 알면 이런 안전장치를 자연스럽게 쓰게 돼요.
한 줄로
할루시네이션은 거짓말이 아니라
'다음 토큰 예측'의 자연스러운 결과예요.
AI는
'모른다'보다 그럴듯한 답을 만드는 게 쉬워서,
빈 데이터 영역과
유도 질문에서 특히 잘 생겨요.
조건을 알면
위험한 질문을 미리 감지할 수 있어요.
다음 레슨에서
원리는 잡았어요. 그런데 이런 AI를 만나는
창구가 둘 있어요 — 채팅하듯 쓰는 곳과, 내 컴퓨터에서 일을 시키는 곳.
Claude.ai vs Claude Code, 둘이 뭐가 다른지 다음 레슨에서 갈라봅니다. 가게는 계속 자랍니다. 🌱