🔍 레슨

검색이 실패할 때 — RAG의 한계와 검증

RAG도 엉뚱한 걸 찾아와요. 어떤 질문에 약한지 알면 결과를 거를 수 있어요.

① 오늘의 사건

"환불은 14일 이내입니다." — 아닌데?

지난 레슨에서 우리동네 반찬가게 문서봇에 운영 안내문·환불 규정·메뉴표를 연결했어요. 오늘 손님이 물었습니다 — "반찬 환불 며칠까지 돼요?" 문서봇은 한 치의 망설임도 없이 "14일 이내입니다"라고 답했죠.

그런데 우리 가게 규정은 "신선식품 특성상 당일 교환만" 이에요. 문서봇은 왜 이렇게 자신만만하게 틀렸을까요? 오늘은 RAG가 무너지는 순간을 잡으러 갑니다.

설명을 따라 진행하면, 여기서 직접 쳐보게 돼요 👇

~/my-shop

$ _

📚 「검색이 실패할 때 — RAG의 한계와 검증」 레슨 내용 전체 텍스트로 훑어보기

"환불은 14일 이내입니다." — 아닌데?

분명 환불 규정 문서를 연결해뒀는데, 문서봇이 엉뚱한 답을 했어요. 가장 그럴듯한 범인은?

맞아요. RAG는 ①질문과 비슷한 문서 조각을 찾고 → ②그 조각으로 답을 만들어요. 1단계에서 엉뚱한 조각(예: 일반 쇼핑몰 환불 안내)을 집어오면, AI는 의심 없이 그걸로 그럴듯한 답을 지어냅니다.

여기서 '코스1 할루시네이션'이 다시 등장해요. RAG가 조각을 잘못 찾아오면, AI는 그걸 진짜 근거인 줄 알고 매끄럽게 답을 만들어요.

핵심 감각

· 검색이 정확하면 → RAG는 근거 있는 답
· 검색이 빗나가면 → RAG도 그냥 할루시네이션 (게다가 출처가 있어 더 믿게 됨)
· AI는 "이 조각이 맞나?"를 스스로 검증하지 않아요

그래서 RAG의 약점은 'AI'가 아니라 '검색' 단계에 있어요. 어떤 질문에서 검색이 잘 빗나갈까요?

다음 중 문서봇(RAG)이 가장 자주 헛다리를 짚는 질문 유형은?

맞아요. RAG가 약한 3대 질문: ①여러 문서 종합(조각 몇 개만 집어와 일부만 봄) ②최신성(옛 안내문·새 안내문 중 옛것을 집기 쉬움) ③표·숫자(표가 조각나면 숫자가 엉킴). 정확한 사실 한 줄 찾기엔 강하지만, 이 셋은 위험해요.

같은 문서봇이라도 질문 유형에 따라 신뢰도가 갈려요.

✅ 강한 질문 (한 조각이 답): "당일 교환 규정이 뭐야?"
한 문서의 한 문단에 답이 통째로 있어요. 그 조각만 찾으면 정확.

⚠️ 약한 질문 (조각으로 안 됨): "이번 주 전체 반찬 가격을 합치면 얼마야?"
표가 조각나고 여러 메뉴를 종합·계산해야 해서, 일부만 보고 틀린 합을 냅니다.

문서봇에게 "이번 달 신메뉴 가격 알려줘" 라고 물었어요. 그런데 가게엔 지난달 가격표와 이번 달 가격표 두 파일이 다 들어 있어요. 문서봇은?

②가 현실이에요. RAG는 '질문과 비슷한가'로 조각을 찾지, '더 최신인가'는 안 따져요. 지난달·이번 달 가격표는 글이 비슷해서, 옛 파일을 집어올 위험이 큽니다. 그래서 검증이 필요해요 — 👇

틀릴 위험이 있는 질문일수록, 답만 받지 말고 "무슨 조각을 보고 답했는지"를 같이 시켜요. 가게 폴더에서 문서봇에게 물어봐요.

반찬 환불 며칠까지 돼? 답하고, 어느 문서의 어느 문장을 보고 그렇게 답했는지 그 부분을 그대로 보여줘

— 답과 함께 근거 조각을 요구해요

이렇게 근거 조각을 같이 받으면, 답이 맞는지 내가 눈으로 확인할 수 있어요. 근거를 못 보여주거나 엉뚱한 문서를 대면 — 그 답은 의심해야 합니다.

RAG 답을 믿는 기준은 '말투가 자신 있나'가 아니라 '출처 조각이 진짜 그 말을 하나'예요.

3초 검증 루틴

① 답을 받으면 → ② "찾아온 근거 보여줘" → ③ 그 조각을 내 눈으로 읽고 답과 맞는지 대조.
조각이 답을 직접 뒷받침하지 않으면, 매끄러운 답이라도 버려요.

특히 ④에서 본 종합·최신성·표/숫자 질문은 무조건 출처를 확인해요.

RAG 답을 검증하는 가장 쉬운 방법은, 답과 함께 그 근거를 보여달라고 시키는 거예요. 문서봇에게 던질 한 마디의 빈칸을 채워봐요.

정답! 근거(출처) 조각이에요. "찾아온 근거 보여줘"는 RAG 시대의 가장 강력한 검증 한마디예요. 답이 아니라 답의 재료를 봐야 진짜를 가립니다.

이번엔 약한 유형(여러 문서 종합)으로 시켜보고, 문서봇이 실제로 어느 파일들을 봤는지 출처를 받아 직접 대조해봐요.

이번 달 운영 안내를 종합해서 알려주고, 참고한 파일 이름과 그 줄을 전부 나열해줘. 오래된 안내문은 빼고 최신만 봤는지도 확인해줘

— 종합 질문 + 출처 파일 목록을 요구해요

출처 파일을 직접 받으면, 최신 파일만 봤는지·빠진 문서는 없는지를 내가 점검할 수 있어요. 이게 RAG를 '믿을 수 있게' 쓰는 핵심 습관이에요.

한 줄로

RAG도 엉뚱한 조각을 찾으면 자신 있게 틀려요(= 출처 있는 할루시네이션). 종합·최신성·표/숫자 질문에 특히 약하고, 방어법은 단 하나 — "찾아온 근거 보여줘"로 출처를 직접 대조하는 습관이에요.

다음 레슨에서

문서봇이 자꾸 약하다면, 아예 문서를 통째로 컨텍스트에 넣거나(긴 컨텍스트), 모델 자체를 우리 가게에 맞게 길들이는(파인튜닝) 길도 있어요. 다음 "RAG vs 긴 컨텍스트 vs 파인튜닝"에서 셋을 나란히 비교합니다. 가게는 계속 자랍니다. 🌱