"맛 괜찮아요?" "네, 제가 만들었는데 완벽해요!"
반찬가게 새 메뉴 '엄마손 멸치볶음'을 내가 직접 만들었어요. 그리고 내가 한 입 먹고 외칩니다 —
"음, 역시 내가 만든 게 최고지!"뭔가 이상하죠? 만든 사람이 자기 음식을 검수하면, 짠지 싱거운지 객관적으로 알기 어려워요.
오늘은 이 직관을 AI에 그대로 옮깁니다 — AI 결과물을 어떻게 믿을 수 있나의 진짜 답을 찾으러 갑니다.
Claude가 우리 가게 '엄마손 멸치볶음' 소개글을 써줬어요. 이 글이 과장 없이 정확한지 검사하려면, 누구에게 시키는 게 가장 믿을 만할까요?
맞아요. 글을 만든 쪽과 검사하는 쪽을 분리하는 게 핵심이에요. 만든 본인은 자기 결과를 옹호하려는 편향이 생겨요. 음식 만든 사람이 자기 맛을 못 의심하는 것과 똑같아요.
AI에게 "네가 방금 쓴 글, 틀린 데 있어?"라고 물으면, 의외로 "문제없습니다"라고 답하는 경우가 많아요.
왜 그럴까
· 방금 그 답을 만든
똑같은 사고 흐름이 검사도 하니까, 같은 실수를 그대로 지나쳐요
· 대화 맥락에 "내가 쓴 글"이 있으니, 그 글을
옹호하는 방향으로 기울어요
· 사람도 자기 글 교정은 남의 글 교정보다 오타를 잘 놓치죠 — 같은 원리예요
이걸 자기 편향(self-bias)이라고 불러요. 그래서 "같은 AI가 자기를 검사"하는 건 검증이 아니라 도장 찍기에 가까워요.
멸치볶음 소개글을 쓴 그 Claude에게 곧바로 이 글에 과장된 표현 있어?라고 물으면, 가장 흔한 반응은?
현실에선 자기 글을 두둔하는 쪽으로 기우는 경우가 많아요. 물론 가끔 고치기도 하지만, '믿을 수 있게' 만들려면 운에 맡기면 안 돼요. 구조적으로 분리해야 합니다.
먼저 함정을 몸으로 느껴봐요. 소개글을 쓴 바로 그 세션에서, 자기 글을 자가 진단시켜봅니다.
방금 네가 쓴 '엄마손 멸치볶음' 소개글에 과장이나 사실과 다른 부분 있어? — 글을 쓴 본인에게 검사를 시켜봐요
보세요 — 자기 글이라 "괜찮다"로 기울죠. 이게 자기 편향이에요. 이제 검사를 딴 사람에게 넘겨봅니다.
해법은 단순해요. 독립된 검증자를 한 명 더 세우고, 칭찬이 아니라 공격을 시키는 거예요.
적대적 검증(adversarial verification)
새 세션 / 다른 역할의 AI에게 결과물만 던지고 이렇게 말해요 —
"이 소개글의 약점을 찾아 반박해봐. 손님이 속았다고 느낄 부분은?"
칭찬할 자리를 안 주고
흠집을 찾게 만들면, 옹호 편향이 끼어들 틈이 사라져요.
만든 쪽은 방어, 검증하는 쪽은 공격 — 둘을 맞붙여 살아남은 결론만 신뢰하는 방식이에요.
같은 멸치볶음 소개글을 두 방식으로 검사하면 결과가 어떻게 갈릴까요.
🪞 같은 AI가 자기 검사: "내가 쓴 글, 괜찮지?" → "네, 괜찮아요".
같은 사고 흐름이 같은 실수를 지나치고, 자기 글을 옹호해요. 통과해도 안심할 수 없어요.
⚔️ 독립 검증자가 반박: "이 글 약점 찾아 반박해" → "'국내산 100%'는 근거가 없고, '엄마손'은 주관적 과장입니다".
흠집을 찾는 게 임무라 진짜 약점이 드러나요.
이제 핵심 동작이에요. 글을 안 쓴 깨끗한 세션에 소개글만 붙여넣고, 칭찬 대신 공격을 주문해봐요.
다음은 우리 반찬가게 메뉴 소개글이야. 이 글의 약점을 찾아 손님 입장에서 반박해줘. 근거 없는 주장과 과장을 다 짚어줘 — 검증자에게 옹호가 아니라 반박을 시켜요
같은 글인데 검증자는 약점 3개를 찾아냈죠. '반박해'라는 한 마디가 검증의 방향을 통째로 바꿔요.
메뉴 소개글을 검증자 한 명이 아니라 셋(손님 시각·법무 시각·경쟁가게 시각)에게 따로 반박시키면, 무엇이 좋아질까요?
맞아요. 검증자마다 다른 약점을 잡아요. 여러 관점의 결과를 모아 겹치는 지적은 확실히 고치고, 의견이 갈리면 사람이 판단하는 게 다수결·관점 분산 검증이에요. 한 명의 눈보다 셋의 눈이 사각지대를 줄여줘요.
독립 검증자에게 결과물을 넘길 때, 옹호가 아니라 공격을 끌어내는 핵심 동사가 있어요. 빈칸에 들어갈 말은?
정답! 반박이에요. "검토해봐"보다 "반박해봐 / 약점을 공격해봐"가 검증자의 옹호 편향을 끊어줘요. 같은 결과물도 적대적으로 보게 만드는 한 단어죠.
검증자를 따로 세우면 돈과 시간이 더 들어요. 세션을 한 번 더 돌리고, 반박을 읽고, 고쳐야 하니까요.
그래도 왜 하느냐
손님에게
"국내산 100%"라 써놓고 아니면 — 신뢰가 무너지고 가게가 끝나요.
검증에 쓴 그 추가 비용이 바로
"이 결과물을 믿어도 된다"는 신뢰의 가격이에요.
공짜로 믿을 수 있는 결과물은 없어요.
믿음은 검증에 들인 비용만큼 생겨요.
그래서 중요한 결과일수록 검증을 더 두껍게, 가벼운 결과는 얇게 — 비용을 신뢰가 필요한 만큼 배분해요.
한 줄로
AI 결과물을 믿는 법 =
만든 AI 말고 독립된 검증자에게 '반박해봐'를 시킨다.
같은 AI의 자기 검사는
자기 편향 때문에 도장 찍기일 뿐, 관점을
분산해 약점을 모으고,
검증에 들인
비용만큼 신뢰가 생겨요.
사실 이 사이트도
지금 보는 이 강의 콘텐츠도
만든 AI 따로, 반박하는 검증자 따로 거쳐서 다듬어졌어요.
적대적 검증은 멀리 있는 이론이 아니라, 여러분이 지금 읽는 글의
품질을 지킨 방법 그 자체예요. 🔍
다음 레슨에서
그런데 검증자도 AI라면 —
최종 OK는 누가 누르냐? AI가 초안을 내고 사람이 마지막에 검증하는
Human-in-the-Loop을 다음 레슨에서 풉니다. 가게는 계속 자랍니다. 🌱