AI 결과물, 왜 틀리고 왜 한 번에 못 잡을까 — 검수 하네스 개념

이 개념페이지는 왜 만들었나

부기부기님이 궁금해하신 질문 두 가지에서 출발해요.

1. 왜 클로드로 글을 쓸 때 계속 잘못된 정보가 들어가서 오류가 생길까?
2. 왜 그 실수를 클로드가 한 번에 못 찾아낼까?

이 두 질문에 대한 답을 이 사례글에 나온 개념들로 정리해봤어요. 이 글은 “AI 결과물을 스스로 검수하는 하네스 만들기”라는 4주 스터디 소개글이에요. 실행 방법이나 로드맵은 다루지 않고, 개념만 정리했어요.

💡 원문은 실습 방법을 알려주는 사례글이 아니라, 4주짜리 스터디를 모집하는 소개 페이지예요. 그래서 “왜 이렇게 설계했는가”라는 개념·철학 위주로 쓰여 있고, 실습 단계는 없어요. 이 페이지도 그래서 실행 로드맵 없이 개념만 정리했어요.

0. 그 전에 — AI는 왜 애초에 “틀리는 줄 모르고” 대답할까

이 뒤에 나오는 개념들을 이해하려면, 먼저 AI가 원래 어떻게 동작하는지부터 아는 게 도움이 돼요. (원문엔 없지만, 왕초보를 위해 순이가 보충하는 배경 설명이에요. 💡 표시할게요.)

💡 클로드 같은 AI(LLM, 대형 언어 모델)는 “사실을 찾아서” 답하는 게 아니라, “다음에 올 말로 가장 그럴듯한 단어”를 이어 붙이는 방식으로 답을 만들어요. 비유하자면, 엄청나게 많은 책을 읽은 사람이 “음, 이런 질문엔 보통 이런 식으로 답하더라” 하고 말투와 흐름만 보고 자연스럽게 이어 쓰는 것과 비슷해요.

그래서 이런 일이 생겨요:

• 진짜 판례를 찾아본 게 아니라, “이런 사건엔 보통 이런 판례가 인용되더라”는 패턴으로 그럴듯하게 판례 번호를 만들어낼 수 있어요.
• AI 입장에서는 자기가 틀렸다는 느낌 자체가 없어요. “말이 되게 이어 쓴 것”과 “사실인 것”을 AI 스스로는 구분하지 못해요. 그래서 항상 자신 있는 말투로 답해요 (거짓말도 당당하게).

→ 이게 바로 부기부기님 질문 두 개의 근본 원인이에요. AI는 “확인 후 말하기”가 아니라 “그럴듯하게 잇기”로 작동하기 때문에 ①잘못된 정보가 섞이고, ②본인 스스로는 그게 틀렸는지 알 방법이 없어서 한 번에 못 잡아요. 아래 개념들은 전부 이 근본적인 한계를 사람이 바깥에서 보완하는 방법들이에요.

1. 할루시네이션 — “거짓말”보다 훨씬 넓은 개념

우리는 보통 할루시네이션(=환각)을 “AI가 없는 사실을 지어내는 것”으로만 생각해요. 그런데 이 글은 그걸 3가지로 나눠요:

→ 부기부기님 질문 1에 대한 답: “잘못된 정보를 입력”하는 문제는 이 세 유형 중 어디에나 걸칠 수 있어요. 특히 글 작성에서는 “누락”(빠뜨림)과 “부실”(대충 검토)도 넓은 의미로는 할루시네이션에 들어간다는 게 이 글의 핵심 관점이에요. 그래서 “숫자·인용이 진짜인가”뿐 아니라 “빠진 게 없는가”, “충분히 깊이 봤는가”까지 다 점검 대상이 돼요.

2. 왜 처음부터 잘못될까 — “전단(front-end)“이 절반을 결정한다

이 글의 핵심 메시지는 이거예요: “결과물을 다 만든 뒤에 고치는 게 아니라, AI에게 일을 시키기 전(입력 단계)에서 품질의 절반 이상이 정해진다.”

즉, 우리가 클로드한테 “이거 검토해서 글 써줘”라고 두세 줄로만 던지면, 클로드는 뭘 검토해야 하는지 정확히 모른 채로 시작해요. 그러면:

• 관련 없는 자료까지 끌고 오거나
• 출처가 불명확한 자료를 그대로 쓰거나
• 핀트가 살짝 어긋난 결과물을 만들게 돼요.

이 글은 이걸 “의도 정렬” (내가 원하는 바를 AI가 완전히 이해할 때까지 대화로 맥락을 채우는 단계)로 해결하자고 해요. 두세 줄 지시 대신, AI가 되물어보게 하거나 충분히 설명해서 “무엇을 검토할지” 자체를 먼저 문서로 못 박는 거예요.

→ 부기부기님 질문 1에 대한 답 (이어서): 글 작성 오류가 반복된다면, “글 써줘” 지시 자체가 짧고 맥락이 부족해서일 가능성이 커요. 클로드가 사건 배경·쟁점·참고할 자료 범위를 처음부터 명확히 알고 시작하도록 만드는 것 (의도 정렬)이 첫 번째 해법이에요.

3. 왜 한 번에 못 잡을까 — “같은 AI의 자기 검토”의 한계

이 글이 지적하는 문제: “단일 AI의 ‘다시 검토해줘’는 같은 오류를 반복해서 놓친다.” 왜냐하면 같은 AI가 같은 맥락·같은 사고방식으로 다시 보면, 처음에 놓친 것을 두 번째에도 비슷하게 놓치기 쉽기 때문이에요. (자기가 쓴 글을 자기가 교정 볼 때 오타를 못 보는 것과 비슷해요.)

이 글이 제안하는 해법 3가지:

→ 부기부기님 질문 2에 대한 답: 클로드가 실수를 한 번에 못 찾는 이유는, 같은 AI가 같은 맥락으로 스스로를 다시 검토하기 때문이에요. 이 글의 해법은 “다른 AI에게 검증을 맡기기”(Cross-Check)와 “기계적으로 딱 잘라 확인하는 규칙”(검증 게이트)을 같이 쓰는 거예요. 사람이 매번 눈으로 다 보지 않아도, 이 둘을 조합하면 놓치는 게 줄어요.

4. 이 모든 걸 묶는 이름 — “검수 하네스”

하네스는 원래 “장비를 몸에 고정하는 벨트/장치”라는 뜻인데, 여기서는 AI가 일하는 전체 작업 환경(규칙+도구+반복 절차)을 하나로 묶은 시스템을 뜻해요. “검수 하네스”는 위에서 나온 것들 — 의도 정렬, 검증 게이트, Cross-Check, 반대신문 — 을 한 세트로 묶어서, 매번 새로 설명하지 않아도 반복 재사용할 수 있게 만든 것이에요.

이 글에 나온 관련 용어들도 짧게 정리하면:

5. 왕초보를 위한 비유 정리 (순이가 보충)

💡 지금까지 나온 개념을, 사람에 비유해서 한 번 더 정리해볼게요.

• AI 혼자 글 쓰고 AI 혼자 검토 = 신입 직원이 글을 쓰고, 자기가 쓴 걸 자기가 또 읽어보며 “음, 괜찮은 것 같은데?” 하는 상황. 자기가 놓친 실수는 자기가 다시 봐도 잘 안 보여요.
• 의도 정렬 = 글을 시키기 전에 사건 배경·쟁점·참고자료를 꼼꼼히 브리핑해주는 것. 브리핑을 안 받고 “이거 써줘”만 들으면 신입도 헤매요.
• 검증 게이트 = “이 글에 인용된 판례 번호가 실제로 존재하는가?”처럼 기계적으로 셀 수 있는 것을 프로그램이 자동으로 체크리스트처럼 훑는 것. 사람의 “느낌”이 아니라 “있다/없다”로 딱 잘라 확인.
• Cross-Check = 신입이 쓴 글을 선배 동료(=다른 AI) 가 처음 보는 눈으로 다시 검토하는 것. 같은 사람이 아니라 다른 사람이 봐야 놓친 게 더 잘 보여요.
• 멀티에이전트 반대신문 = 글을 놓고 **“이거 진짜 맞아?” 캐묻는 사람(SKEPTIC)**과 **“아니, 이건 이래서 맞아” 방어하는 사람(DEFENDER)**이 토론하고, **의장(CHAIR)**이 최종 판단하는 모의 재판 같은 절차. 한 사람 의견보다 여러 관점이 부딪히면 허점이 더 잘 드러나요.

지금 부기부기님이 바로 해볼 수 있는 것 (간단한 응용 하나만)

원문처럼 거창한 4주 시스템을 만들지 않아도, 오늘 당장 흉내 낼 수 있는 것 한 가지만 짚어드릴게요:

클로드가 글 초안을 써주면, 그 결과물을 다른 AI(예: ChatGPT나 Gemini) 에 붙여넣고 “이 글에서 사실과 다르거나 근거 없는 부분, 빠진 부분이 있는지 검토해줘”라고 한 번 더 물어보기.

이게 바로 위에서 배운 Cross-Check를 가장 간단하게 실천하는 방법이에요. 클로드한테 “다시 검토해줘”만 반복하는 것보다, 다른 AI에게 한 번 더 보여주는 게 놓친 걸 잡을 확률이 높아요.

개념 정리표

한 줄 요약

클로드가 글 작성에서 실수하는 이유는 대부분 “시작할 때 맥락을 충분히 안 줘서” 생기고, 그 실수를 못 잡는 이유는 “같은 AI가 같은 관점으로 스스로 다시 봐서” 예요. 해법은 ① 일 시키기 전에 맥락을 충분히 채우기(의도 정렬), ② 기계적으로 딱 잘라 확인하는 규칙 만들기(검증 게이트), ③ 다른 AI에게 검증을 맡기기(Cross-Check) — 이 세 가지예요.