환각과 검증 — AI 답을 믿고 쓰는 법

AI가 자신 있게 말하면 왠지 맞을 것 같지? 아빠도 처음엔 말투가 또렷하면 내용도 정확한 줄 알았어. 나중에 출처를 찾아보다가, 그럴듯한 답과 맞는 답은 다를 수 있다는 걸 알았지.

AI는 가끔 그럴듯하지만 틀린 답을 아주 자신 있게 내놓아. 이걸 '환각'이라고 해. 그렇다고 AI를 못 믿는다는 뜻은 아니야. 그 답에 책임지는 사람은 끝까지 사람이라는 것만 잊지 않으면, AI가 1분 만에 만든 초안 덕분에 우리는 검증과 판단에 시간을 쓸 수 있어.

이건 AI를 의심하는 법이 아니라 AI를 믿고 쓰는 법이야. 오늘 한 입만 해보자.

AI가 그럴듯하게 틀리는 두 가지 방식

AI가 틀리는 방식은 크게 둘이에요. 하나는 눈에 잘 띄고, 하나는 잘 안 띕니다. 둘을 알아두면 "어디를 봐야 하는지"가 보여요.

ⓐ 없는 걸 지어냅니다 (환각)

AI는 본 적 없는 내용도 본 것처럼 빈칸을 메웁니다. 거짓말을 하려는 게 아니라, '가장 그럴듯한 다음 말'을 이어 붙이는 방식이 만드는 통계적인 부작용이에요. 그래서 틀려도 말투는 늘 자신만만합니다. 자주 나오는 네 가지 패턴이에요.

1. 존재하지 않는 논문·책을 진짜처럼 — 가짜 저자·가짜 페이지 번호까지 붙여서.
2. 숫자를 출처 없이 대충 지어냅니다 — 매출, 점유율, 통계 같은 값.
3. 법조항·규정·표준을 약간씩 다르게 인용합니다 — 비슷해 보이지만 번호나 문구가 틀려요.
4. 사람 이름·직책을 잘못 매칭합니다 — 엉뚱한 사람에게 엉뚱한 발언·직함을 붙입니다.

ⓑ 있는 걸 조용히 빠뜨립니다 (누락)

이쪽이 더 까다로워요. 특히 긴 자료를 다루거나 두 문서를 비교할 때, AI가 중요한 내용을 소리 없이 빠뜨리고는 "거의 같습니다"라고 안심시키는 실패예요. 진짜 위험은 틀린 답을 보여주는 AI(그건 눈에 띕니다)가 아니라 조용히 빠뜨리는 AI — AI는 자기가 무엇을 놓쳤는지 스스로 모릅니다. 그래서 "다 읽었냐"고 물으면 "다 읽었다"고 답하면서도 여전히 놓쳐요.

여기서 기억할 건 '왜 이런 일이 생기는가'까지예요. 이걸 어떤 절차로 걸러내는지는 검증 워크플로에서, 두 문서를 빠짐없이 비교하는 구체적인 방법은 문서비교 과제에서 다룹니다.

→ 원리를 알았으니, 이제 받은 답을 1분 안에 점검하는 법이에요.

받자마자 1분 자가 점검

업무에 쓸 답이라면, 받자마자 1분만 이 네 가지를 훑어보세요. 길게 볼 것 없이 "이게 들어 있나?"만 보면 됩니다.

1. 숫자가 있나? → 출처를 묻거나, 직접 검색해 검증
2. 사람 이름·직책·날짜가 있나? → 공식 사이트에서 1건이라도 확인
3. 인용문(quote)이 있나? → 원문 검색으로 존재 여부 확인
4. 법·규정·표준 번호가 있나? → 원문(법령정보센터, 표준 사이트 등)에서 확인

세 줄 요약: 숫자/이름/인용/규정이 들어 있으면 무조건 검증.

→ 다음은, 이 점검을 AI에게 거들게 하는 프롬프트예요.

검증을 돕는 프롬프트 2개

검증도 AI가 거들 수 있어요. 그대로 복사해서 쓰세요.

① 방금 받은 답을 점검할 때 — 답을 받은 직후 이어서 붙여넣으세요.

방금 답변에서 사실 확인이 필요한 항목 5개를 추려줘.
각 항목마다 "어떻게 확인해야 하는지"를 한 줄로 알려줘.
출처가 명확하지 않은 부분은 "출처 불명"으로 표시해줘.

② 처음 물어볼 때부터 못박을 때 — 질문 맨 앞에 붙여 추측과 사실을 갈라 놓으세요.

다음 주제에 대해 답변해줘. 단,
- 확실한 사실과 추정·해석을 명확히 구분해줘.
- 모르거나 출처가 없는 내용은 "모름" 또는 "추정"이라고 명시해줘.
- 숫자는 정확한 출처가 없으면 인용하지 마.

이 프롬프트는 검증을 더 빠르게 해줄 뿐, 사람의 확인을 대신하지는 않아요. "확인할 목록"을 AI가 추려 주면, 사람은 그 목록만 짚으면 되니까 훨씬 수월합니다.

→ 다음은, 그래서 결국 AI를 믿어도 되느냐는 이야기예요.

그래서 AI를 못 믿나요?

아닙니다. 책임지는 건 언제나 사람이고, 그 사람이 위의 점검만 챙기면 AI는 믿고 쓸 수 있어요. 위의 1분 점검을 매 업무에 녹여 정식 절차로 만든 것이 바로 검증 워크플로 페이지예요 — AI 초안 → 사람 검토 → 최종 확정의 3단계와, 위험도에 따라 검토 강도를 다르게 주는 표가 거기 있습니다.

한 가지만 구분해 두세요. 검증은 AI가 내놓은 답을 다루는 일이에요. 반대로 애초에 AI에 넣으면 안 되는 정보(비밀번호·키 / 나·남의 개인정보 / 회사 기밀)는 안전하게 쓰는 법에서 따로 확인하세요.

이 검증을 실제 과제에서 써보기 → 과제 클러스터 전체 보기. 특히 사실과 출처가 생명인 자료조사, 빠짐없이 대조해야 하는 문서비교에서 효과가 큽니다.

AI가 여러 단계를 스스로 알아서 처리하는 에이전트로 쓸 때도, 마지막에 사람이 결과를 검증하는 원칙은 똑같아요.

오늘의 1분 점검을 써 본 뒤, AI 답을 자주 쓰는 동료나 가족에게도 한 입 나눠줘 봐.