환각: 그럴듯함과 사실은 다르다

가장 위험한 답은 이상한 답이 아니다

AI가 황당한 답을 하면 바로 알아챈다.

더 위험한 것은 자연스럽고 구체적인데 틀린 답이다.

없는 규정 번호, 존재하지 않는 논문, 틀린 날짜, 실제 문서에 없는 조건을 매우 자연스럽게 붙일 수 있다.

NIST는 이를 confabulation(작화증)이라는 생성형 AI 위험으로 분류한다. OpenAI 역시 최신 모델에서도 환각이 남아 있으며, 모델이 불확실한 상황에서 추측하는 문제가 계속 존재한다고 설명한다.

업무에서는 이렇게 쓴다

AI에게 "정답이 무엇인가?"만 묻고 끝내지 않는다. 다음 세 가지를 함께 시킨다.

• "무엇을 근거로 판단했는가?"
• "확인할 수 없는 것은 무엇인가?"
• "원문에서 다시 확인해야 하는 항목을 표시해라."

검증 순서

오류가 자주 생기는 항목부터 순서대로 확인한다.

1. 숫자 및 금액
2. 날짜 및 기한
3. 사람 이름 및 회사명
4. 법률·규정 조항
5. 인용문 및 링크

원문 문서가 있다면 AI의 기억보다 원문을 기준으로 대조한다. 웹 검색을 사용했다면 AI가 작성한 결론보다 원문 출처를 먼저 확인한다.

가장 좋은 답이 항상 긴 답은 아니다

확실하지 않은 상황에서는 **"확인할 수 없다"**가 그럴듯한 가짜 답보다 좋은 결과다. 중요한 업무에서는 AI에게도 그렇게 답하도록 지시한다.

그래서 무엇을 다르게 할 것인가

• AI의 답변 중 숫자, 날짜, 인명, 출처 링크는 무조건 원본과 대조한다.
• 프롬프트에 "확실하지 않거나 제공된 문서에 없으면 '확인 불가'로 표기하라"는 제약을 반드시 넣는다.