AI에게 판례를 물었더니 존재하지 않는 판례 번호를 자신 있게 알려주고, 논문을 물었더니 가짜 논문 제목을 만들어 냅니다. 이것이 할루시네이션(hallucination, 환각)입니다. 실제로 미국에서는 변호사가 AI가 지어낸 판례를 법원에 제출했다가 징계를 받은 사건도 있었습니다.
왜 지어낼까요?
1강에서 배운 원리를 떠올려 보세요. LLM은 '사실을 조회'하는 기계가 아니라 '그럴듯한 다음 단어'를 고르는 기계입니다. 시험에서 답을 모를 때 빈칸으로 두면 0점이니 일단 그럴듯한 답을 적어내는 학생과 같습니다. 모델 입장에서는 '모릅니다'라고 말하는 것보다 그럴듯한 문장을 완성하는 쪽이 학습된 패턴에 더 가까울 때가 많습니다.
- 학습 데이터에 없는 정보를 물으면 — 패턴으로 빈칸을 메워 지어냅니다.
- 지식 컷오프 이후의 최신 정보를 물으면 — 과거 패턴으로 추측합니다.
- 숫자, 날짜, 인명, URL, 판례처럼 정확성이 생명인 정보 — 통계적 예측이 가장 취약한 영역입니다.
- 유도 질문을 하면 — 질문의 전제가 틀려도 맞장구치며 이야기를 만들어 냅니다.
할루시네이션을 줄이는 5가지 방법
실전 검증 습관
- 근거 자료를 직접 제공하기: 문서를 붙여넣고 '이 문서에 근거해서만 답해 줘'라고 요청하면 지어낼 여지가 크게 줄어듭니다. 이것이 8강에서 배울 RAG의 핵심 아이디어입니다.
- 모른다고 말할 길 열어주기: '확실하지 않으면 모른다고 말해 줘'라는 한 문장을 추가하면 억지 답변이 줄어듭니다.
- 출처와 근거 요구하기: '각 주장의 근거를 함께 제시해 줘'라고 하고, 제시된 출처가 실제로 존재하는지 클릭해서 확인합니다.
- 웹 검색 기능 활용하기: 최신 정보나 사실 확인이 필요한 질문은 검색 기능이 켜진 모드를 사용해 실시간 자료에 근거하게 합니다.
- 교차 검증하기: 중요한 결과물은 다른 모델에게 '이 내용에 사실 오류가 있는지 검토해 줘'라고 시키거나, 원본 출처(공식 문서, 뉴스, 논문)를 직접 확인합니다.
용도에 따라 검증 강도를 다르게
모든 답변을 똑같이 의심할 필요는 없습니다. 브레인스토밍이나 초안 작성처럼 '창의성이 중요한 작업'에서는 할루시네이션이 큰 문제가 아닙니다. 반면 계약서, 의료, 법률, 재무처럼 '사실이 생명인 작업'에서는 반드시 원본을 확인해야 합니다.
| 작업 유형 | 할루시네이션 위험 | 검증 강도 |
|---|---|---|
| 아이디어 브레인스토밍 | 낮음 (틀려도 무해) | 가볍게 확인 |
| 글 초안·요약 | 중간 | 핵심 사실만 원문 대조 |
| 숫자·통계·인용 | 높음 | 출처 직접 확인 필수 |
| 법률·의료·재무 판단 | 매우 높음 | 전문가 검토 필수 |
AI의 답변을 '신입 인턴이 밤새 만든 보고서'라고 생각해 보세요. 훌륭한 초안이지만, 결재 올리기 전에 팩트체크는 상사인 여러분의 몫입니다. 이 감각 하나만 있어도 AI 활용 사고의 90%를 예방할 수 있습니다.
가장 위험한 할루시네이션은 90% 맞는 답변 속에 숨은 10%의 오류입니다. 전체가 그럴듯할수록 더 꼼꼼히 확인하세요. 특히 AI가 제시한 통계 수치와 인용문은 반드시 원본 출처를 열어 확인하는 습관을 들이시기 바랍니다.