환각(AI)
환각(hallucination)은 AI 모델의 출력이 유창하고 자신감 있게 들리지만 거짓이거나, 출처의 뒷받침이 없거나, 지어낸 것인 경우를 말합니다. 꾸며 낸 인용, 발언, 통계, API 함수 등이 그 예입니다.
다른 이름: confabulation, invented answers, AI hallucination
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
언어 모델은 사실을 확인하도록이 아니라 그럴듯한 텍스트를 만들도록 학습됩니다. 모델이 답을 모를 때도, 가장 그럴듯한 이어 쓰기가 자신감 있고 구체적이지만 틀린 답일 수 있습니다. 그것이 환각입니다. 일부 연구자는 모델이 무언가를 지각하는 것이 아니라 빈틈을 채우는 것이므로 "작화(confabulation)"라는 말을 더 선호합니다.
흔한 형태
모델은 논문이나 판례를 지어내거나, 발언을 엉뚱한 사람에게 돌리거나, 틀린 날짜를 대거나, 존재하지 않는 라이브러리 함수를 호출할 수 있습니다. 요약에서는 주어진 문서에 없는 세부 내용을 더할 수 있습니다. 두 번째 유형은 자신의 데이터 위에 무언가를 만들 때 가장 중요합니다. 사용자는 답이 원본에서 나왔다고 가정하기 때문입니다.
일어나는 이유
Kalai 등의 2025년 논문은 학습과 평가가 추측에 보상을 준다고 주장합니다. "모르겠다"에 점수를 주지 않는 시험은 모델이 추측하도록 몰아갑니다. 학습 데이터의 빈틈, 지식 컷오프, 거짓 전제를 깐 프롬프트는 모두 위험을 높입니다.
줄이는 방법
현재 어떤 방법도 환각을 완전히 없애지 못합니다. 도움이 되는 것은 다음과 같습니다. 모델이 제공된 텍스트로 답하도록 하는 검색 증강 생성, 확인할 수 있는 인용 요청, 도구 결과에 답을 그라운딩하기, 모델이 확신이 없다고 말할 수 있게 하기, 사용자가 보기 전에 출력을 점검 하는 가드레일입니다. 환각 비율은 모델, 주제, 프롬프트마다 다르므로, 일반적인 주장을 믿기보다 LLM 평가로 자신의 작업에서 측정하십시오.
관련 용어
- 검색 증강 생성(Retrieval-augmented generation)
- 검색 증강 생성(retrieval-augmented generation, RAG)은 시스템이 먼저 문서 모음에서 질문과 관련된 구절을 검색한 뒤, 그 구절을 언어 모델에 주어 답변이 이를 바탕으로 하게 하는 패턴입니다.
- 그라운딩
- 그라운딩(grounding)은 언어 모델의 답을 검색 결과, 문서, 데이터베이스 같은 구체적이고 확인 가능한 출처에 묶어, 그 주장이 학습 데이터만이 아니라 제공된 근거에 기반하게 하는 것입니다.
- 가드레일(AI)
- 가드레일(guardrails)은 언어 모델 주변에 두는 실행 시점 점검 장치로, 입력과 출력을 검사해 막 거나, 다시 쓰거나, 다른 곳으로 돌립니다. 애플리케이션이 주제를 벗어나지 않고, 해로운 콘텐츠를 피하고, 모델만으로는 꾸준히 지키지 못할 규칙을 따르게 합니다.
- LLM 평가
- LLM 평가(LLM evaluation)는 흔히 evals라고 부르며, 모델이나 AI 애플리케이션을 테스트 사례 모음에 실행하고 정해진 기준에 따라 코드, 사람, 다른 모델로 출력을 채점해 작업 수행 능력을 측정하는 것입니다.
- 지식 컷오프
- 지식 컷오프(knowledge cutoff)는 그 이후로 모델이 정보를 거의 또는 전혀 갖지 않는 날짜입니다. 학습 데이터가 대략 그 무렵까지 수집되었기 때문입니다. 그 이후의 사건은 프롬프트에 주지 않는 한 모델이 알지 못합니다.