환각이란 AI가 틀린 내용을 사실처럼 말하는 현상입니다
쉽게 말하면 이겁니다.
ChatGPT가 모르는 걸 모른다고 하지 않고, 그럴듯하게 지어내는 것
사람도 모르는 게 있으면 "잘 모르겠어요"라고 하거나 얼버무리잖아요.
ChatGPT는 다릅니다. 확실하지 않은 내용도 마치 사실인 것처럼 자신 있게 말하는 경향이 있어요.
말투가 너무 자연스럽고 확신에 차 있어서 처음엔 의심하기가 어렵습니다.
이게 왜 생기냐면, ChatGPT는 근본적으로 "다음에 올 가장 그럴듯한 말"을
예측하는 방식으로 작동하기 때문이에요. "맞는 말"이 아니라 "그럴듯한 말"을 생성합니다.
이 차이가 환각의 원인입니다.
환각이 특히 잘 생기는 상황 5가지
어떤 상황에서 조심해야 하는지 알면 절반은 해결됩니다.
① 특정 인물에 대한 정보
사람 이름, 경력, 발언, 저서 같은 정보는 환각이 자주 일어나는 대표적인 영역이에요.
특히 유명하지 않은 인물이나 학자를 물어볼 때 존재하지 않는 논문이나 책을 지어내는 경우가 있어요.
이걸 "유령 인용"이라고도 부릅니다.
저도 블로그 글 쓰다가 특정 전문가의 발언을 ChatGPT한테 물어봤는데,
알고 보니 그 사람이 한 번도 한 적 없는 말을 그럴싸하게 만들어준 적 있어요.
② 최신 정보
ChatGPT는 특정 시점까지의 데이터로 학습됐습니다.
그 이후에 생긴 일은 모릅니다. 그런데 문제는 "모른다"고 솔직하게 말하지 않고
예전 정보나 추측으로 채워버리는 경우가 있다는 거예요.
"지금 환율이 얼마야?", "이번 달 뉴스에서 뭐가 있었어?"
같은 질문에는 실시간 정보가 필요한데, ChatGPT는 이걸 없는 정보로 채울 수 있습니다.
③ 숫자와 통계
"한국의 2024년 출생률이 몇 명이야?" 같은 질문에서 숫자를 그럴듯하게 만들어내는 경우가 있어요.
특히 소수점 자리까지 딱딱 맞춰서 알려주기 때문에 진짜처럼 보입니다.
수치가 들어간 정보는 반드시 따로 확인해야 합니다.
④ 법률·제도·규정
"이 경우 법적으로 어떻게 되나요?"처럼 법이나 제도를 물어볼 때도 조심해야 해요.
법령이 개정됐거나 지역마다 다른 내용을 뭉뚱그려서 말하는 경우가 있습니다.
법률 정보는 반드시 공식 기관이나 전문가에게 확인해야 합니다.
⑤ 출처·링크·인용
"이 내용 관련 논문이나 기사 링크 알려줘"라고 하면
실제로 존재하지 않는 링크를 만들어주는 경우가 있어요.
URL 형태가 그럴싸해서 진짜처럼 보이지만 클릭하면 404 오류가 뜨는 식이죠.
링크는 반드시 직접 열어서 확인해야 합니다.
환각을 잡아내는 방법
방법 1 — ChatGPT한테 직접 물어본다
이게 제일 간단합니다.
"방금 알려준 내용이 확실해? 틀릴 수 있는 부분이 있으면 말해줘."
이렇게 물어보면 ChatGPT가 스스로 불확실한 부분을 인정하는 경우가 많아요.
처음 답변에서는 자신 있게 말했던 부분을
"이 부분은 제가 잘못 알고 있을 수 있어요"라고 수정하기도 합니다.
중요한 내용일수록 이 질문 하나를 꼭 추가하세요.
방법 2 — 다른 방향으로 같은 걸 다시 물어본다
같은 내용을 질문 방식을 달리해서 한 번 더 물어보세요.
처음엔 "A는 언제 태어났어?"라고 물어봤다면,
다음엔 "A의 나이가 몇 살이야?"라고 물어보는 식이에요.
두 답이 일치하지 않으면 그 정보는 신뢰하면 안 됩니다.
방법 3 — 반드시 외부에서 교차 확인한다
숫자, 이름, 날짜, 법령, 인용문처럼 정확도가 중요한 정보는 ChatGPT만 믿으면 안 됩니다.
구글 검색, 공식 홈페이지, 신뢰할 수 있는 뉴스 출처로 꼭 확인하세요.
특히 이 네 가지는 무조건 외부 확인입니다.
사람 이름과 발언, 숫자와 통계, 법률과 규정, URL과 출처.
환각을 줄이는 프롬프트 습관
완전히 없앨 수는 없지만, 줄일 수는 있어요.
"모르면 모른다고 해줘"를 미리 말해둔다
"확실하지 않은 내용은 '잘 모르겠다'고 말해줘. 그럴듯하게 지어내지 말고."
이 문장을 프롬프트 앞에 붙이면 환각이 줄어드는 경향이 있어요.
ChatGPT가 불확실한 내용을 조금 더 조심스럽게 표현하게 됩니다.
구체적인 범위를 제한한다
"마케팅에 대해 설명해줘"보다는 "이메일 마케팅에서 오픈율을 높이는
제목 작성 방법을 설명해줘"처럼 범위를 좁혀서 물어보면 훨씬 정확한 답이 나옵니다.
단계별로 확인하면서 진행한다
긴 내용을 한 번에 쭉 써달라고 하면 중간에 환각이 섞일 확률이 높아요.
섹션별로 하나씩 확인하면서 진행하는 게 안전합니다.
환각이 있어도 ChatGPT를 잘 쓰는 사람의 방법
환각 때문에 ChatGPT를 아예 못 믿겠다는 분들도 있어요.
그런데 그게 맞는 접근은 아닙니다.
ChatGPT는 초안과 아이디어를 빠르게 뽑는 데 탁월합니다.
사실 확인이 필요한 부분만 교차 검증하면 돼요. 검색도 100% 신뢰할 수 없고,
책도 오탈자가 있고, 전문가도 실수합니다. 어떤 정보든 중요한 건 다시 확인하는 습관이에요.
ChatGPT = 빠른 초안 도구 + 중요 정보는 반드시 따로 확인
이 원칙만 지키면 환각이 있어도 ChatGPT를 훨씬 안전하고 효과적으로 쓸 수 있습니다.
정리하면
ChatGPT는 틀린 내용을 자신 있게 말할 수 있습니다.
숫자·이름·법령·링크는 무조건 따로 확인하고,
"확실하지 않으면 모른다고 해줘"라는 문장을 프롬프트에 넣는 습관을 들이세요.
이것만 알아도 환각에 당할 일이 확 줄어듭니다.
다음 12편에서는 ChatGPT 말고 꼭 써봐야 할 AI 도구 5가지를 알려드릴게요.
Claude, Gemini, Perplexity 등 각각 어떤 상황에서 ChatGPT보다 더 나은지 솔직하게 비교해드립니다.
❓ FAQ
Q1. 환각은 앞으로 없어질까요?
완전히 없애기는 어렵다는 게 현재 AI 연구자들의 중론입니다.
다만 모델이 발전할수록 점점 줄어드는 건 사실이에요.
GPT-5 계열이 나오면서 예전보다 확실히 줄었습니다.
하지만 당분간은 "환각이 있을 수 있다"는 전제 하에 쓰는 게 맞아요.
Q2. ChatGPT한테 "틀렸어"라고 하면 어떻게 반응하나요?
두 가지 경우가 있어요. 실제로 틀렸을 때 지적하면
"맞습니다, 제가 잘못 알고 있었어요"라고 수정해줍니다.
그런데 내가 틀리고 ChatGPT가 맞는 경우에도 "죄송합니다"라고 하면서
잘못된 방향으로 수정해버리는 경우가 있어요.
ChatGPT는 사용자에게 동의하려는 경향이 있거든요.
중요한 정보는 ChatGPT의 수정을 그대로 믿지 말고 독립적으로 확인해야 합니다.
Q3. 환각이 제일 적은 AI가 따로 있나요?
AI마다 강점이 다르지만, 출처를 함께 제공하는 Perplexity AI는
사실 확인이 필요한 내용에서 환각 위험이 상대적으로 낮아요.
웹 검색 결과를 바탕으로 답하기 때문입니다. 다음 12편에서 자세히 다룰게요.
0 댓글