AI가 너무 당당해서, 나는 그게 사실인 줄 알았다

보고서 마감을 앞둔 밤, 서연은 AI에게 통계 자료와 인용할 논문을 정리해 달라고 했다. 답은 완벽했다. 깔끔한 문장, 그럴듯한 수치, 친절하게 달린 출처와 저자 이름까지. 서연은 감탄하며 그대로 보고서에 옮겨 적었다.

문제는 사흘 뒤에 터졌다. 상사가 인용된 논문을 찾아보다 “이런 논문이 없는데?”라고 한 것이다. 저자도, 제목도, 학술지도 — 전부 그럴듯했지만 세상에 존재하지 않는 것이었다. AI가 지어낸 것이다. 그것도 아주 당당하게.

AI는 ‘모른다’고 말하는 법을 잘 모른다

이 현상에는 이름이 있다. 환각(hallucination). AI가 사실이 아닌 내용을, 마치 사실인 것처럼 자신 있게 만들어 내는 것이다.

여기서 많은 사람이 오해한다. AI가 ‘거짓말’을 한다고 생각하는 것이다. 하지만 거짓말은 사실을 알면서 속이는 행위다. AI는 그렇지 않다. AI는 애초에 ‘진실’과 ‘그럴듯함’을 구분하지 못한다. AI가 하는 일은 진실을 말하는 게 아니라, 가장 그럴듯한 다음 단어를 이어 붙이는 것이기 때문이다.

AI는 답을 ‘아는’ 게 아니라, 답처럼 ‘보이는’ 문장을 만든다. 그래서 모를 때도 멈추지 않고, 빈칸을 그럴듯한 말로 채운다.

사람은 모르면 머뭇거리고, 자신 없는 목소리를 낸다. 우리는 그 머뭇거림을 보고 상대의 확신을 가늠한다. AI에겐 그게 없다. 100% 정확한 답도, 100% 지어낸 답도 똑같이 매끄럽고 똑같이 당당하다. 서연이 속은 건 AI의 지식이 아니라 그 흔들림 없는 말투였다.

가장 위험한 건, AI가 ‘거의’ 맞을 때다

차라리 AI가 엉뚱하게 틀리면 알아채기 쉽다. 진짜 함정은 AI가 90%는 맞고 10%만 틀릴 때다.

전체 맥락이 정확하니 신뢰가 생기고, 그 신뢰에 기대 나머지 10%를 검증 없이 넘긴다. 숫자 하나, 날짜 하나, 이름 하나. 보고서 전체가 옳아 보이는데 핵심 통계만 틀려 있으면, 그 보고서는 맞는 게 아니라 위험한 것이다. 매끄러움은 정확함의 증거가 아닌데, 우리 뇌는 자꾸 둘을 같은 것으로 받아들인다.

AI를 ‘검색’이 아니라 ‘초안’으로 대하기

그날 이후 서연이 바꾼 건 도구가 아니라 태도였다. AI를 ‘정답을 아는 검색창’이 아니라 ‘빠르게 초안을 뽑아 주는 조수’로 대하기 시작한 것이다.

조수가 가져온 자료를 상사에게 그대로 올리는 사람은 없다. 한 번 검토하고, 출처를 확인하고, 내 이름으로 책임질 수 있을 때 내보낸다. AI도 똑같다. AI가 “이 논문에 따르면”이라고 하면, 그 논문이 진짜 있는지 직접 찾아본다. 숫자를 주면, 원래 출처에서 한 번 더 확인한다. 이 한 단계가 귀찮아 보여도, 존재하지 않는 논문을 보고서에 박아 넣는 사고보다는 훨씬 싸게 먹힌다.

흥미로운 건, AI에게 묻는 방식만 바꿔도 환각이 줄어든다는 점이다. “확실하지 않으면 모른다고 말해 줘”, “출처를 명확히 밝히고, 추측이면 추측이라고 표시해 줘”라고 미리 일러두면, AI는 빈칸을 억지로 채우는 대신 솔직해지는 쪽으로 기운다.

의심은 AI를 더 잘 쓰는 능력이다

오해하지 말자. 환각이 있다고 AI가 쓸모없는 건 아니다. 서연은 지금도 매일 AI를 쓴다. 다만 예전처럼 무릎 꿇고 받아 적지 않을 뿐이다.

좋은 도구일수록 그 한계를 아는 사람이 잘 쓴다. 칼이 날카롭다는 걸 아는 사람이 칼을 잘 쓰듯, AI가 당당하게 틀린다는 걸 아는 사람이 AI를 잘 쓴다. AI 시대에 필요한 능력은 AI를 맹신하는 것도, 배척하는 것도 아니다. AI의 매끄러운 자신감과 진짜 사실을 분리해 내는 눈이다.

다음에 AI가 너무도 완벽한 답을 내놓아 감탄이 나온다면, 바로 그때 한 번 멈춰 보자. 가장 그럴듯한 답이, 때로 가장 검증이 필요한 답이다. AI는 거짓말쟁이가 아니라, 모른다고 말할 줄 모르는 똑똑한 조수일 뿐이니까.