AI에게 물어봤더니 정답률은 3배 하락, 자신감은 2배 상승 — '똑똑해지는 착각'의 정체

AI에게 조언을 구하면 더 나은 결정을 내릴 것 같습니다. 그런데 최근 여러 실험 결과는 정반대를 가리키고 있는데요. AI 조언을 받은 사람들이 오히려 정답에서 멀어졌고, 동시에 자기 답이 맞다고 더 굳게 믿었습니다. 성능은 떨어지는데 확신은 올라가는, 가장 위험한 조합입니다.

정답률은 내려가고 자신감은 올라간 이상한 실험

핵심 결과부터 정리해 보겠습니다. AI에게 조언을 구한 그룹은 그렇지 않은 그룹보다 정답률이 크게 떨어졌습니다. 반대로 자기 판단에 대한 자신감은 눈에 띄게 올라갔습니다. 성능과 확신이 서로 반대 방향으로 움직인 겁니다.

여기서 진짜 문제는 정답률 하락 그 자체가 아닙니다. 사람은 원래 틀립니다. 문제는 틀리면서도 스스로 맞다고 확신하게 됐다는 점입니다. 틀린 걸 아는 사람은 다시 확인합니다. 하지만 틀린 걸 맞다고 믿는 사람은 그냥 밀고 나갑니다.

이게 왜 무서운지 감이 오시나요. 자신감은 원래 브레이크 역할을 합니다. “확신이 안 서니 한 번 더 봐야지"가 실수를 걸러줍니다. AI가 그 브레이크를 풀어버린 셈입니다.

AI의 ‘유창함’이 신뢰로 착각되는 이유

AI가 내놓는 답변은 문장이 매끄럽습니다. 근거를 조목조목 대고, 확신에 찬 어조로 말합니다. 우리 뇌는 이 유창함을 정확함으로 착각합니다. 인지심리학에서 오래전부터 지적해 온 함정입니다.

말을 자신 있게 잘하는 사람의 주장을 우리는 더 쉽게 믿습니다. AI는 항상 자신 있게 말합니다. 틀린 답도 맞는 답과 똑같이 매끄러운 문장으로 나옵니다. 겉모습만으로는 구분이 안 됩니다.

여기에 하나가 더 겹칩니다. AI의 답을 내가 검토했다는 감각입니다. 실제로는 그냥 읽고 고개를 끄덕였을 뿐인데, 뇌는 이걸 “내가 검증했다"로 기록합니다. 검증했다고 믿으니 자신감이 오르는 겁니다.

조언이 아니라 ‘위임’이 되는 순간

원래 조언은 참고 자료여야 합니다. 여러 의견 중 하나로 두고 내가 판단하는 거죠. 그런데 AI 조언은 쉽게 위임으로 변질됩니다. 판단 자체를 넘겨버리는 겁니다.

이유는 단순합니다. 편하니까요. 사람 전문가에게 물으면 그 사람 말이 맞는지 한 번 더 곱씹게 됩니다. 사람은 틀릴 수 있다는 걸 우리가 알기 때문입니다. 반면 AI는 왠지 객관적이고 방대한 데이터를 봤을 것 같다는 인상을 줍니다. 그래서 검증 단계를 건너뛰게 됩니다.

이 지점이 결정적입니다. AI를 도구로 쓰면 성능이 오르지만, 판단의 주체로 삼으면 성능이 떨어집니다. 같은 AI라도 어떻게 대하느냐에 따라 결과가 갈립니다.

그러면 AI를 어떻게 써야 할까

AI를 쓰지 말자는 이야기가 아닙니다. 대하는 방식을 바꾸자는 겁니다. 몇 가지만 챙기면 함정을 상당히 피할 수 있습니다.

첫째, AI 답을 결론이 아니라 초안으로 취급하세요. 완성된 정답이 아니라 검토할 재료로 두는 겁니다. 둘째, 근거를 직접 확인하세요. AI가 대는 근거가 진짜인지 한 번은 되짚어야 합니다. 셋째, 내 자신감이 갑자기 올라갔다면 오히려 경계하세요. 확신이 커진 만큼 검증이 줄었을 가능성이 높습니다.

특히 자신감의 출처를 물어보는 습관이 중요합니다. 이 확신이 내가 직접 따져본 결과인지, 아니면 AI가 자신 있게 말해서 옮겨온 감정인지 구분하는 겁니다. 후자라면 그 자신감은 근거가 없습니다.

마무리

이번 연구가 던지는 메시지는 분명합니다. AI는 우리를 똑똑하게 만들 수도, 똑똑하다는 착각에 빠뜨릴 수도 있습니다. 그 갈림길은 AI 성능이 아니라 우리가 AI를 대하는 태도에 있습니다. 답을 받아들이기 전에 한 번 멈추는 것, 그 짧은 순간이 정확함과 착각을 가릅니다. 여러분은 오늘 AI에게 물어본 답을, 몇 번이나 다시 의심해 보셨나요.