‘문장을 쓰지 않는 AI’ Jev, 형식이 맞으면 판단도 정확할까?

핵심 요약

구조화된 출력은 답의 형식을 제한하지만 판단의 정확성을 보장하지 않습니다.
자유롭게 문장을 쓰지 못하게 해도 잘못된 분류나 근거 없는 선택은 남을 수 있습니다.
환각이 줄었다는 주장은 어떤 오류를 측정했는지와 함께 살펴봐야 합니다.
업무에 적용할 때는 정답률뿐 아니라 오판 비용과 판단 보류 기준도 중요합니다.

AI에 글쓰기뿐 아니라 업무 판단까지 맡기려면, 그 답을 믿고 실행해도 될지부터 따져봐야 합니다. TypeSafe AI의 Jev와 ‘System One Models’를 둘러싼 구조화된 결정 논의에서도 궁금한 건 같습니다. ‘문장을 쓰지 않는 AI’라면, 그럴듯한 거짓말과 잘못된 판단까지 사라질까요?

문장 대신 선택지를 내놓는다는 것

가령 환불 심사 AI의 답을 승인, 거절, 판단 보류 세 가지로 제한한다고 해보겠습니다. “고객님의 상황을 종합적으로 고려하면…” 같은 설명 대신, 프로그램이 바로 처리할 수 있는 값을 내놓는 방식입니다.

이렇게 출력할 항목과 각 항목에 넣을 수 있는 값을 정한 규칙을 스키마라고 부릅니다. 선택지가 정해져 있으면 뒤에 연결된 프로그램이 긴 문장을 읽고 결론을 찾아낼 필요가 없습니다.

업무를 자동화할 때는 이 점이 유용합니다. 승인이면 환불 절차를 시작하고, 판단 보류이면 담당자에게 넘기도록 처리 흐름을 짤 수 있습니다.

다만 이렇게 해서 얻는 것은 우선 처리하기 쉬운 답입니다. 그 답이 옳은지는 따로 확인해야 합니다.

틀린 판단도 완벽한 형식으로 나옵니다

가상의 환불 규정을 하나 정해보겠습니다. 구매 후 30일까지만 환불할 수 있고, 예외는 없습니다.

그런데 AI가 구매한 지 45일이 지난 신청에 승인이라는 답을 내놓았습니다. 허용된 선택지 중 하나이므로 프로그램은 문제없이 읽을 수 있습니다. 하지만 환불 규정에 비춰보면 틀린 판단입니다.

그래서 답을 검사할 때는 두 가지를 따로 확인해야 합니다.

형식 검사: 답이 허용된 값으로 나왔는가?
판단 검사: 해당 사례에서 그 값을 고르는 것이 맞는가?

객관식 시험을 생각하면 쉽습니다. 모든 답을 1번부터 4번 사이에 적었다고 해서 만점을 받는 것은 아닙니다. 답안 작성 규칙을 지키는 것과 정답을 고르는 것은 별개입니다.

오히려 형식을 깔끔하게 갖춘 답에서는 이런 오류를 알아채기 어려울 수도 있습니다. 화면에는 승인만 보일 뿐, AI가 어떤 잘못된 전제를 바탕으로 판단했는지는 드러나지 않기 때문입니다.

‘환각이 없다’는 말은 무엇을 보장할까요?

Jev의 환각 관련 주장을 평가하려면 먼저 환각의 정의부터 살펴봐야 합니다. 존재하지 않는 사실을 지어내는 오류와 주어진 규칙을 잘못 적용하는 오류는 구분해서 봐야 합니다.

출력을 몇 가지 선택지로 제한하면 긴 설명 속에 가짜 인물이나 논문을 끼워 넣는 문제는 막을 수 있습니다. 그렇다고 잘못된 선택까지 막을 수 있는 것은 아닙니다.

출력에 여러 항목이 들어가면 또 다른 문제가 생깁니다. 예를 들어 승인 여부와 함께 근거 문서 번호를 내놓도록 했다고 해보겠습니다. 그 번호의 문서가 실제로 존재하더라도, 해당 결정과 무관한 문서를 근거로 고를 수 있습니다.

그러니 “환각 없음”이라는 표현을 보면 어디까지 확인했다는 말인지 살펴봐야 합니다. 문법 오류가 없다는 뜻일 수도 있고, 허용된 값만 내놓는다는 뜻일 수도 있습니다. 사실과 판단까지 검증했다는 뜻이라면 보장하는 범위가 달라집니다.

형식 준수율만으로 답에 담긴 사실이나 업무 판단이 얼마나 정확한지까지 설명할 수는 없습니다.

정답률 옆에는 오판 비용과 보류율도 있어야 합니다

실무에서는 얼마나 자주 맞히는지만큼 틀렸을 때 어떤 일이 생기는지도 중요합니다.

환불 대상이 아닌 신청을 승인하면 비용이 듭니다. 반대로 정상적인 신청을 거절하면 고객이 피해를 봅니다. 같은 오답 한 건이라도 그 결과는 다릅니다.

구조화된 의사결정 AI를 평가할 때 다음 항목을 함께 봐야 하는 이유입니다.

승인해야 할 사례를 얼마나 자주 거절하는가?
거절해야 할 사례를 얼마나 자주 승인하는가?
정보가 부족할 때 판단을 보류하는가?
보류하지 않고 자동으로 처리한 사례의 정확도는 얼마인가?

판단 보류라는 선택지만 추가한다고 충분한 것은 아닙니다. AI가 실제로 어떤 상황에서 그 값을 고르는지 확인해야 합니다. 대부분의 사례를 사람에게 넘기는 시스템과 거의 모든 사례를 자동으로 처리하는 시스템은 정답률이 같아도 활용 범위가 다릅니다.

저는 Jev를 볼 때 AI가 말을 얼마나 줄이는지보다 결정의 오류를 얼마나 분명하게 측정할 수 있는지를 더 중요하게 봅니다. 출력 형식을 제한하는 일은 유용하지만, 판단을 믿고 맡길 수 있는지는 따로 검증해야 합니다. 실제 업무에 적용할 때는 AI가 틀린 결정을 곧바로 내릴 때 드는 비용과 “이 건은 사람이 확인해야 합니다”라고 멈출 때 드는 비용을 비교해야 합니다.