영국 경찰, 법정 진술서에 AI 못 쓴다 — 사법 시스템이 그은 첫 번째 선

요즘 직장인 책상 위에서 가장 흔한 풍경 중 하나가 “이거 AI한테 시키면 되지 않나?“입니다. 보고서 초안도, 이메일도, 회의록도 다 AI가 만들어줍니다. 그런데 그 “이거"가 누군가를 감옥에 보낼 수도 있는 법정 진술서라면 어떨까요. 영국과 웨일스 경찰이 바로 이 질문 앞에서 멈춰 섰습니다.

지난 6일 해커뉴스에 올라온 한 기사가 122포인트를 받으며 41개의 댓글을 불러왔습니다. 제목은 단순했습니다. “영국과 웨일스 경찰, 법정 진술서에 AI 사용 중단 지시받다.” 별것 아닌 행정 지침처럼 보이지만, 저는 이게 사법 시스템이 AI에 그은 첫 번째 명확한 선이라고 봅니다.

무슨 일이 있었나

핵심은 간단합니다. 영국과 웨일스의 경찰들이 법정에 제출하는 진술서나 증거 문서를 작성할 때 AI 도구를 쓰지 말라는 지침을 받았습니다. 여기서 말하는 AI 도구는 우리가 흔히 쓰는 챗봇류, 특히 마이크로소프트의 Copilot 같은 상용 서비스를 포함합니다.

문제의식은 한 경찰 고위 관계자의 발언에서 드러납니다. 그는 “제대로 된 평가를 거치기 전에 상용 AI 도구를 배치하던 일선 부서들에 개입했다"고 밝혔습니다. 쉽게 말해, 검증도 안 된 AI를 현장 경찰들이 이미 쓰고 있었고, 윗선이 부랴부랴 제동을 걸었다는 이야기입니다.

흥미로운 건 그가 덧붙인 말입니다. “모든 부서가 Copilot 사용에 대한 좋은 정책을 갖고 있다"고 했는데요. 정책은 있는데 실제로는 통제가 안 되고 있었다는 뜻으로도 읽힙니다. 정책 문서와 현장 현실 사이의 거리, 어느 조직에나 있는 그 틈이 여기서도 보입니다.

왜 하필 법정 진술서인가

AI를 회의록 정리에 쓰는 것과 법정 진술서에 쓰는 것은 완전히 다른 차원의 이야기입니다. 차이를 만드는 건 AI 환각입니다.

생성형 AI는 사실을 검색해서 알려주는 기계가 아닙니다. 통계적으로 그럴듯한 다음 단어를 예측해서 문장을 만드는 기계입니다. 그래서 존재하지 않는 사실을 자신감 넘치는 문장으로 지어냅니다. 이걸 환각이라고 부릅니다.

회의록에 환각이 끼면 “어, 이건 좀 이상한데” 하고 넘어가면 됩니다. 하지만 법정 진술서에 환각이 끼면 이야기가 달라집니다. 일어나지 않은 사건이 일어난 것처럼 기록되고, 하지 않은 말이 한 것처럼 적힙니다. 그 문서 하나로 누군가는 유죄가 되고 누군가는 무죄가 됩니다. 되돌릴 수 없는 영역입니다.

이미 다른 나라에서는 변호사들이 AI가 지어낸 가짜 판례를 법정에 제출했다가 망신을 당한 사례가 줄줄이 나왔습니다. 존재하지 않는 판결문을 인용하고, 가공의 사건 번호를 적어낸 겁니다. 경찰의 진술서라고 그런 일이 안 일어날 이유가 없습니다.

정책은 있는데 왜 막아야 했을까

여기서 한 가지 짚고 넘어갈 점이 있습니다. 앞서 관계자는 “좋은 정책이 있다"고 했습니다. 그런데도 왜 전면 중단 지시가 내려왔을까요.

제 해석은 이렇습니다. AI 도구는 너무 쉽고, 너무 빠르고, 너무 편합니다. 진술서 한 장 쓰는 데 30분 걸리던 일이 3분으로 줄어든다면, 격무에 시달리는 현장 경찰이 그 유혹을 뿌리치기는 쉽지 않습니다. 정책 문서에 “신중히 사용하라"고 적어두는 것만으로는 부족했던 거죠.

특히 상용 AI 도구에는 또 다른 문제가 있습니다. 경찰이 다루는 정보는 피해자 신원, 수사 정보, 민감한 개인정보 덩어리입니다. 이런 내용을 외부 AI 서비스에 입력하는 순간, 그 데이터가 어디로 흘러가는지 통제하기 어려워집니다. “제대로 된 평가를 거치기 전에"라는 표현에는 이런 데이터 보안 우려도 담겨 있다고 봐야 합니다.

커뮤니티는 어떻게 봤나

해커뉴스 반응은 둘로 갈렸습니다. 한쪽에서는 당연한 조치라는 반응이었습니다. 사법 시스템처럼 정확성이 생명인 영역에 검증 안 된 AI를 들이는 것 자체가 위험하다는 거죠.

한 댓글은 다소 냉소적이었습니다. “AI가 우리를 ‘이디오크라시’로 이끄는 갈림길이 될 줄은 몰랐다"는 반응이었는데요. 이디오크라시는 사람들이 점점 멍청해지는 디스토피아를 그린 영화입니다. 인간이 판단해야 할 일을 AI에 떠넘기다가 결국 판단력 자체를 잃는다는 우려를 담은 농담입니다.

다만 데이터 자체는 솔직히 말씀드려야겠습니다. 이 주제는 아직 커뮤니티에서 폭넓게 논의되지는 않았습니다. 지난 30일간 확인된 관련 논의가 많지 않았고, 해커뉴스 한 건과 영국 사법 시스템과 AI를 다룬 유튜브 영상 정도가 눈에 띄는 수준입니다. 큰 화제라기보다는, 조용하지만 의미 있는 신호에 가깝습니다.

마무리: 선이 그어진 자리를 보라

이번 지침이 중요한 이유는 AI를 무조건 막아서가 아닙니다. 어디까지 AI를 믿을 것인가라는 질문에 한 사회가 처음으로 구체적인 답을 내놓았기 때문입니다. 편의는 좋다, 하지만 되돌릴 수 없는 결정에는 AI를 들이지 않겠다. 영국 사법 시스템이 그은 선은 딱 그 지점입니다.

이 선은 경찰만의 이야기가 아닙니다. 의료 진단, 채용 심사, 대출 심사처럼 사람의 인생을 좌우하는 모든 영역이 같은 질문 앞에 서 있습니다. 여러분의 일터에서 AI가 쓰이는 곳은 어디인가요. 그리고 그중 “환각이 한 번이라도 끼면 안 되는” 일은 무엇인가요. 그 경계를 미리 그어두는 것, 어쩌면 지금 가장 필요한 작업일지도 모릅니다.