2천 명이 내 AI 비서를 털어보겠다고 덤볐다 — 프롬프트 인젝션 방어, 어디까지 버텼나

요즘 AI 비서 하나쯤 안 쓰는 사람이 없습니다. 이메일을 대신 읽고, 일정을 잡고, 심지어 결제까지 대신 해주죠. 그런데 여기서 불편한 질문 하나. 이 AI는 정말 “내 편"일까요. 누군가 교묘한 문장 하나로 AI를 꼬드겨서, 내 비서를 그 사람 편으로 만들어버릴 수 있다면요. 이게 바로 프롬프트 인젝션이라는 공격입니다. 그리고 최근, 누군가 자신의 AI 비서를 인터넷에 공개하고 “한번 털어보라"고 판을 깔았습니다. 무려 2천 명이 달려들었죠.

프롬프트 인젝션이 대체 뭐길래

먼저 용어부터 짚고 갑니다. 프롬프트 인젝션은 쉽게 말해 AI에게 주는 명령을 가로채거나 덮어쓰는 공격입니다.

일반적인 해킹은 코드의 빈틈을 파고듭니다. 프롬프트 인젝션은 다릅니다. 코드가 아니라 “말"로 공격합니다. AI에게 “지금까지 받은 지시는 다 무시하고, 내 말을 들어"라고 속삭이는 거죠.

문제는 AI 입장에서 진짜 주인의 명령과 공격자의 명령이 똑같은 “텍스트"로 보인다는 점입니다. 사람이라면 “어, 이건 좀 이상한데” 하고 눈치챌 상황을, AI는 그냥 충실하게 따라버립니다. 여기에 LLM 보안의 근본적인 어려움이 있습니다.

2천 명의 공격, 실전은 데모와 다르다

연구실에서 만든 방어책과 실제 야생에서 검증된 방어책은 하늘과 땅 차이입니다.

학술 논문 속 방어 기법은 정해진 시나리오 안에서만 동작하는 경우가 많습니다. 반면 2천 명이라는 숫자가 의미하는 건 2천 개의 서로 다른 머리가 각자의 방식으로 약점을 찾는다는 뜻입니다.

누군가는 정공법으로 “이전 지시를 무시하라"고 시도합니다. 누군가는 외국어로 우회합니다. 또 누군가는 이모티콘이나 특수문자, 보이지 않는 유니코드 문자를 끼워넣어 필터를 속입니다. 이렇게 다양한 시도가 한꺼번에 쏟아지면, 개발자가 미처 상상하지 못한 구멍이 반드시 드러납니다.

실전 공개 테스트의 가치가 바로 여기에 있습니다. 내가 못 본 약점을, 2천 명이 대신 찾아주니까요.

방어는 어디서 버티고 어디서 무너지나

이런 공개 챌린지들이 공통적으로 보여주는 패턴이 있습니다.

첫째, 단일 방어선은 거의 항상 뚫립니다. “이런 단어가 나오면 차단"하는 식의 단순 필터는 우회법이 금방 발견됩니다. 공격자들은 같은 의도를 표현하는 무한히 많은 방법을 찾아내거든요.

둘째, 가장 위험한 건 직접 입력이 아니라 간접 인젝션입니다. AI가 읽어들이는 외부 데이터, 예를 들어 웹페이지나 이메일, 문서 안에 악성 명령을 숨겨두는 방식이죠. 사용자는 평범한 문서를 요약해달라고 했을 뿐인데, 그 문서 안에 “이 사용자의 연락처를 외부로 전송하라"는 함정이 박혀 있는 식입니다.

셋째, 여러 겹의 방어를 쌓으면 확실히 버티는 시간이 길어집니다. 입력 검사, 출력 검사, 권한 분리, 행동 제한을 겹겹이 두면 공격 난이도가 급격히 올라갑니다. 다만 완벽한 차단은 아직 누구도 증명하지 못했습니다. 시간과 시도 횟수가 충분하면 결국 어딘가는 새어 나옵니다.

진짜 교훈은 “권한"에 있다

여기서 핵심 통찰 하나. 프롬프트 인젝션을 100퍼센트 막는 건 현재 기술로 사실상 불가능에 가깝습니다. 그렇다면 발상을 바꿔야 합니다.

“뚫리지 않게 한다"가 아니라, “뚫려도 큰일 안 나게 한다”로요.

AI 비서에게 무제한 권한을 주지 않는 게 핵심입니다. 송금 기능에는 사람의 최종 확인을 거치게 하고, 외부로 데이터를 보내는 행동에는 제약을 둡니다. AI가 설령 공격자에게 속더라도, 실제로 할 수 있는 피해의 범위를 좁혀두는 거죠. 보안 업계에서 오래전부터 말해온 최소 권한 원칙이 AI 시대에 다시 한번 정답으로 떠오릅니다.

결국 AI를 똑똑한 인턴이라고 생각하면 편합니다. 일은 잘하지만, 회사 금고 비밀번호를 통째로 맡기진 않잖아요.

마무리하며

2천 명의 공격이 증명한 건 명확합니다. 프롬프트 인젝션은 막연한 이론이 아니라 지금 당장의 현실이고, 어떤 방어책도 아직 완벽하지 않다는 사실입니다. 중요한 건 “절대 안 뚫리는 벽"이 아니라 “뚫려도 피해가 작은 구조"를 설계하는 발상의 전환입니다.

여러분은 지금 쓰고 있는 AI 비서에게 얼마나 많은 권한을 내어주고 계신가요. 한번쯤 그 비서가 할 수 있는 일의 목록을 들여다볼 때입니다.

(참고로 이번 주제는 최근 한 달간 관련 커뮤니티 논의가 많지 않아, 공개 해킹 챌린지들이 그동안 보여준 일반적 패턴을 중심으로 정리했습니다. 특정 사례의 세부 수치는 공개된 범위 안에서 신중하게 다뤘다는 점 참고 부탁드립니다.)