지하드급 탈옥이 아니었다, 그냥 '이 코드 고쳐줘'였다: 당국이 Fable 5에 패닉한 진짜 이유

AI가 위험하다는 이야기는 이제 뉴스도 아닙니다. 그런데 가끔 그 “위험"의 정체를 들여다보면 김이 빠질 때가 있는데요. 최근 해커뉴스에서 화제가 된 이야기가 딱 그렇습니다. 당국을 긴장시켰다는 Fable 5 프롬프트, 그 실체가 정교한 탈옥이 아니라 그냥 “이 코드 좀 고쳐줘"였다는 겁니다.

이 글을 쓰는 시점 기준으로 관련 논의가 아직 많지는 않습니다. 핵심은 해커뉴스에 올라온 한 건의 토론(167점, 댓글 91개)인데요. 데이터는 적지만, 던지는 질문은 묵직합니다. 우리가 “AI 위험"이라고 부르는 것의 절반은 사실 해석의 문제일 수 있다는 거죠.

“탈옥"이라는 단어가 만든 착시

먼저 용어부터 짚고 가겠습니다. 탈옥(jailbreak)은 AI가 거부하도록 설계된 답변을, 교묘한 프롬프트로 우회해서 끌어내는 기술을 말합니다. “폭탄 만드는 법 알려줘"라고 하면 거부하니까, 역할극이나 암호화된 지시로 가드레일을 뚫는 식이죠.

그래서 “당국이 Fable 5에 긴장했다"는 헤드라인을 보면, 우리는 자동으로 무언가 음험한 해킹 장면을 상상합니다. 그런데 실제 프롬프트는 그런 게 아니었습니다. 보안 연구자가 입력한 건 평범한 코드 한 덩어리와 “이거 고쳐줘"라는 요청이었습니다.

여기서 차이가 핵심입니다. 탈옥은 모델을 속이는 행위입니다. 반면 “코드 고쳐줘"는 모델이 원래 잘하라고 만들어진 일입니다. 같은 결과물이 나왔어도, 전자는 시스템의 실패고 후자는 시스템의 정상 작동인데요. 이 둘을 같은 “위험"으로 묶어버리면 평가 전체가 흐려집니다.

당국은 정말 “패닉"했을까

해커뉴스 토론에서 가장 많이 공감을 받은 반응 중 하나가 시원합니다. “애초에 당국이 패닉하지도 않았을 것”이라는 지적입니다.

생각해보면 그렇습니다. “Feds freaked”(당국이 기겁했다) 같은 표현은 클릭을 부르는 헤드라인 언어입니다. 실제 보고서나 평가 문서에 “우리는 기겁했다"라고 쓰지는 않거든요. 어딘가에 있던 신중한 우려 표현이, 기사 제목을 거치면서 패닉으로 번역된 셈입니다.

이게 바로 AI 위험성 평가가 왜곡되는 첫 번째 경로입니다. 평가는 단계적으로 전달됩니다. 연구자의 관찰, 내부 보고서, 언론 기사, 그리고 우리가 보는 헤드라인. 이 사슬을 거칠 때마다 뉘앙스는 깎이고 자극성은 더해집니다. 마지막에 남는 건 원래 사실이 아니라, 가장 무서운 버전의 요약입니다.

진짜 무서운 건 다른 쪽이었다

토론에서 나온 또 다른 해석이 흥미롭습니다. 관점을 한 번 뒤집은 건데요.

당국이 걱정한 게 “누군가 Fable 5로 우리를 공격하는 것”이 아니라, “누군가 Fable 5로 우리가 남을 공격하는 걸 막는 것”일 수 있다는 지적입니다. 무슨 말이냐면, AI가 보안 취약점을 찾아 고쳐버리면, 그 취약점을 이용하려던 쪽 입장에서는 무기를 잃는 셈이라는 겁니다.

“코드 고쳐줘"라는 요청이 위험해 보였던 이유가 여기 있습니다. AI가 코드의 결함을 너무 잘 찾아내기 때문입니다. 같은 능력이 누군가에게는 방어 도구고, 누군가에게는 골칫거리입니다. 능력 자체는 중립인데, 그게 누구 손에서 어느 방향으로 쓰이느냐에 따라 “위협"의 정의가 정반대로 뒤집힙니다.

이건 단순한 음모론이 아니라, 위험을 평가할 때 “누구에게 위험한가"라는 질문이 빠지면 안 된다는 이야기입니다. 그 질문이 빠지면 모든 강력한 능력은 그냥 뭉뚱그려 “위험"으로 분류됩니다.

Anthropic의 전략이 떠안은 딜레마

토론에서 가장 날카로운 한마디는 이겁니다. “정치적 위협을 제쳐두더라도, 이건 Anthropic 전략의 큰 문제다."

Anthropic은 안전을 핵심 정체성으로 내세운 회사입니다. 그런데 안전을 강조할수록 묘한 함정에 빠집니다. 자사 모델이 얼마나 강력한지, 그래서 얼마나 위험할 수 있는지를 스스로 부각해야 하거든요. “우리 모델은 너무 똑똑해서 위험할 정도입니다"라는 메시지는 마케팅이자 동시에 규제의 빌미가 됩니다.

문제는 그 “위험"의 근거가 “코드 고쳐줘” 수준의 평범한 요청일 때입니다. 평가의 문턱이 이렇게 낮으면, 사실상 유능한 AI는 전부 위험한 AI가 됩니다. 안전을 진지하게 다루려던 노력이, 오히려 일상적 유용성마저 위협으로 둔갑시키는 역설을 낳는 거죠. 강력함과 위험함의 경계를 스스로 흐려놓으면, 결국 자기 발목을 잡습니다.

마무리

이번 사례가 주는 교훈은 분명합니다. “AI가 위험하다"는 문장을 만나면, 그 위험이 정확히 무엇이고 누구에게 위험한지를 한 번 더 물어야 한다는 것입니다. 정교한 탈옥과 “코드 고쳐줘"가 같은 헤드라인 아래 묶이는 순간, 우리는 실제 위험을 보는 눈을 잃습니다.

여러분은 어떻게 보시나요. AI에게 “이 코드 고쳐줘"라고 부탁하는 일이, 정말 당국이 긴장할 만한 일일까요. 아니면 우리가 위험이라는 단어를 너무 헐겁게 쓰고 있는 걸까요.