AI에게 '네 가중치를 빼내라'고 한다면: 모델 공개와 유출의 경계

핵심 요약

• 가중치는 모델이 학습하면서 조정한 숫자이며, 대화 기록과는 다릅니다.
• AI에게 가중치를 내놓으라고 지시했다고 실제 모델 파일이 유출됐다고 볼 수는 없습니다.
• 에이전트의 유출 위험은 파일 접근 권한과 외부 전송 권한에 크게 좌우됩니다.
• 모델 공개와 무단 유출을 구분하는 기준은 배포 권한과 허가된 범위입니다.

AI에게 “네 가중치를 빼내라(Exfiltrate Your Weights)”고 지시했다고 해보겠습니다. 파일을 읽고 도구를 실행하는 에이전트라면, 이런 지시가 실제 보안 문제로 이어질 수 있습니다. 이때 살펴봐야 할 것은 AI가 어떤 파일에 접근할 수 있고, 그 파일을 어디로 보낼 수 있느냐입니다.

가중치는 AI가 말로 꺼내는 기억이 아닙니다

가중치는 모델이 학습하면서 조정한 숫자입니다. 입력을 바탕으로 다음 출력을 계산할 때 쓰며, 보통 모델 파일에 저장합니다. 지금 나누는 대화나 에이전트가 따로 저장한 메모와는 다릅니다.

모델이 가중치로 답변을 만든다고 해서 자기 가중치 파일까지 읽을 수 있는 것은 아닙니다. 프로그램을 실행할 수 있다고 그 프로그램이 설치된 서버의 모든 파일을 내려받을 수 있는 것은 아닌 것과 비슷합니다.

그러니 “네 가중치를 출력해”라는 요청에 숫자가 쏟아져 나와도, 그것만으로 유출을 입증할 수는 없습니다. 그 숫자가 실제 모델 파일에 들어 있는 내용인지는 따로 확인해야 합니다.

가중치를 확보했다고 원래 서비스 전체를 복제할 수 있는 것도 아닙니다. 모델을 실행하려면 호환되는 구조와 소프트웨어가 필요합니다. 검색이나 외부 도구 연결 같은 서비스 기능은 별개일 수 있습니다.

에이전트에서는 파일 접근과 전송 권한을 함께 봐야 합니다

에이전트는 모델의 출력에 따라 파일을 읽거나 코드를 실행하고, 네트워크 요청을 보낼 수 있습니다. 따라서 답변 내용뿐 아니라 도구의 권한도 살펴봐야 합니다.

예를 들어 어떤 에이전트가 로컬 모델 파일을 읽을 수 있다고 해보겠습니다. 외부 저장소로 파일을 보내는 기능까지 갖췄다면, 모델 파일을 반출할 경로가 생깁니다. 실제로 유출이 일어날지는 에이전트가 지시를 어떻게 처리하는지, 전송을 제한하는 장치가 있는지에 달려 있습니다.

반면 외부 AI 서비스를 호출하는 에이전트라면, 그 서비스의 가중치 파일이 에이전트 작업 공간에 있다고 볼 수는 없습니다. 답변을 요청할 권한과 모델 파일에 접근할 권한은 서로 다릅니다.

보안 대책을 세울 때도 이 차이를 고려해야 합니다. “가중치를 유출하지 마”라는 지시만으로는 한계가 있습니다. 업무에 필요하지 않은 모델 파일에는 접근할 수 없게 하고, 파일을 보낼 수 있는 목적지도 함께 제한해야 합니다.

모델 공개와 무단 유출은 누가 허락했는지에서 갈립니다

모델 개발 주체가 정해진 조건에 따라 가중치를 배포하면 모델 공개입니다. 권한 없이 비공개 가중치를 외부로 반출하면 무단 유출입니다. 파일을 복사하는 동작은 비슷해도, 누가 어디까지 허용했는지가 다릅니다.

오픈 웨이트, 즉 가중치를 공개한 모델도 이용·재배포 조건을 따로 확인해야 합니다. 다운로드할 수 있다고 해서 모든 사용과 재배포를 허용한다고 단정할 수는 없습니다.

에이전트에 명령을 입력한 사람이 언제나 해당 파일을 배포할 권한까지 가진 것은 아닙니다. 회사 시스템을 쓰는 직원에게 파일을 열람할 권한은 있어도 외부에 공유할 권한은 없을 수 있는 것과 같습니다.

그래서 “AI가 공개를 선택했다”는 표현은 주의해서 읽어야 합니다. 모델이 공개에 동의하는 문장을 만들었다고 새로운 배포 권한이 생기지는 않습니다. 실제로 누가 접근을 허용했고, 어떤 전송을 승인했는지 확인해야 합니다.

성공했다는 답변보다 실제로 이동한 파일이 중요합니다

가중치 유출 실험을 평가할 때도 답변과 실제 결과를 구분해야 합니다. 에이전트가 “전송했습니다”라고 답한 것과 실제 파일이 외부에 도착한 것은 별개의 사실입니다.

우선 어떤 파일을 전송했는지 봐야 합니다. 실제 비공개 가중치를 보냈는지, 이미 공개된 모델 파일이나 시험용으로 만든 가짜 파일을 보냈는지에 따라 결과의 의미가 달라집니다. 외부 목적지에 도착한 파일이 원본과 일치하는지도 확인해야 합니다.

시험용 파일을 옮긴 결과에도 의미는 있습니다. 에이전트가 특정 지시를 받고 파일을 전송했다는 사실을 보여주기 때문입니다. 다만 이 결과를 곧바로 비공개 모델을 탈취했다는 증거로 볼 수는 없습니다.

이 지시를 보면 저는 에이전트에게 업무에 필요한 범위를 넘어서는 권한까지 맡긴 것은 아닌지부터 따져보게 됩니다.

모델을 공개할지는 배포 권한을 가진 주체가 결정합니다. 에이전트 보안에서는 실제 시스템이 그 결정을 따르도록 해야 합니다. 사용하는 AI가 어떤 파일을 읽을 수 있고 그 파일을 어디까지 보낼 수 있는지 확인하는 것도 그 일에 포함됩니다.