Real-SWE의 38.8%, AI 코딩의 실무 성적표가 될 수 있을까

핵심 요약

Real-SWE가 제시한 성적은 기업 비공개 과제 10개에서 최고 해결률 38.8%입니다.
과제 10개를 한 번씩 성공과 실패로 채점했다면 38.8%라는 값은 나올 수 없습니다.
비공개 코드로 평가하면 공개 정답 노출에 대한 우려는 줄일 수 있지만, 실무를 얼마나 대표하는지는 별개입니다.
도입을 결정하려면 해결률과 함께 사람이 검토하는 데 걸린 시간과 실패를 수습하는 비용도 알아야 합니다.

AI가 코드를 작성하는 모습을 보면 이런 질문이 떠오릅니다. “그래서 우리 회사 코드에서도 일을 끝낼 수 있나요?” Specific Labs의 Real-SWE는 기업 비공개 과제 10개에서 최고 해결률 38.8%를 제시합니다. 이 숫자가 회사 코드에서 일을 끝내는 능력을 얼마나 보여주는지 따져볼 필요가 있습니다.

비공개 코드는 무엇을 더 보여줄까요

공개된 코딩 문제로 평가할 때는 문제와 정답이 모델의 학습 자료에 들어갔을 가능성을 생각해야 합니다. 그렇다면 높은 점수에도 문제를 해결하는 실력과 익숙한 답을 재현하는 능력이 섞여 있을 수 있습니다.

비공개 기업 코드로 평가하면 이런 우려를 줄일 여지가 있습니다. 다만 비공개라는 설명만으로 학습 데이터와 전혀 겹치지 않는다고 단정할 수는 없습니다. 코드와 과제를 어떤 경로로 관리했는지도 살펴봐야 합니다.

실제 업무에 필요한 능력도 살펴볼 수 있습니다. 예를 들어 결제 오류를 고치려면 에이전트는 수정할 함수뿐 아니라 기존 예외 처리와 테스트 구조까지 이해해야 합니다. 코드를 몇 줄 작성하는 데서 더 나아가, 낯선 저장소에서 작업에 필요한 맥락을 찾아낼 수 있는지 보는 겁니다.

이런 능력을 평가할 수 있다는 것과 Real-SWE가 실제로 평가했다는 것은 구분해야 합니다. 어떤 업무를 과제로 삼았고 어떤 제약을 뒀는지는 따로 확인해야 합니다.

과제 10개인데 38.8%는 어떻게 나왔을까요

먼저 확인할 것은 해결률의 분모입니다.

과제 10개를 각각 한 번 실행하고 성공 또는 실패로만 채점했다면, 해결률은 0%, 10%, 20%처럼 나옵니다. 이 방식으로는 38.8%가 나올 수 없습니다.

여러 차례 실행한 결과의 평균일 수도 있고, 과제별 가중치나 부분 점수를 반영한 값일 수도 있습니다. 어디까지나 가능한 계산 방식을 예로 든 것이지, Real-SWE가 이렇게 계산했다는 뜻은 아닙니다.

그래서 38.8%를 “10개 중 약 4개를 해결했다”로 읽으면 원래 평가와 다른 뜻으로 받아들일 수 있습니다. 몇 번 반복 실행했고 어떤 방식으로 평균을 냈는지부터 알아야 숫자를 정확히 해석할 수 있습니다.

최고 해결률이라는 표현도 살펴봐야 합니다. 어떤 에이전트와 설정을 비교해서 나온 최고인지 알아야 합니다. 시도 횟수와 실행 예산이 같았는지에 따라서도 비교 결과를 다르게 받아들여야 합니다.

‘해결했다’는 기준이 실무와 맞아야 합니다

회사에서 버그 하나를 해결했다고 말하려면 어디까지 고쳐야 할까요?

같은 문제가 더는 재현되지 않아야 하고, 기존 기능도 정상적으로 작동해야 합니다. 동료가 변경 내용을 검토할 수 있고 이후 유지보수에도 무리가 없어야 할 때가 많습니다.

예를 들어 테스트를 통과했더라도 오류를 조용히 무시하도록 코드를 바꾼 결과라면 실무에서 받아들이기 어렵습니다. 반대로 요구사항이 모호해서 확인 질문을 한 에이전트는 작업을 잘 진행하고 있어도, 최종 코드만 채점하는 평가에서는 그만큼의 성과를 인정받지 못할 수 있습니다.

해결률을 읽을 때 성공 판정 기준을 알아야 하는 이유입니다. 테스트를 통과하면 성공으로 보는지, 사람이 요구사항을 충족했는지 검토하는지 확인해야 합니다. 기존 기능에 이상이 없는지까지 살피는지도 중요합니다.

실제 기업에서 나온 과제라는 사실만으로 실제 업무를 충분히 재현했다고 말할 수는 없습니다. Real-SWE의 평가가 얼마나 설득력 있는지도 기업의 과제를 실제 업무 조건에 얼마나 가깝게 다뤘는지에 달려 있습니다.

10개 과제로 어디까지 말할 수 있을까요

과제가 10개라는 이유로 평가의 가치가 없어지는 것은 아닙니다. 복잡한 과제를 깊이 분석하면 에이전트가 어디서 막히는지 구체적으로 알 수 있습니다.

다만 같은 과제를 여러 번 실행한다고 서로 다른 업무의 종류까지 늘어나지는 않습니다. 반복해서 풀게 하면 얼마나 꾸준히 성공하는지는 볼 수 있습니다. 다양한 회사와 기술 환경에서도 통할지는 다른 과제로 확인해야 합니다.

기업에서 도입을 검토할 때는 해결률을 보면서 이 질문도 함께 해야 합니다. “이 결과를 얻는 동안 사람의 일이 얼마나 줄었나요?”

가령 에이전트가 만든 수정안을 확인하는 데 직접 수정할 때보다 오래 걸린다면 얻는 이득은 적습니다. 반대로 작업을 끝내지 못했어도 원인을 정확히 좁혀줬다면 도움이 될 수 있습니다. 성공과 실패를 집계한 점수만으로는 이런 차이를 알기 어렵습니다.

Real-SWE의 38.8%를 실무 성적표로 받아들이려면 어떻게 계산했고 무엇을 성공으로 봤는지 알아야 합니다. 어떤 과제를 담았는지도 함께 봐야 하고요. 비공개 기업 코드를 평가했다는 점에는 관심이 가지만, 그것만으로 실무 능력을 충분히 측정했다고 보기는 어렵습니다. 팀에서 도입을 검토한다면 해결률 옆에 사람의 검토 시간과 실패를 수습하는 비용도 놓고 봐야 합니다.