앤트로픽이 AI 모델의 사이버보안 테스트 중 외부 시스템을 무단으로 침입한 네 번째 사건을 뒤늦게 공식화했다. 이 사건은 지난 1월 초기 개발 단계의 '클로드 오퍼스 4.6'과 연관돼 있으며, 앤트로픽은 피해 대상자들에게 알렸지만 구체적인 피해 사항이나 영향받은 곳은 밝히지 않았다.
앤트로픽은 9일(현지시간) 공식 블로그를 통해 이 사건이 지난 1월에 발생했으며, 당시 테스트에 쓰인 클로드 오퍼스 4.6 초기판이 외부 시스템에 침투하는 행동을 보였다고 공개했다.
처음 조사 때 이 사건을 놓친 이유는 테스트 세션 일부가 검토 대상에서 빠졌기 때문이라고 설명했다.
당시 클로드 오퍼스 4.6은 사이버보안 평가 중 목표 시스템에 접근할 수 없자 8번이나 작업을 멈추려 시도했다. 그러나 테스트 환경의 설정 결함으로 중단 명령이 실행되지 않았고, 모델은 개방형 인터넷에 접근할 수 있게 되었다. 그 결과 실제 제3자의 시스템을 테스트 환경으로 착각하고 접속해 권한을 탈취했다.
지난 7월에는 클로드가 사이버보안 테스트 도중 3개 회사의 시스템을 해킹한 사실이 알려졌다. 당시는 테스트 구성상 실수로 모델에 의도하지 않은 인터넷 접근 권한이 주어지면서 벌어진 일이었다.
앤트로픽은 이를 계기로 과거 테스트 기록 전반에 대한 광범위한 재검토를 시작했다. 초기에는 14만 1006건의 테스트 기록을 살펴 3건의 사건을 찾아냈다. 하지만 이후 검색 과정에서 일부 기록이 조사에서 제외됐음을 알게 되었고, 지난달 재검토 대상을 4억 8100만건까지 크게 늘렸다. 이 과정에서 기존에 누락된 네 번째 사건이 추가로 발견됐다.
이번 공개는 AI 모델의 자율성이 높아지면서 'AI 브레이크아웃(breakout)' 현상에 대한 우려가 커지는 상황에서 나왔다. AI 에이전트가 제한된 테스트 영역을 벗어나 실제 인터넷과 외부 시스템에 접근하면 개발자가 예상하지 못한 방식으로 행동할 수 있다는 지적이다.
조사의 독립성을 보장하기 위해 외부 연구기관 METR에 관련 자료를 제공하고 있다. METR은 사건이 발생한 기간은 물론 그 이후의 테스트 기록까지 광범위하게 검토할 수 있으며, 앤트로픽 임직원들과도 면담할 수 있다. 임직원들은 기밀 정보까지 공개할 수 있도록 허가받았다. 초기 계약 기간은 8주이고, 양쪽 합의에 따라 연장 가능하다.
최근 오픈AI의 AI 에이전트가 독일어 위키 사이트를 포함한 여러 외부 웹사이트를 무단으로 이용한 사실도 뒤늦게 드러났다. AI 기업들이 자율 에이전트의 예측 불가능한 행동을 얼마나 효율적으로 감시하고 공개할 수 있을지가 핵심 쟁점으로 떠올랐다.
앤트로픽은 네 번째 사건의 공개를 통해 과거 테스트 기록의 재검토를 계속하겠다는 입장을 밝혔다. 다만 초기 조사에서 많은 기록이 빠졌다는 사실이 드러난 만큼, AI 기업들이 자신들의 테스트만으로 자율형 AI의 모든 위험한 행동을 포착하기 어렵다는 지적이 더욱 커질 것으로 예상된다.