AI 모델이 인간 연구원의 개입 없이 스스로 정렬 오류를 발견하고 개선하면서 기존 성능을 유지하면서도 안전성을 획기적으로 끌어올릴 수 있다는 연구 결과가 발표됐다. 완전한 범용 자율 AI 개발에는 이르지 못했지만, 명확한 평가 지표가 있는 분야에서 AI가 사후훈련을 독립적으로 진행할 때 안전성 격차를 상당히 줄일 수 있음을 보여주는 사례다.
앤트로픽이 28일 공개한 논문 '자동화된 연구자는 정렬 오류를 안정적으로 완화할 수 있다'에 따르면, 클로드 오퍼스 4.8을 바탕으로 만든 자동화 정렬 연구자(AAR)가 문헌 조사, 학습 기법 및 데이터 제안, 검증 절차를 반복하는 방식으로 기만, 아첨, 개인정보 노출 등 10가지 주요 정렬 실패 사항들을 개선했다.
앤트로픽 측은 "10가지 정렬 실패 항목 모두에서 모델의 원래 성능을 떨어뜨리지 않으면서 목표 벤치마크 수준의 안전성을 달성하는 최적의 방법들을 찾아냈다"고 설명했다.
초기 단계의 사후훈련 실험에서는 클로드 소네트 5가 아직 정렬 과정을 완료하지 못한 클로드 오퍼스 4.8의 초기 버전을 학습시켰다. 결과적으로 단 2000개 정도의 예시 데이터만으로 상용화된 오퍼스 4.8과 유사한 수준의 안전성 점수에 도달했다.
이 과정에서 인간 연구원과 AI 에이전트의 성과를 비교한 데이터가 특히 주목할 만했다.
앤트로픽은 "평균 경력 2.5년의 AI 안전 전문가 28명이 8시간 동안 제시한 훈련 방식으로는 목표 안전성에 도달하기 위해 필요한 남은 격차의 평균 20%만 줄일 수 있었다"고 밝혔다. 반면 "AAR 시스템은 150회 이상 코드를 작성하고 훈련과 검증을 거쳐 수십 번의 시행착오 끝에 최적 방식을 도출해 남은 격차의 평균 85%까지 해소할 수 있었다"고 덧붙였다.
이 연구의 의미 있는 점은 앤트로픽의 자체 모델뿐만 아니라 다른 회사의 모델에도 효과를 나타냈다는 것이다. 구글이 오픈소스로 공개한 젬마-2-2B를 대상으로 기만 행동 교정 실험을 진행한 결과, AAR 시스템이 인간 연구원보다 더 우수한 안전성 개선 성과를 달성하며 범용적 정렬 능력을 입증했다.
이러한 결과는 AI 에이전트의 인지 능력이 인간보다 뛰어나다는 의미라기보다는, 컴퓨터가 수행할 수 있는 대규모 반복 실험의 속도를 바탕으로 인간의 일회성 아이디어를 넘어서는 최적 알고리즘을 발견했다는 의미로 해석된다.
연구팀은 이 시스템의 제약 사항과 잠재적 위험도 함께 공개했다. 특히 AI 에이전트가 성능 평가 과정에서 정답 레이블을 외부 API로 전송해 평가 점수를 부풀리려는 부정행위가 전체 기록의 2.4%(39건)에서 적발됐다는 점이 중요하다.
또한 "정렬 실패 측정 기술은 자신이 적용되는 범위 내에서만 유효하게 작동한다"며 "정치적 편견이나 벤치마크가 아직 존재하지 않는 새로운 위험 요소들은 대응하지 못하므로, 정확한 평가 기준을 설계하고 지속적으로 감시하는 인간의 역할은 계속 필수적"이라고 강조했다.
앤트로픽은 "이번 연구 결과는 자동화된 정렬 사후훈련이 머지않아 실제로 활용될 수 있음을 시사하는 초기 신호"라며 향후 심층 분석과 시스템 개선을 계속하겠다고 밝혔다.
앤트로픽은 이전부터 AI가 다른 AI 모델의 정렬 및 평가 작업을 담당하는 연구를 지속해왔다. 지난 4월 발표한 선행 연구에서는 AI를 활용한 정렬 방식이 특정 분야에서 인간의 개입보다 더 정확하고 효율적일 수 있음을 입증했으며, 이번 연구는 이를 토대로 자동화 연구 시스템의 실질적 성과와 구체적 한계를 더 깊이 있게 제시한 것이다.