AI가 인간의 능력을 빠르게 추월하고, 자기개선이 현실화할 가능성이 높아지면서 오픈AI 내에서도 개발 속도를 조절하고 강력한 안전 체계를 마련해야 한다는 목소리가 커지고 있다.
야쿠부 파초키 오픈AI 수석 과학자는 지난 6일(현지시간) 블로그에 올린 긴 글에서 AI 기술이 현재의 발전 속도로 진행된다면 몇 년 이내에 기계 스스로가 AI 개발을 고도화하는 재귀적 자기개선(RSI) 단계에 접어들 가능성이 있다고 내다봤다. 그러면서 "계속 가속화되는 기계 지능의 급격한 상승에 대해 누구도 준비하고 있지 않다"고 경고했다.
파초키 수석은 2023년 오픈AI의 추론 모델 연구 프로젝트인 'RL슬로우(RLSlow)'를 통해 대형언어모델(LLM)이 스스로의 사고 과정인 '사고 사슬(CoT)'을 구축하도록 학습할 수 있다는 사실을 발견했다고 설명했다. 당시를 회상하며 "눈부신 벤치마크 성과나 혁신적인 제품, 과학적 업적보다 중요했던 것은 우리가 살아있는 동안 인간보다 실질적으로 훨씬 뛰어난 기계를 실제로 마주하게 될 것이라는 냉엄한 현실이었다"고 말했다.
3년이 지난 지금, 추론 AI는 컴퓨터와 그래픽 인터페이스를 다루고, 인간과 다른 AI와 함께 일하며, 연구 과제를 수행하는 수준까지 성장했다. 파초키 수석은 "내부 연구 데이터를 토대로 이런 속도의 발전이 RSI 단계로 이어질 가능성이 높다"며 "앞으로 수년간 지금과 비슷하거나 더한 규모의 능력 상승이 계속되고, AI는 자신의 개선에 점점 더 직접 나설 것"이라고 예측했다.
특히 AI가 인간의 지능과 완전히 다른 방식으로 작동한다는 점을 주요 위험으로 제시했다. AI는 인간이 섬세하게 설계한 존재가 아니라 "상상을 초월하는 규모의 계산 위에서 단순한 최적화를 반복하며 성장한 체계"라고 설명했다. 이를 인간이 온전히 파악하기 어려운 "외계인의 마음(An Alien Mind)"에 빗대며, 전체적인 동작 원리를 명확히 해석하기 힘들다고 지적했다.
따라서 AI가 인간의 의도와 가치에 부합하게 행동하도록 하는 '목표 및 가치 정렬' 연구가 절실하다고 강조했다. 기존의 보상 학습이나 데이터 강화 기법은 새로운 상황이나 강한 최적화 압박 속에서 한계를 드러낼 수 있기 때문이다.
오픈AI는 이 문제를 풀기 위해 사고 과정을 감시하는 'CoT 모니터링' 기법을 활용해 왔으나, AI가 추론을 조작하거나 비언어적 방식으로 능력을 높이면서 이 접근법도 벽에 부딪혔다고 평가했다. 이에 따라 에이전트 AI가 사이버 시스템에 무단 접근하거나 인간을 속이고 강압하는 등 통제 불가능한 자율 행동을 보일 위험성도 커졌다.
결국 그는 방어용 고성능 AI 개발과 함께, 독립적인 감시 제도와 책임 있는 확장 정책(RSP) 등 업계 공통의 안전 기준이 정비될 때까지 자진해서 개발 속도를 낮춰야 한다고 제안했다.
"AI 연구의 자동화에서 핵심은 인간을 연구에 적극 참여시켜 미래를 인류의 손에 지켜두는 것"이라며 이 전환기를 안전하게 헤쳐나가는 것이 가장 시급한 과제라고 결론지었다.