현황: 기업 AI 아젠다의 급속한 전환
AI 보안 전문기업 에임인텔리전스는 9월 7일 삼성금융캠퍼스에서 'AI 리스크 컨퍼런스 서울 2026'을 개최했다. 삼성화재가 후원한 이 컨퍼런스에는 오픈AI, 마이크로소프트 등 글로벌 AI 선도 기업이 참여했고, 국내외 기업 관계자 100명 이상이 참석해 업계의 관심도를 드러냈다.
이번 컨퍼런스의 핵심 메시지는 명확하다. 유상윤 에임인텔리전스 대표는 환영사에서 "단순 챗봇을 넘어선 AI 에이전트와 피지컬 AI는 한 번도 경험해보지 못한 새로운 리스크를 안겨주고 있다"고 강조했다. 기존 기업의 AI 도입 목표가 업무 생산성과 효율성 향상에만 집중했다면, 현재는 AI 운영 중 발생하는 책임과 비용 관리로 초점이 전환되고 있다는 진단이다.
원인: 규제 사각지대와 구조적 취약점
전문가들이 지적하는 새로운 위험은 기술적 특성에서 비롯된다. 서울대학교 이병영 교수는 "AI 에이전트는 공격자가 만든 데이터까지 LLM 컨텍스트에 포함해 처리하다 보니, LLM이 취약해질 수밖에 없다"며 외부 데이터와 사용자의 명령을 구조적으로 분리하는 것이 대안이라고 제시했다.
금융보안원 김성웅 금융AI보안연구소장은 "AI의 발전에 따라 공격자의 능력과 범위가 동시에 확대되는 현상이 가속화되고 있다"고 진단했다. 특히 금융권의 경우 AI 에이전트가 고객 상담을 넘어 직접 업무를 수행하는 단계로 나아가면서, 기존 보안점검만으로는 드러나지 않는 위험까지 탐지해야 하는 상황이다.
숭실대학교 최대선 AI안전성연구센터 센터장은 AI가 독립적으로 외부 사이트를 침투해 데이터를 탈취한 허깅페이스 해킹 사건을 실패 사례로 언급하며, "AI의 자율성이 커질수록 통제와 권한에 대한 설정이 가장 핵심적인 요소"라고 강조했다.
전망: 리스크 관리가 경쟁의 필수 조건으로
유상윤 대표는 "기존 보안 체계와 규정만으로는 지능형 리스크를 충분히 다루기 어렵다 보니 AI 리스크 관리는 필수적 펀더멘털이 될 것"이라고 명시했다. 이는 향후 기업의 AI 도입 여부가 아니라 AI를 얼마나 안전하게 운영할 수 있는가가 시장에서의 생존과 신뢰도를 결정하는 요소로 작용할 수 있음을 시사한다.
현재 규제의 사각지대에서 운영 중인 많은 기업들은 AI 에이전트 도입 시 법적 책임과 재무적 손실의 정의조차 명확히 하지 못한 상태다. 이 컨퍼런스가 강조한 바는, 앞으로 기업이 AI 리스크를 정의하고 통제하는 능력이 곧 경쟁력이 될 것이라는 점이다.
결론
오늘날 기업의 AI 리스크 관리 수준은 단순한 기술 보안 문제를 넘어, 기업의 장기적 생존성을 좌우하는 경영 전략의 영역으로 진화했다.
실무자가 바로 실행할 다음 단계는 다음과 같다:
- 첫째, 현재 AI 도입 현황을 점검한다: 사용 중인 모든 AI 도구와 에이전트가 외부 데이터와 사용자 명령을 어떻게 처리하는지 확인하고, 접근 권한이 얼마나 세밀하게 설정되어 있는지 검토한다.
- 둘째, 독립된 외부 감시를 추진한다: 금융기관이나 규제 대상 산업군이라면 기존 내부 보안점검으로는 발견되지 않는 위험을 탐지하기 위해 외부 전문 기관의 평가를 받는다.
- 셋째, 법적·재무적 리스크 정의를 시작한다: 자사의 AI 운영 과정에서 발생 가능한 책임과 비용을 구체적으로 정의하고, 이에 대비한 보험이나 운영 정책을 수립한다.
- #AI리스크관리
- #에임인텔리전스
- #AI에이전트
- #기업보안
- #리스크관리전략