구글이 대형언어모델(LLM)의 도구 사용 능력을 효율적으로 학습시키는 새로운 데이터 생성 프레임워크를 선보였다. 기존의 시행착오를 거치는 방식과 달리, 먼저 검증된 작업 경로를 구성한 뒤 이에 맞춰 사용자 질문을 역으로 만드는 접근을 통해 데이터 생성 비용과 실패율을 획기적으로 감소시켰다.
구글 연구팀이 최근 공개한 'ToolGrad(툴그래드)'는 AI 에이전트가 도구를 사용하는 능력을 저렴하고 안정적으로 학습시킬 수 있는 프레임워크다.
기존 방식의 한계
AI 에이전트가 고도의 업무를 처리하려면 단순히 요청을 이해하는 것을 넘어, 적절한 API와 도구를 선택해 여러 단계를 거쳐 실행하는 역량이 요구된다. 종래의 '질문 우선' 방식은 가상의 사용자 질문을 먼저 생성한 후 깊이 우선 탐색(DFS)으로 해결 방법을 찾았기 때문에, 실패할 때마다 막대한 연산 자원이 낭비되는 문제가 있었다.
새로운 접근: 답부터 설계
툴그래드는 이와 반대로 이미 성공이 검증된 도구 활용 체인을 먼저 구축한 뒤, 그에 부합하는 사용자 질문을 나중에 생성하는 '답변 우선' 구조를 취한다. 실행 가능한 정답 경로를 미리 가지고 출발하므로 탐색의 불확실성이 제거되고, 단 한 번의 LLM 호출만으로도 지시문을 완성할 수 있다.
작동 구조
이 프레임워크는 네 가지 모듈로 구성된다. API 제안자가 확장성 높은 API 후보를 선별하면 실행기가 이를 병렬 처리하고, 선택자가 최종 결과를 종합해 적절한 호출을 워크플로에 통합한다. LLM 업데이트 모듈이 워크플로 전체를 역방향으로 참조하면서 사용자 질문과 응답을 정밀하게 다듬는데, 이 과정이 '텍스트 그래디언트(Textual Gradient)' 역할을 수행한다.
특히 툴그래드로 학습된 에이전트는 '생각-실행'을 반복하는 ReAct 방식과 달리 전체 도구 활용 흐름을 한 번에 예측하는 일괄(One-shot) 방식을 채택했다. 이를 통해 실행 지연과 토큰 소비를 크게 줄이면서도 작업 정확도를 높였다.
성능 개선 결과
성능 평가에서 1만 6000개 이상의 실제 API를 포함한 ToolBench 데이터베이스 기준으로, 데이터 생성 성공률이 기존 63.8%에서 99.8%로 대폭 상승했다. 생성된 데이터 샘플의 도구 사용 단계도 평균 2.1개에서 3.4개로 증가해 더욱 복잡한 업무를 다룰 수 있게 되었다.
고품질 소규모 데이터셋으로 성능 달성
연구팀은 단 500개의 고품질 데이터로만 구성된 'ToolGrad-500' 데이셋을 만들어 'Gemma-3(1B·4B·12B)' 모델을 추가 학습했다. 기존의 수만 개 이상의 방대한 데이터를 투입하던 방식과 달리, 최적화된 소규모 데이터만으로도 눈에 띄는 성능 향상을 이뤘다.
이 중 ToolGrad-12B 모델은 버클리 함수 호출 리더보드(BFCL)에서 83.1점을 기록해 'Gemini 2.5 Pro(83.2점)'나 'Claude Opus 4.5(82.8점)' 수준에 거의 근접했다.
교사 모델인 'Gemini 2.5 Flash-Lite'보다 우수한 이 성과는 학습에 사용되지 않은 새로운 도구 환경에서도 안정적인 일반화 능력을 입증한 것이다.
의의와 공개
연구팀은 툴그래드가 도구 사용 데이터 생성의 오랜 숙제였던 비용, 확장성, 실패율을 동시에 개선할 수 있다고 설명했다. 특히 데이터 생성 단계에서 거의 100%에 가까운 성공률을 확보하면서도 상대적으로 작은 모델이 높은 수준의 도구 활용 능력을 갖추도록 할 수 있다는 점에서 그 의미가 크다.
툴그래드의 코드와 데이터셋, 학습된 모델은 깃허브에 공개되어 있어 연구자들이 직접 활용할 수 있다.