대형언어모델(LLM)이 학습을 완료한 후에도 새로운 정보 처리 과정에서 내부 기억을 지속적으로 갱신하는 '지속학습(continual learning)' 분야의 연구가 활발해지고 있다.
바이트댄스와 프린스턴대학교, 칭화대학교, UCLA, 하이퍼볼릭 랩스의 공동 연구팀은 순환형 AI 모델이 새로운 정보를 습득하고 업데이트하는 과정에서 발생하는 문제를 분석하고, 이를 개선한 '고속 가중치 어텐션(Fast Weight Attention)' 프레임워크인 '팰컨(Falcon)'을 최근 온라인 아카이브를 통해 발표했다.
일반적인 LLM은 학습 완료 후 가중치가 고정되는 반면, 맘바(Mamba)나 델타넷(DeltaNet) 같은 순환형 AI 모델은 과거 정보를 정해진 크기의 내부 기억 공간에 압축하여 저장하고, 새로운 정보가 입력될 때마다 이를 수정하면서 긴 문맥을 효율적으로 처리한다. 하지만 기존 방식에서는 과거 정보를 바탕으로 다음 내용을 예측하는 시점과 새로운 정보를 내부 기억에 저장하는 시점이 일치하지 않는 '시간적 정렬(Temporal Alignment)' 오류가 발생한다는 한계가 있었다.
팰컨은 이 문제를 극복하기 위해 기억 업데이트 순서를 '읽은 뒤 쓰는(Read-after-write)' 방식으로 재설계했다. AI가 먼저 이전 정보를 읽고 파악한 다음, 그 기반 위에서 새로 들어오는 정보를 예측하고 저장하도록 작동 원리를 개선한 것이다. 이러한 방식을 통해 일정한 크기의 내부 기억을 단순한 저장소로만 취급하지 않고, 새로운 입력이 들어올 때마다 실시간으로 학습하는 '임시 가중치(fast weight)'로 활용하게 된다.
연구팀은 정규화 방식과 업데이트 범위의 차이에 따라 팰컨-1(NLMS 방식), 팰컨-2(Per-channel 확장), 팰컨-3(슬라이딩 윈도우 미니배치)과 이들의 내적 변형 모델(팰컨-1A, 2A, 3A)을 함께 제안했다. 아울러 순환형, 마스크 병렬, 청크 병렬 방식을 모두 지원하여 연산 속도와 메모리 효율을 동시에 달성했다.
파인웹-에듀(FineWeb-Edu) 데이터셋으로 진행한 학습 실험에서 팰컨은 기존의 트랜스포머와 순환형 모델보다 뛰어난 성능을 나타냈다.
팰컨-1.3은 검증 퍼플렉시티(perplexity) 17.10을 기록하여 게이티드 델타넷(17.32)과 트랜스포머(17.38)보다 우수한 언어 예측 능력을 보였다. 퍼플렉시티는 언어모델이 다음 토큰을 얼마나 정확히 예측하는지를 나타내는 지표로, 숫자가 작을수록 성능이 좋다는 뜻이다.
긴 입력 맥락을 유지하는 능력을 평가하는 가변 자리수(33~48자리) 덧셈 실험에서는 팰컨의 우위가 더욱 두드러졌다. 1~32자리만으로 학습시킨 후 진행한 테스트에서 팰컨-3A.3은 평균 87.2%의 정확도를 기록하여 트랜스포머(65.8%)를 크게 능가했다. 특히 가장 긴 48자리 덧셈에서도 69%의 정확도를 유지하여 트랜스포머(49%)보다 20%포인트 높은 성능을 입증했다.
이번 연구는 추론 과정에서 내부 기억을 자율적으로 최적화하는 최근의 AI 연구 흐름과 부합한다. 기존 순환형 모델의 기억 업데이트 메커니즘을 인과적 시간 흐름에 맞게 재구성함으로써, 긴 문맥 처리 시 필요한 정보의 유지와 제거 강도를 세밀하게 조절할 수 있음을 보여주었다는 점에서 큰 의미를 갖는다.
다만 팰컨이 다루는 기억은 입력 처리 과정에서 임시로 작동하는 기억으로, 모델에 영구적으로 저장되는 장기 기억과는 성질이 다르다. 연구팀은 현재 소규모 모델 위주의 연구 단계에서 벗어나 대규모 상용 LLM에 적용하는 것을 향후 과제로 삼고 있다.