Chapter 8 액션 시스템(Action Systems)

철학의 영역에서, 행동(action)은 에이전트가 환경 내에서 잠재적 또는 구체적인 목적을 달성하기 위해 수행할 수 있는 행위로 정의된다. 예컨대, 조작(manipulation), 이동(moving), 추론(reasoning), 도구 활용(tool utilization) 등은 지능형 에이전트가 현실 세계의 시나리오에서 목표를 달성하기 위해 수행할 수 있는 기본적인 행동으로 간주될 수 있다. 다시 말해, 행동은 에이전트가 환경과의 목표 지향적인 상호작용을 통해 발생하며, 이는 자신의 목표를 이루기 위해 외부 세계를 변화시키려는 의도를 반영한다.

이러한 점에서 액션 시스템(action system)은 AI 에이전트와 기초 모델(foundation model, 예: 대형 언어 모델(LLM))을 구별짓는 데 중요한 역할을 한다. 일반적으로 기존의 기초 모델은 다양한 작업에서 인상적인 성능을 보여주었지만, 대부분 원래의 사전학습 목적(예: 다음 토큰 예측)에 기반하므로 여전히 작업 범위에 제한이 있다. 그러나 기초 모델을 ‘두뇌 지능(brain intelligence)’으로 활용하고, 여기에 액션 시스템을 결합한 AI 에이전트는 환경과 직접 상호작용하며 복잡한 사용자 의도를 실행할 수 있게 된다.

뿐만 아니라, 액션 시스템은 에이전트가 외부 환경의 다양한 도구(tool)를 활용할 수 있도록 지원함으로써, 에이전트의 작업 범위를 크게 확장시킨다. 따라서 액션 시스템의 설계는 인식(perception), 의사결정(decision making), 실행(execution), 도구 활용(tool utilization), 그리고 그 외 인간의 두뇌 기능과 유사한 구성 요소들의 능력까지 결정짓게 된다. 즉, 기초 모델은 에이전트의 기반을 형성하며, 액션 시스템은 복잡한 목표를 달성할 수 있는 궁극적 잠재력을 규정한다.

AI 에이전트를 위한 효과적이고 포괄적인 액션 시스템을 설계하는 일은 상당한 도전 과제를 포함하며, 동시에 중요한 이점을 제공하는 필수적 작업이다.

그림 8.1은 인지 시스템(cognition system) 내에서 액션 시스템이 실행되는 과정을 시각적으로 보여준다.

이 장에서는 먼저 8.1절에서 인간의 액션 시스템에 대해 논의하고, 8.2절에서는 인간의 행동에서 AI 에이전트의 행동으로의 전환을 살펴본다. 이후 8.3절에서는 액션 공간(action space), 액션 학습(action learning), 도구 학습(tool learning) 등 기존 AI 에이전트 액션 시스템의 패러다임을 체계적으로 정리하고, 8.4절에서는 행동과 지각(perception)의 차이를 분석하며, 마지막으로 8.5절에서 이 장의 내용을 정리한다.

<aside> 💡

역주

1. 행동(Action)
   • 여기서의 행동은 단순한 물리적 동작이 아니라, 에이전트가 목적 지향적으로 환경을 변화시키기 위해 수행하는 지향적 행위(intentional act)를 의미합니다. 이는 철학적 행동 개념(예: Davidson, Anscombe)의 영향을 받으며, AI에서의 '행동'은 계획, 추론, 실행 등 다양한 인지 과정의 결과입니다.
2. 액션 시스템(Action System)
   • 이는 에이전트가 결정한 행동을 실제로 실행에 옮기는 구조 또는 모듈을 의미합니다. 행동을 명령으로 받아 실행하거나 도구를 호출하는 등의 실제 환경과의 상호작용을 담당합니다. LLM 같은 기초 모델은 텍스트 예측에 특화되어 있으나, 환경 조작은 불가능하기 때문에 이를 보완하는 시스템이 필요합니다.
3. 기초 모델(Foundation Model)
   • 대표적으로 GPT, PaLM, LLaMA 등 거대한 사전학습 모델을 의미하며, 언어 예측, 임베딩 추론 등에서 강력한 성능을 보입니다. 하지만 이들은 고정된 입력-출력 구조에 제한되어 있어 환경과의 직접적 상호작용이 불가능합니다.
4. 두뇌 지능(Brain Intelligence)
   • 이는 메타포로서, 기초 모델을 인간의 두뇌처럼 사고, 추론, 지식을 담는 중추 지능 모듈로 비유한 것입니다. 그러나 두뇌만으로는 외부 환경에 직접 작용할 수 없기 때문에, 이를 팔·다리처럼 작동시킬 행동 시스템이 요구됩니다.
5. 도구 학습(Tool Learning)
   • 이는 에이전트가 외부 API, 계산기, 브라우저, 검색엔진 등과 같은 실행 가능한 외부 자원을 학습하고 사용할 수 있도록 하는 방법론입니다. 최근에는 이러한 툴 사용 능력을 포함한 LLM 기반 에이전트가 활발히 연구되고 있습니다 (예: ReAct, Toolformer 등). </aside>

8.1 인간 행동 시스템(Human Action System)

인간 인지에서의 행동 시스템(action system)은 인간이 목표 지향적 행동을 **인지(perceive)하고 계획(plan)하며 실행(execute)**할 수 있게 해주는 일련의 과정들을 말한다. 이 시스템은 개인이 동적인 환경(dynamic environment)과 상호작용하고, 피드백을 바탕으로 의사결정을 내리며, 자신의 행동을 조정하고 적응할 수 있도록 해주는 복합적인 메커니즘이다.

일반적으로 인간 인지 내의 행동 시스템은 크게 정신적 행동(mental action)과 신체적 행동(physical action)으로 나눌 수 있다:

• 정신적 행동(Mental Action)은 인간 두뇌 내에서 최종 의도(final intention)를 이끌어내기 위한 사고(thinking) 과정으로서의 독립된 행동 유형으로 볼 수 있다. 예를 들어 추론(reasoning), 의사결정(decision making), 상상(imagining), 계획(planning) 등은 다양한 정신적 행동의 사례로 간주된다. 다시 말해, 정신적 행동은 신체적 행동을 유도하여 목표를 달성하게 하는 두뇌의 신호(brain signal)로 기능한다.
• 신체적 행동(Physical Action)은 인간의 운동 시스템(motor system)에 의해 실행되는, 목표 지향적인 신체 움직임을 의미한다. 일정 부분 신체적 행동은 연속적인 동작(continuous action)으로 표현되는 경향이 있다. 예를 들어 말하기(speaking), 물체 조작(manipulating), 그리기(drawing), 달리기(running), 잡기(grasping) 등은 모두 신체적 행동에 해당한다. 인간은 이러한 일련의 신체 행동들을 통해 환경과 상호작용하고, 현실 세계로부터 피드백을 수집할 수 있다.

Figure 8.2는 인간 행동 시스템을 정신적 행동과 신체적 행동의 관점에서 분류한 간단한 분류 체계를 도식화한 것이다.

정신적 행동과 신체적 행동을 모두 활용할 수 있는 인간의 인지 시스템은 실제 세계의 다양한 복잡한 작업을 처리할 수 있는 능력을 지닌다.

이러한 인간 인지에서 영감을 받아, 언어 기반 작업부터 디지털 환경, 물리적 환경에 이르기까지 AI 에이전트에서 행동 시스템을 어떻게 구성할 것인가에 대한 재정립 또한 중요하다.

<aside> 💡

역주

1. 행동 시스템(Action System)

• 인간의 행동 시스템은 지각 → 의도 결정 → 실행의 흐름을 따르며, 감각-운동 루프(sensory-motor loop)에 기반합니다.
• AI 시스템에서 이를 모방할 경우, 입력 → 정책/결정 → 실행 → 피드백 순으로 설계됩니다.

2. 정신적 행동(Mental Actions)

• 내면적 사고 과정을 수반하는 비가시적 행동입니다.
• 인공지능에서는 일반적으로 내부 상태 변이, 토큰 생성, 계획 수립 과정 등이 이에 해당합니다.

3. 신체적 행동(Physical Actions)

• 외부에 드러나는 명시적 행위이며, 실제 환경을 변화시키는 작용입니다.
• AI에서는 API 호출, 도구 실행, 기계 제어 등이 이에 포함됩니다. </aside>