에이전트 하네스란 무엇인가?

에이전트 하네스는 AI 모델을 감싸 장기 실행 작업을 관리하는 인프라입니다. 에이전트 자체는 아니며, 에이전트가 신뢰성 있고 효율적이며 제어 가능하도록 작동 방식을 관리하는 소프트웨어 시스템입니다.

• 프레임워크와의 차이점: 에이전트 프레임워크가 도구 구성 요소나 에이전트 루프를 제공한다면, 하네스는 프롬프트 프리셋, 도구 호출 처리, 라이프사이클 훅, 계획, 파일 시스템 접근, 서브 에이전트 관리와 같은 즉시 사용 가능한 기능을 제공합니다. 이는 ‘배터리가 포함된’ 프레임워크 이상의 개념입니다.

• 컴퓨터 비유: 이 개념은 컴퓨터에 비유하여 시각화할 수 있습니다.

  • 모델: CPU (원시 처리 능력 제공)
  • 컨텍스트 윈도우: RAM (제한적이고 휘발성인 작업 메모리)
  • 에이전트 하네스: 운영 체제 (컨텍스트 관리, ‘부팅’ 시퀀스 처리, 표준 드라이버 제공)
  • 에이전트: 애플리케이션 (OS 위에서 실행되는 특정 사용자 로직)

하네스는 컨텍스트 압축, 상태를 스토리지로 오프로드, 작업을 서브 에이전트로 격리하는 등 ‘컨텍스트 엔지니어링’ 전략을 구현합니다. 이를 통해 개발자는 운영 체제를 구축하는 대신 에이전트의 고유한 로직 정의에 집중할 수 있습니다.

벤치마크 문제와 에이전트 하네스의 필요성

과거 벤치마크는 단일 턴 모델 출력에 집중했지만, 최근에는 AIMO, SWE-Bench처럼 도구를 사용하거나 환경과 상호작용하는 시스템을 평가하는 추세입니다. 그러나 이러한 새로운 벤치마크도 수십, 수백 번의 도구 호출/턴 이후 모델의 동작을 측정하는 데는 한계가 있습니다. 에이전트 하네스는 다음 세 가지 중요한 이유로 필수적입니다.

• 실제 진행 상황 검증: 벤치마크와 사용자 요구 간의 불일치를 해소합니다. 하네스는 사용자가 최신 모델을 자신의 사용 사례와 제약 조건에 맞춰 쉽게 테스트하고 비교할 수 있게 합니다.

• 사용자 경험 강화: 하네스 없이 모델을 사용하면 잠재력을 충분히 활용하기 어렵습니다. 하네스는 검증된 도구와 모범 사례를 사용하여 에이전트를 구축하게 함으로써, 사용자가 일관된 시스템 구조와 상호작용하도록 보장합니다.

• 실제 피드백을 통한 개선 (Hill Climbing): 공유되고 안정적인 환경(하네스)은 연구자들이 실제 사용자 채택을 기반으로 벤치마크를 반복하고 개선할 수 있는 피드백 루프를 생성합니다.

에이전트 구축의 “쓰디쓴 교훈” (Bitter Lesson)

리치 서튼의 ‘쓰디쓴 교훈’은 계산을 사용하는 일반적인 방법이 언제나 수작업으로 코딩된 인간 지식을 능가한다는 것을 강조합니다. 에이전트 개발에서도 이 교훈이 재현되고 있습니다. 새로운 모델이 출시될 때마다 에이전트 구조의 최적 방식이 달라지므로, 하네스 인프라는 가벼워야 합니다. 복잡한 수작업 파이프라인이 필요했던 기능이 단일 컨텍스트 윈도우 프롬프트로 처리될 수 있는 시대가 오고 있습니다. 개발자는 어제 작성한 ‘스마트’ 로직을 쉽게 제거할 수 있도록 하네스를 구축해야 합니다. 제어 흐름을 과도하게 설계하면 다음 모델 업데이트 시 시스템이 무너질 수 있습니다.

다음 단계

우리는 훈련 및 추론 환경의 융합 시대로 나아가고 있으며, 새로운 병목 현상은 ‘컨텍스트 내구성’이 될 것입니다. 하네스는 ‘모델 드리프트’를 해결하는 주요 도구가 될 것입니다. 연구실에서는 하네스를 사용하여 모델이 100단계 이후에 언제 지시를 따르지 않거나 올바르게 추론하지 못하는지 정확히 감지하고, 이 데이터를 훈련에 직접 반영하여 장기 작업 중 ‘피로’를 느끼지 않는 모델을 만들 것입니다.

개발자와 빌더의 초점은 다음과 같이 전환되어야 합니다.

• 간단하게 시작: 거대한 제어 흐름을 구축하지 마십시오. 강력한 원자적 도구를 제공하고, 모델이 계획을 세우도록 하십시오. 가드레일, 재시도, 검증 기능을 구현하십시오.

• 삭제를 전제로 구축: 아키텍처를 모듈화하십시오. 새로운 모델이 기존 로직을 대체할 것이므로 코드를 제거할 준비가 되어 있어야 합니다.

• 하네스는 데이터셋이다: 경쟁 우위는 더 이상 프롬프트에 있지 않습니다. 하네스가 캡처하는 궤적(trajectories)에 있습니다. 에이전트가 워크플로우 후반에 지시를 따르지 못하는 모든 실패 사례는 다음 반복 훈련에 활용될 수 있습니다.