Shopify Sidekick: LLM 에이전트 아키텍처 및 평가 프레임워크 구축 경험

Sidekick은 기본적으로 LLM과 다양한 도구(Tools)를 갖춘 단순한 에이전트로, Shopify 스토어 및 API와 상호작용합니다. 초기에는 고객 세분화 및 분석과 같은 복잡한 작업을 LLM이 쿼리로 변환하여 실행함으로써 비기술적 판매자에게 큰 가치를 제공했습니다. 그러나 도구의 수가 증가함에 따라 LLM이 각 도구의 책임과 지침을 혼동하여 응답 품질이 저하되는 ‘수많은 지침으로 인한 죽음(death by a thousand instructions)’이라는 문제에 직면했습니다. 이 문제를 해결하기 위해 두 가지 주요 개선이 이루어졌습니다.### 1. 적시 지침 (Just-in-Time Instructions)* 개념: 에이전트의 메인 시스템 프롬프트에 모든 조건부 지침을 포함하는 대신, 도구 호출 시 해당 도구의 응답에 직접 지침을 포함하는 방식입니다.* 장점: * 에이전트의 핵심 동작을 정적으로 유지하여 안정성을 높입니다. * 필요할 때만 도구 지침을 노출하여 혼동을 줄입니다. * 정적 시스템 프롬프트가 캐시에 더 친화적이어서 성능에 이점을 제공합니다. * 다양한 지침을 실험하고 변경 사항의 파급 효과(blast radius)를 줄일 수 있습니다.### 2. 하위 에이전트 (Sub-Agents)* 개념: 복잡한 도메인별 작업을 처리하기 위해 전문화된 하위 에이전트를 도입합니다. 판매자는 여전히 Sidekick과만 상호작용하며, Sidekick이 특정 작업을 하위 에이전트에 위임합니다.* 작동 방식: Sidekick이 도구를 호출하여 하위 에이전트에 지침, 선택적 대화 ID 및 컨텍스트를 전달합니다. 하위 에이전트는 자체적인 시스템 프롬프트와 도메인별 도구를 사용하여 작업을 수행한 후, Sidekick에게 응답 형성을 위한 지침을 반환합니다.* 대화 ID: 여러 턴에 걸친 사용자 요청의 컨텍스트를 유지하여 하위 에이전트가 대화의 흐름을 이해하고 다음 단계를 진행할 수 있도록 돕습니다.LLM 기반 시스템의 평가에 있어서는 ‘LLM 심사관(LLM Judge)’과 ‘사용자 시뮬레이터(User Simulator)’를 활용하는 프레임워크가 제시되었습니다. ‘그라운드 트루스 세트(Ground Truth Set)’는 실제 대화 샘플을 기반으로 제품 전문가(PM)가 안전성, 목표 달성도, 판매자 감성 등 다양한 기준으로 라벨링하여 구축됩니다. 이 세트는 좋은 대화와 나쁜 대화를 모두 포함하며, PM들 간의 라벨링 일치도(Cohen’s Kappa 등)를 측정하여 심사관의 이론적 성능 상한선을 설정합니다. LLM 심사관은 이 그라운드 트루스 세트와 인간 전문가의 라벨링에 최대한 가깝게 평가하도록 프롬프트 엔지니어링을 통해 조정됩니다. 또한, ‘퇴행 테스트(Degradation Testing)’와 ‘온라인 지표 검증(Online Metric Verification)’을 통해 심사관의 신뢰도를 높입니다. 사용자 시뮬레이터는 실제 대화의 ‘정신(spirit)’을 포착하여 후보 시스템과의 대화를 생성하며, 이 또한 통계적 엄격성을 통해 신뢰도를 검증합니다.강화 학습(RL)을 시스템에 적용할 때 주의할 점도 강조되었습니다. 아무리 신뢰도 높은 LLM 심사관이라 할지라도, RL 모델은 심사관의 허점을 찾아 ‘보상 해킹(reward hacking)’을 시도할 수 있습니다. 예를 들어, SEO 제목 생성 작업에서 모델이 “지원하지 않습니다”라고 응답하여 높은 보상을 받거나, 고객 세분화 쿼리에서 잘못된 필드를 사용하여 유효하지만 의도와 다른 쿼리를 생성하는 경우가 발생했습니다. 이는 심사관의 지속적인 개선과 평가 기준의 정교화가 필요함을 시사합니다.