RubyLLM::Agents는 RubyLLM 기반의 Rails 엔진으로, LLM 시스템을 프로덕션 환경에 최적화합니다. 이 엔진은 개발자가 안정적이고 효율적인 AI 기능을 구축할 수 있도록 다음과 같은 핵심 기능을 제공합니다.
프로덕션 안정성 및 관리
-
에이전트 정의 및 실행: 간결한 Ruby DSL로 에이전트를 정의하며, 모든 실행은 상세 메타데이터(비용, 지연, 오류 등)와 함께 자동으로 기록됩니다.
-
신뢰성 패턴: 재시도, 폴백 모델, 서킷 브레이커, 총 타임아웃 등 선언적 DSL을 통해 API 호출 실패 및 지연에 자동으로 대응하여 시스템 견고성을 확보합니다.
-
비용 제어 및 예산: 글로벌 및 에이전트별 예산 제한 설정과 강제 모드(hard/soft)를 통해 비용을 관리하고, 예산 초과 시 알림을 제공합니다.
-
멀티테넌시: 각 테넌트(고객)별 독립적인 예산 및 서킷 브레이커를 설정하여 시스템 안정성을 보장하고 고객 간 영향을 격리합니다.
워크플로우 오케스트레이션
- 다양한 워크플로우: 순차적 Pipeline, 병렬적 Parallel, 조건부 Router 워크플로우를 지원하여 복잡한 AI 작업을 효율적으로 구성합니다. 각 워크플로우는 총 비용, 실행 시간, 상태 등 집계된 성능 지표를 반환합니다.
관찰 가능성 및 보안
-
실시간 대시보드: 에이전트 실행 기록, 비용/토큰 분석, 성능 추세, 오류 추적 등을 실시간으로 제공하여 시스템 가시성을 확보합니다.
-
PII 보호 및 고급 기능: 민감 개인 정보(PII) 자동 수정 및 사용자 정의 패턴을 지원하여 데이터 보안을 강화하며, 스트리밍 응답, 다중 턴 대화, 첨부 파일 처리 등 고급 상호작용 기능을 제공합니다.