Evidently 오픈 소스 LLM 평가 서비스의 주요 업데이트: 추적 및 데이터셋 관리 기능 추가

도입

Evidently는 머신러닝 및 LLM 평가를 위한 파이썬 라이브러리에서 시작하여 자체 호스팅 가능한 서비스, 그리고 Evidently Cloud로 발전해왔습니다. 최근 Evidently는 오픈 소스 버전에 주요 업데이트를 발표하며, 기존에 클라우드 서비스에서만 제공되던 핵심 기능들을 오픈 소스로 전환했습니다. 이로써 개발자들은 LLM 애플리케이션의 품질을 보다 효율적으로 평가하고 관리할 수 있는 강력한 도구를 얻게 되었습니다.

Evidently 오픈 소스 업데이트는 LLM 평가 인프라 지원을 크게 강화합니다. 주요 추가 기능은 다음과 같습니다.

1. 확장된 데이터 스토리지 백엔드

파일 시스템, SQLite/PostgreSQL 같은 SQL 데이터베이스, 그리고 S3 호환 스토리지를 지원하여 유연한 데이터 저장 및 관리가 가능합니다.

2. 원시 데이터셋 관리 및 뷰어

LLM 실험 및 프로덕션에서 사용되는 평가/테스트 데이터셋, 구조화된 로그 등 원시 테이블 형식 데이터를 업로드, 저장, 관리할 수 있습니다.
서비스 내에서 데이터를 직접 탐색하여 심층적인 디버깅 및 문제 조사가 가능합니다.

3. LLM 추적(Tracing) 저장 및 뷰어

LLM 애플리케이션 호출의 원시 데이터를 수집하고 시각화하는 추적 기능이 도입되었습니다.
추적은 LLM 앱의 입력, 출력, 중간 단계 등 상세한 작동 기록을 캡처하여 평가 및 분석 데이터를 제공하며, 로그를 테이블 형식으로 내보내어 프로덕션 평가에 활용할 수 있습니다.

이러한 강력한 기능들에도 불구하고 Evidently 오픈 소스는 매우 경량화되어 있습니다. SQLite와 파일 시스템을 스토리지 백엔드로 사용하여 몇 분 만에 설정 가능하며, Jupyter 노트북을 포함한 모든 Python 환경에서 쉽게 상호작용할 수 있습니다. 이는 복잡한 다중 구성 요소 서비스를 요구하는 다른 LLM 관측성 도구와 차별화되는 핵심 강점입니다.

결론

Evidently의 이번 오픈 소스 업데이트는 LLM 애플리케이션 개발 및 운영 과정에서 데이터 관리와 품질 평가의 효율성을 크게 높일 것으로 기대됩니다. 데이터 스토리지, 원시 데이터셋 관리, 그리고 LLM 추적 기능이 통합됨으로써, 개발자들은 더욱 심층적인 분석과 디버깅을 수행할 수 있게 되었습니다. 경량화된 구조와 쉬운 설정은 사용자들이 복잡한 인프라 구축 없이도 LLM 평가 역량을 강화할 수 있도록 지원하며, LLM 개발 생태계에 긍정적인 영향을 미칠 것입니다.

Evidently 오픈 소스 LLM 평가 서비스의 주요 업데이트: 추적 및 데이터셋 관리 기능 추가

Evidently 0.7.17: open-source LLM tracing and dataset management

핵심 요약

도입

1. 확장된 데이터 스토리지 백엔드

2. 원시 데이터셋 관리 및 뷰어

3. LLM 추적(Tracing) 저장 및 뷰어

결론

관련 글들

Rails 애플리케이션에서 RubyLLM::Monitoring을 이용한 LLM 사용량 모니터링

DSPy.rb를 활용한 Chain-of-Thought 요약 성능 실험 및 평가

Gemma Scope 2: 언어 모델 해석 가능성 심층 분석을 위한 공개 도구 모음 발표

RubyLLM::Instrumentation: RubyLLM::Monitoring의 기반

댓글 0

로그인이 필요합니다

아직 댓글이 없습니다