Amanda는 Ombu Labs에서 AI를 활용하는 여러 흥미로운 사례를 설명했습니다. 특히, Rails 업그레이드 프로세스 자동화와 내부 지식 관리 시스템 구축에 중점을 두었습니다.
Rails 업그레이드 자동화
- FastRuby 로드맵 자동화: Ombu Labs는 Rails 업그레이드의 초기 단계인 로드맵 분석을 자동화하는 도구를 개발했습니다. 이 에이전트는 정적 분석을 통해 프로젝트에 관련된 수많은 Deprecation Warning 중 실제 필요한 10~12개로 줄여 엔지니어의 수동 작업을 85~90% 대체합니다.
AI 기반 내부 Slack 챗봇
-
지식 통합 및 검색: 팀원들이 분산된 정보를 찾기 어려웠던 문제 해결을 위해 Slack, 지식 기반, 블로그, 녹화된 오피스 아워 및 팀 토크 등 다양한 소스의 정보를 한곳에 모아 챗봇을 구축했습니다.
-
비디오 정보 활용: 비디오 녹화물에서 정보를 찾는 어려움을 해소하기 위해 전사 모델을 활용하여 비디오 내용을 텍스트로 변환하고 검색에 사용합니다.
-
환각 및 권한 관리: 챗봇의 환각(hallucination)을 방지하기 위해 Guardrails AI와 같은 라이브러리를 활용하여 생성된 응답이 원본 데이터에 근거하는지 검증합니다. 또한, Microsoft Presidio를 사용하여 응답에서 민감 정보(PII)를 제거하여 정보 유출을 방지하고, 사용자 권한에 따른 정보 접근 제어를 구현할 계획입니다.
AI 활용의 실질적 접근
-
고객의 AI 이해도: 고객들이 AI에 대한 호기심은 많지만, 실제 적용 방법이나 AI가 필요 없는 상황에 대한 이해도가 다양함을 지적했습니다. 때로는 전통적인 분류기나 규칙 기반 시스템이 LLM보다 효율적일 수 있음을 강조합니다.
-
에이전트 vs. 워크플로우: 에이전트는 자율적으로 의사결정을 내리고 도구를 선택하여 복잡한 작업을 수행하는 반면, 워크플로우는 미리 정의된 순서에 따라 작업을 실행하며 높은 예측 가능성과 감사 기능을 제공한다고 설명했습니다. Ombu Labs는 내부 도구에는 에이전트를, 높은 가시성과 감사 기능이 필요한 시스템에는 워크플로우를 사용합니다.
-
프롬프트 엔지니어링 및 멀티 에이전트: React 패턴과 Planner-Executor 전략을 통해 복잡한 추론 작업을 처리하며, 점점 더 복잡해지는 사용 사례를 위해 여러 에이전트가 협력하는 멀티 에이전트 시스템을 탐색하고 있다고 밝혔습니다.
-
Ruby AI Gem: ActiveAgent, LangChainRB, DSPyRB, PGVector, Neighbor 등 Ruby AI 생태계의 유망한 Gem들을 언급하며, 라이브러리 사용 전 기술의 근본 원리를 이해하는 것이 중요하다고 강조했습니다.