Jeff Huber는 AI 개발 분야에서 현재 진행 중인 핵심적인 변화와 Chroma의 역할을 다음과 같이 설명했습니다.
컨텍스트 엔지니어링으로의 패러다임 전환
-
RAG(검색 증강 생성)에 대한 비판적 시각: Jeff는 ‘RAG는 죽었다’는 주장을 ‘잘못된 허수아비’라고 일축하며, 실제로는 RAG의 원리가 여전히 광범위하게 사용되고 있음을 강조했습니다. 그는 RAG라는 용어 자체가 실제 ‘해야 할 일(job to be done)’을 제대로 설명하지 못한다고 지적했습니다.
-
‘컨텍스트 엔지니어링’의 부상: 대신 Jeff는 ‘컨텍스트 엔지니어링’이라는 용어가 AI 팀의 주요 업무를 더 정확하게 나타낸다고 설명했습니다. LLM(대규모 언어 모델)의 컨텍스트 윈도우를 ‘프로그래밍 캔버스’로 보고, 모델이 성공적으로 작동하도록 올바른 정보를 큐레이션하는 것이 핵심입니다.
-
컨텍스트 로트(Context Rot) 문제: 모델은 컨텍스트 윈도우 크기가 증가함에 따라 정보에 대한 주의력과 추론 능력이 저하되는 ‘컨텍스트 로트’ 현상을 겪습니다. 따라서 개발자는 모델이 신뢰할 수 있는 결과를 생성하도록 적절한 정보 혼합을 설계해야 합니다.
Chroma의 비전과 오픈 소스 전략
-
AI를 위한 현대적인 검색 인프라: Chroma는 ‘AI를 위한 현대적인 검색 인프라’를 구축하는 것을 목표로 합니다. 이는 기존의 비싸고 확장하기 어려운 레거시 시스템과 대비되는, 효율적이고 확장 가능하며 비용 효율적인 분산 시스템을 의미합니다. AI가 검색의 가장 중요한 사용자가 될 미래를 대비하여 인프라 계층의 변화를 주도합니다.
-
지속적인 학습(Continual Learning)을 통한 AI 시스템 개선: Chroma의 장기적인 목표는 개발자들이 지속적인 학습을 통해 신뢰할 수 있는 AI 프로덕션 시스템을 구축할 수 있도록 돕는 것입니다. 이는 프롬프트 최적화, 모델 가중치 변경, 그리고 모델이 접근할 수 있는 데이터(지식 기반, 메모리) 변경을 통해 시스템이 시간이 지남에 따라 스스로 개선되도록 하는 것을 포함합니다.
-
100% 오픈 소스 엔진, 상업용 ‘자동차’: Chroma는 데이터베이스 엔진을 100% Apache 2 라이선스의 오픈 소스로 공개하여 개발자에게 신뢰와 유연성을 제공합니다. 동시에 관리형 서비스, UI, 보안, 협업 기능 등 ‘자동차’에 해당하는 상업적 요소를 통해 비즈니스 모델을 구축하고 개발 속도를 확보합니다. 이는 사용자들이 오픈 소스 엔진을 자유롭게 사용하면서도, 인프라 관리 부담 없이 편리하게 서비스를 이용할 수 있도록 합니다.
문화와 미래 전망
-
디자인과 브랜드의 중요성: 개발자 도구 회사임에도 불구하고 초기부터 디자이너를 고용하여 디자인과 브랜드에 큰 투자를 했습니다. 이는 사용자와의 긍정적인 관계를 형성하고, 경쟁 우위를 확보하며, 프로젝트의 영향력을 확대하는 중요한 요소라고 믿습니다.
-
‘디테일에 집착’하는 문화와 건강한 비판: Chroma는 API 디자인과 명명 규칙에 극도로 공을 들이는 문화를 가지고 있습니다. 그러나 이는 ‘내가 옳다’는 강한 의견이 아닌, ‘올바른 답을 찾기 위한’ 진실 추구와 ‘놀라움을 찾으려는(look for surprises)’ 개방적인 태도를 통해 건강하게 유지됩니다.
-
AI 툴링의 미래: Jeff는 AI 툴링 분야에서 ‘대규모 에이전트 추론(massive scale agent inference)’과 이를 위한 새로운 분산 추론 실행 플랫폼의 기회가 있을 수 있다고 언급했습니다. 궁극적으로 AI는 교육, 의료, 금융 등 다양한 서비스를 대중화하여 인류에게 엄청난 긍정적 영향을 미칠 것이라고 믿으며, 이러한 도구를 만드는 과정에서 큰 보람을 느낀다고 밝혔습니다.