Chroma의 새로운 Ruby 클라이언트는 지난 1년간 강화된 검색 기능을 완벽하게 지원합니다. 특히, 최근 출시된 새로운 검색 API는 희소 벡터(sparse vector) 검색과 하이브리드(hybrid) 검색을 도입하여 기존 벡터 검색의 한계를 극복했습니다.
기존 검색 방식의 한계
-
밀집 벡터(Dense Vector) 검색: OpenAI의 임베딩 모델 기반으로 “마케팅” 검색 시 “광고”를 매칭하는 등 의미론적 검색에 강하지만, 인명과 같은 키워드 검색에는 취약합니다.
-
기존 키워드 검색 우회: 작성자는 이전에 Booklet에서 키워드 검색을 위해 풀텍스트 검색 레이어를 추가하여 “Philip” 검색 시 해당 프로필이 상단에 노출되도록 우회했습니다.
Chroma의 새로운 검색 기능
-
희소 벡터(Sparse Vector) 검색: 키워드 매칭에 특화되어 있으며, 고유 명사, 인명, 함수 호출 등에 효과적입니다. BM25가 잘 알려진 알고리즘이지만, Chroma는 철자 오류나 변형까지 처리하는 SPLADE를 지원하여 “phillip” 검색 시에도 정확한 프로필을 찾아줍니다.
-
하이브리드(Hybrid) 검색: 밀집 벡터와 희소 벡터의 장점을 결합하여 하나의 API로 제공합니다. Booklet의 새로운 검색 기능은 SPLADE 희소 벡터와 Qwen 밀집 벡터를 결합하여 인명과 같은 키워드와 “마케팅 프리랜싱”과 같은 일반적인 쿼리를 모두 처리할 수 있습니다.
-
GroupBy 기능: 긴 문서를 검색을 위해 작은 조각으로 분할할 때 동일한 게시물이 여러 번 나타날 수 있는데, 이 기능을 통해 검색 결과의 중복을 제거하여 사용자 경험을 향상시킵니다.
이러한 기능들을 통해 작성자는 Booklet의 검색 시스템을 강력하고 프로덕션 준비가 된 상태로 개선할 수 있었습니다.