Red-Candle은 gem install red-candle로 설치 후 Candle::LLM.from_pretrained와 llm.chat 또는 llm.chat_stream을 통해 LLM과 상호작용합니다. 이 Gem은 다음과 같은 핵심 이점을 제공합니다:
Red-Candle의 주요 이점
- 개인 정보 보호: 데이터가 사용자 머신을 벗어나지 않습니다.
- 속도: 네트워크 지연 없이 직접 메모리 접근으로 빠른 응답을 제공합니다.
- 제어: 생성 매개변수 미세 조정 및 원시 토큰 접근이 가능합니다.
- 통합: 순수 Ruby 객체로 Ruby 애플리케이션에 완벽하게 통합됩니다.
광범위한 NLP 기능 지원
Red-Candle은 LLM 외에도 다양한 NLP 기능을 지원합니다:
* LLM: 대규모 언어 모델과의 채팅.
* 토크나이저: 텍스트 전처리 및 분석.
* 임베딩 모델: 텍스트 임베딩 생성 (safetensors 형식).
* 재랭커: 문서 관련성 기반 재랭킹.
* NER: 모델, 패턴, 사전 기반의 하이브리드 개체 인식.
* 구조화된 생성: JSON 스키마/정규 표현식 기반의 예측 가능한 출력 생성.
모델은 Hugging Face 캐시에 자동 다운로드 및 캐시됩니다. GGUF 양자화 모델을 지원하여 4-8배 메모리 절감 효과를 제공하며, Q4_K_M(4비트)이 권장됩니다. GPU 가속(CUDA/Metal)을 통해 CPU 대비 3배 이상, 최대 18배의 LLM 실행 속도 향상을 제공합니다. 임베딩/재랭커는 safetensors, LLM은 safetensors 및 GGUF를 지원합니다.
문제 해결
- 양자화 문제: Q2_K 사용 시 수치 불안정성 오류 발생 가능, Q4_K_M 이상 권장.
- GGUF 로딩: 최신 Red-Candle 버전 및 정확한 GGUF 파일명 지정 필수.