1. 초희소 MoE 아키텍처와 PEER 기술
-
거대 파라미터의 효율적 활용: 제미나이 3 플래시는 약 1.2조 개의 파라미터를 보유한 ‘초희소(ultra-sparse)’ 혼합 전문가(MoE) 구조로 추정됩니다. 전체 용량은 거대하지만, 실제 추론 시에는 50억에서 300억 개의 파라미터만 활성화하여 비용과 속도를 최적화합니다.
-
PEER 메커니즘의 도입 가능성: 수백만 개의 전문가 네트워크를 효율적으로 관리하기 위해 ‘Parameter Efficient Expert Retrieval(PEER)’ 기술이 적용된 것으로 보입니다. 이는 고정된 라우터 대신 학습된 인덱스를 사용하여 필요한 전문가를 신속하게 호출함으로써 성능과 연산량 사이의 트레이드오프를 개선합니다.
2. 경제성 및 토큰 효율성 분석
-
최고의 가성비: 인공지능 지능 지수에서 제미나이 3 프로와 GPT-5.2 High의 뒤를 이어 3위를 기록하며, 현재 시장에서 달러당 지능비가 가장 높은 모델로 평가받습니다.
-
토큰 팽창(Token Bloat): 낮은 활성 파라미터로 높은 추론 능력을 구현하기 위해 내부적으로 장황한 처리 과정을 거칩니다. 이로 인해 벤치마크 수행 시 이전 세대인 제미나이 2.5 플래시보다 2배 이상의 토큰을 사용하며, 속도 또한 약 22% 느려졌습니다.
3. 지식 정확도와 신뢰성 문제
-
압도적인 지식량: 사실 관계 정확도를 측정하는 AA-Omniscience 벤치마크에서 최고점을 기록하며 방대한 내부 지식을 입증했습니다.
-
거절 환각 문제: 모델이 모르는 내용에 대해 답변을 거부하지 않고 그럴듯하게 꾸며내는 환각률이 91%에 달합니다. 이는 안전 장치가 필요한 실무 적용 시 심각한 리스크가 될 수 있습니다.