Gemini 3 개발 도구 평가: 부실한 사용자 경험과 실망스러운 첫인상

Quick eval of Gemini 3 dev tools

작성자
HackerNews
발행일
2025년 11월 20일

핵심 요약

  • 1 필자는 Gemini 3 모델을 평가하려 했으나, Google의 CLI 및 IDE 플러그인 개발 도구의 미흡한 사용자 경험으로 인해 평가가 실패했습니다.
  • 2 Gemini 3 모델 접근 문제, 모델 선택 UI 부재, 긴 응답 시간 등 Google 제품의 도구 구현이 전반적인 개발자 경험을 저해했습니다.
  • 3 대조적으로 Claude Code 플러그인은 직관적인 인터페이스와 쉬운 모델 선택 기능으로 뛰어난 사용자 경험을 제공하며 Google 도구와 대비를 보였습니다.

도입

본 글은 필자가 Gemini 3 모델의 성능을 Copilot, GPT-5.1, Codex, Claude Sonnet 4.5 등 다른 AI 모델과 객관적으로 비교하기 위해 15분간의 평가를 시도한 경험을 다룹니다. 그러나 Google의 개발 도구(CLI 및 IDE 플러그인)의 부실한 구현으로 인해 이 평가가 제대로 진행되지 못했으며, 전반적으로 실망스러운 첫인상을 남겼습니다. 이 보고서는 개발 도구의 사용자 경험이 AI 모델의 잠재력을 가리는 주요 요인이 될 수 있음을 시사합니다.

Gemini 개발 도구의 문제점

  1. Gemini CLI 설정 및 모델 접근 실패
    • Gemini CLI 설치 및 실행은 비교적 순조로웠습니다.
    • 그러나 /settings에서 미리 보기 기능을 활성화했음에도 불구하고, Gemini 3 Pro 모델에 접근할 수 없다는 오류 메시지를 받았습니다.
    • 오류 메시지에 포함된 URL은 선택이 불가능하여 수동으로 입력해야 하는 불편함이 있었습니다.
  2. PyCharm Gemini 플러그인의 한계
    • 플러그인 설치 및 GCP 계정 인증 후, 기존 MCP 서버 프로젝트에 다중 일 예보 기능 추가를 요청했습니다.
    • 플러그인은 약 5분간 응답 없이 ‘스피닝’ 상태를 유지하여 강제 종료해야 했습니다.
    • 재시도 후 기능 구현에는 성공했으나, 플러그인 내에서 어떤 모델이 사용되는지 확인하거나 선택할 수 있는 UI가 전혀 없었습니다.
    • gemini-backend.log 파일 분석 결과, 실제로는 “chat-gemini-2-5-flash-free-tier” 모델이 사용되고 있었음이 확인되었습니다.
    • 이러한 문제들로 인해 할당된 15분 평가 시간을 초과하게 되었습니다.

Claude Code 플러그인과의 비교

  • 뛰어난 사용자 경험: Claude Code 플러그인은 PyCharm에서 단 한 번의 문제도 없이 완벽하게 작동했습니다.

  • 직관적인 인터페이스: 사용하고자 하는 모델을 매우 쉽게 선택할 수 있었으며, 전반적인 인터페이스가 직관적이었습니다.

  • 빠른 설정 및 테스트: 동일한 MCP 서버를 Claude Desktop으로 구성하고 테스트하는 데 약 20초밖에 걸리지 않았습니다.

결론

이번 평가 경험은 Google이 뛰어난 AI 모델을 보유하고 있을지라도, 사용자 친화적인 개발 도구(CLI 및 IDE 플러그인)의 UI 및 구현 측면에서 여전히 많은 개선이 필요함을 명확히 보여줍니다. 모델의 성능만큼이나 개발자가 모델에 접근하고 활용하는 도구의 사용성은 매우 중요하며, 부실한 도구는 잠재적인 사용자 이탈로 이어질 수 있습니다. 반면 Claude와 같은 경쟁사의 도구는 이미 직관적이고 효율적인 사용자 경험을 제공하며, 이는 Google이 사용자 중심의 개발 도구 개선에 더욱 집중해야 할 필요성을 강조합니다.

댓글 0

로그인이 필요합니다

댓글을 작성하거나 대화에 참여하려면 로그인이 필요합니다.

로그인 하러 가기

아직 댓글이 없습니다

첫 번째 댓글을 작성해보세요!