AI 검색 분석 공백은 클라이언트 측 도구와 AI 모델 간의 상호작용 방식 차이에서 비롯됩니다.
Google Analytics의 한계와 퍼널 격차
Google Analytics는 JavaScript 기반으로 AI 크롤러가 스크립트를 실행하지 않아 AI 봇 트래픽을 추적하지 못합니다. 또한, AI 검색은 AI 인터페이스에서 직접 답변을 얻는 ‘제로 클릭’을 유발하므로, GA는 실제 콘텐츠 소비가 아닌 사이트 내 ‘행동’만 측정하여 실제 도달 범위를 과소평가합니다.
서버 로그: AI 트래픽의 진실의 원천
서버 로그는 웹 서버 요청 기록을 통해 AI 봇의 상호작용을 파악하는 유일한 방법입니다. User-Agent를 통해 AI 봇을 식별하며, 모든 봇을 동일하게 취급해서는 안 됩니다.
AI 크롤러 유형 구분
-
훈련용 크롤러: LLM 훈련 목적(예: GPTBot)으로, 현재 사용자 의도와 무관합니다.
-
RAG 크롤러: 실시간 사용자 질의 답변 목적(예: ChatGPT-User, PerplexityBot)으로, 고의도 신호이며 AEO에서 핵심적으로 추적해야 합니다. 두 유형을 혼합하면 데이터가 오염됩니다.
AI 트래픽 분석을 위한 서버 로그 활용 가이드
-
로그 드레인 구성: 로그를 영구 데이터 웨어하우스(예: ClickHouse)로 스트리밍합니다.
-
SQL 쿼리로 RAG 봇 필터링: 훈련 봇을 제외하고 RAG 봇을 포함하는 쿼리를 작성하며, IP 검증을 병행합니다.
-
AI 행동 분석: RAG 봇의 유입 빈도, 선호 페이지, 크롤링 오류 등을 분석합니다.
-
대시보드 설정: BI 도구에 ‘AI Pulse’ 대시보드를 구축하여 RAG 봇 요청 수 및 상위 URL을 모니터링합니다.
핵심 AEO 트래픽 지표
-
선행 지표 (봇 트래픽): 콘텐츠 유입률(CIR)과 인용 신선도.
-
후행 지표 (비즈니스 데이터): 고의도 전환율, 브랜드 검색 증가, 상관관계 분석.