1. AI 에이전트: 웹의 새로운 제3의 청중
과거 수십 년 동안 웹사이트 제작의 주된 목표는 인간 독자에게 시각적인 정보를 전달하거나, 검색 엔진의 크롤러가 사이트를 잘 인덱싱하도록 최적화하는 것이었습니다. 그러나 이제는 AI 에이전트가 웹 콘텐츠를 소비하고 요약하며 사용자에게 전달하는 비중이 급격히 늘어나고 있습니다. AI 에이전트는 불필요한 내비게이션 요소나 광고, 복잡한 레이아웃이 포함된 HTML보다 텍스트 중심의 마크다운 형식을 훨씬 더 효율적으로 처리합니다. 마크다운은 읽기 쉽고 의미론적으로 명확하여 AI 모델이 내용을 파악하는 데 최적의 형식을 제공합니다.
2. Jekyll과 GitHub Pages에서의 구현 제약
Jekyll 기반의 웹사이트, 특히 GitHub Pages를 통해 호스팅되는 사이트는 보안상의 이유로 사용자 정의 플러그인(Custom Plugins) 사용에 제약이 따릅니다. 따라서 마크다운 파일을 자동으로 생성하거나 경로를 변경하는 루비(Ruby) 플러그인을 직접 실행하기 어렵습니다. 이를 해결하기 위해 저자는 GitHub Actions를 활용한 우회적인 구현 방식을 제안합니다. 이는 서버 측의 제약을 클라이언트 측 빌드 자동화로 해결하는 효율적인 접근 방식입니다.
3. GitHub Actions를 활용한 자동화 프로세스
구현의 핵심은 Jekyll 빌드 프로세스 이후에 원본 마크다운 파일을 적절한 위치로 복사하는 것입니다.
- 경로 매칭 및 파일 복사: 각 포스트의 파일명(예: 2026-01-15-serving-markdown-for-ai-agents.md)에서 날짜와 슬러그(Slug)를 추출합니다. 이후 Jekyll이 생성한 HTML 경로인 /2026/01/15/serving-markdown-for-ai-agents.html과 일치하도록 _site 디렉토리 내에 동일한 이름의 .md 파일을 생성합니다.
- 워크플로우 구성: GitHub Actions YAML 설정 내에서 bundle exec jekyll build 명령어가 완료된 직후, 쉘 스크립트나 별도의 액션을 사용하여 원본 _posts 폴더의 파일들을 목적지 경로로 이동시킵니다. 이 과정은 배포 직전에 이루어지므로 최종 웹 서버에는 HTML과 마크다운 소스가 공존하게 됩니다.
- 발견 가능성(Discoverability) 확보: AI 에이전트가 해당 마크다운 파일의 존재를 자동으로 인지할 수 있도록 HTML <head> 섹션 내에 <link href="파일명.md" type="text/markdown" rel="alternate" title="Markdown"> 태그를 삽입합니다. 이는 마치 RSS 피드나 대체 언어 페이지를 알리는 것과 유사한 방식으로, 에이전트가 페이지를 분석할 때 구조화된 소스 데이터를 우선적으로 요청할 수 있는 이정표 역할을 합니다.
4. 전략적 가치와 미래 전망
일각에서는 AI 기업이 트래픽을 발생시키지 않고 콘텐츠만 무단으로 사용하는 것에 대해 우려를 표합니다. 하지만 이미 AI 크롤러의 활동을 막기 어려운 상황에서, 오히려 깨끗하고 구조화된 데이터를 제공하는 것이 더 정확한 인용과 출처 표기를 유도하는 전략이 될 수 있습니다. 이는 정보의 접근성을 높이는 웹의 본질적인 가치와도 맞닿아 있으며, 향후 AI와 협업하는 환경에서 필수적인 최적화 단계가 될 것입니다. 결국 AI 에이전트에게 친화적인 웹사이트가 더 넓은 도달 범위를 확보하게 될 것입니다.