프롬프트 엔지니어링 매개변수
LLM의 응답 방식을 제어하는 주요 매개변수는 다음과 같습니다. * Temperature: 모델의 창의성 또는 무작위성을 조절합니다(권장 0.2). * Top K: 다음 단어 선택 시 고려할 확률 높은 단어 수를 제한합니다(권장 30). * Top P: 누적 확률을 기반으로 다음 단어를 선택합니다(권장 0.95). 이 매개변수들은 LLM의 응답 특성을 조절하고 환각 현상을 감소시키는 데 중요합니다.
Retrieval Augmented Generation (RAG)
RAG는 LLM이 훈련된 데이터셋 외에 외부 벡터 데이터베이스에서 정보를 검색하여 응답을 보강하는 기술입니다. 이를 통해 LLM은 특정 비즈니스 컨텍스트로 지식을 확장할 수 있습니다.
모델 컨텍스트 프로토콜 (MCP)
MCP는 LLM이 외부 서비스와 상호작용하기 위한 표준화된 프로토콜입니다. MCP 서버는 도구(Tools), 자원(Resources), 프롬프트(Prompts)의 역량(Capabilities)을 LLM 클라이언트에 노출합니다. 통신은 표준 I/O, HTTP(SSE)를 통해 JSON 또는 RPC 형식으로 이루어집니다.
Ruby를 활용한 MCP 서버 라이브 코딩 시연
발표자는 Ruby fast_mcp 라이브러리를 사용하여 간단한 쇼핑 앱을 구축하고 이를 MCP 서버로 노출했습니다. list_products, add_to_cart, view_cart 등의 메서드를 MCP 도구로 등록하고 인자를 정의했습니다. Claude 데스크톱 클라이언트와 연동하여 제품 목록 조회, 장바구니 추가, 프로모션 적용 등의 기능을 시연했으며, 이는 여러 MCP 서버가 상호작용하여 LLM이 외부 애플리케이션의 기능을 통합적으로 활용할 수 있음을 보여주었습니다.