AI 엔지니어로서의 여정
-
Landon Gray는 대학에서 CS 학위를 취득한 후, 처음에는 AI에 큰 흥미를 느끼지 못했습니다.
-
약 10년 후, ChatGPT와 LLM을 접하면서 AI의 잠재력에 깊이 매료되어 경력 전환을 결심했습니다.
-
UT Austin에서 AI 관련 과정을 수료하며 모델 훈련 방법을 익혔고, Ruby로 머신러닝 모델을 훈련할 수 있다는 아이디어로 RubyConf에서 강연을 진행하여 Ruby 커뮤니티의 큰 관심을 받았습니다.
-
이후 컨설팅 회사를 운영하며 AI 엔지니어링 프로젝트를 수행하다가 현재 Dealmaker의 시니어 AI 엔지니어로 재직 중이며, Python 기반 AI 작업과 Ruby on Rails 애플리케이션 작업을 병행하고 있습니다.
RAG(검색 증강 생성) 및 컨텍스트 윈도우
-
RAG는 LLM의 지식을 추가 정보로 보강하여 환각(hallucination) 없이 정확한 답변을 생성하도록 돕는 기술입니다.
-
초기 RAG 파이프라인은 작은 컨텍스트 윈도우에 맞춰 설계되었으나, 현재는 훨씬 큰 컨텍스트 윈도우가 가능합니다.
-
그러나 큰 컨텍스트 윈도우는 ‘건초 더미 속 바늘 찾기’ 문제(needle in the haystack)와 같이 관련 정보 추출의 어려움을 야기할 수 있습니다. 특히 문서의 중간에 있는 정보는 LLM이 놓치기 쉽습니다.
-
무한한 컨텍스트 윈도우가 가능하더라도, 챗봇과 같은 실시간 응답이 필요한 경우 처리 속도가 매우 느려지는 문제가 발생합니다. 따라서 RAG에서 ‘검색(retrieval)’ 단계의 효율성과 정확성이 여전히 가장 중요합니다.
-
Google 검색 결과 상단의 LLM 응답도 결국 링크 순위 지정과 같은 정교한 검색 작업의 결과이며, 이는 여전히 인간의 전문성과 큐레이션이 필요한 영역임을 강조했습니다.
AI의 미래와 AGI에 대한 관점
-
Landon Gray는 AI가 인간의 지루한 작업을 자동화하는 데는 유용하지만, 효율성만이 항상 바람직한 것은 아니라고 주장합니다.
-
AI 생성 음악의 예시를 들며, 인간이 창조물에서 얻는 감성적 배경과 의미는 AI가 대체하기 어렵다고 설명합니다.
-
특히 프로그래밍 분야에서 LLM에만 의존하는 초보 개발자는 독창적인 디자인 사고 능력을 발전시키기 어려울 수 있다고 우려했습니다.
-
AGI(범용 인공지능)의 가능성에 대해서는 회의적인 입장을 표명했습니다. LLM은 본질적으로 통계적 예측 모델이며, 인간의 비언어적 경험, 감정, 복잡한 맥락적 이해를 텍스트만으로 온전히 포착하고 재현할 수 없다고 지적했습니다. 진정한 지능은 단순한 정보의 평균화와 큐레이션을 넘어선다고 강조했습니다.
임베딩 모델의 작동 원리
-
RAG 아키텍처에는 LLM 외에 ‘임베딩 모델’이라는 또 다른 중요한 모델이 사용됩니다.
-
임베딩 모델은 텍스트를 의미론적 의미를 가진 부동 소수점 숫자 배열(벡터)로 변환합니다.
-
이 모델은 단어 간의 의미론적 관계(예: ‘물’과 ‘우유’는 ‘음료’, ‘케이크’와 ‘쿠키’는 ‘디저트’)를 학습하여, 유사한 의미를 가진 단어들이 벡터 공간에서 서로 가깝게 위치하도록 합니다.
-
이를 통해 쿼리와 가장 의미론적으로 유사한 문서를 효율적으로 검색할 수 있습니다.