5만 레코드/초 처리: Ruby와 JRuby 이야기

Ruby의 과거와 확장성 도전

• 전성기: 15-20년 전 Ruby는 Rails와 함께 Shopify, GitHub, Zendesk 등 혁신 기업 성장을 견인, 웹 애플리케이션의 수평적 확장을 가능케 했습니다.
• 초기 한계: 과거 메모리 누수와 GVL(Global VM Lock)로 인한 멀티스레딩 제약이 문제였습니다. 2007년 이전 그린 스레드는 I/O 시에도 GVL을 해제하지 않아 성능 저하의 원인이었습니다.

JRuby를 통한 해결책 및 운영 교훈

• JRuby 도입: Zendesk는 실제 스레드와 Java 라이브러리(언어 감지기, Elasticsearch 클라이언트) 접근을 제공하는 JRuby를 선택, GVL 제약을 극복하고 고성능 ETL 서비스를 구축했습니다.
• 15년간 성공: JRuby 기반 서비스는 최대 초당 5만 건 업데이트, 일일 6억 건 DB 쿼리를 처리하며 15년간 안정적으로 운영되었습니다.
• 직면 문제: Java와 Ruby 스타일 혼재(“Juby”), 라이브러리 불일치(YAML 파서 문제), 스레드 안전성 부족으로 인한 학습이 필요했습니다.

Ruby의 미래와 확장성

• 아키텍처 변화: 마이크로서비스 이점 재평가와 함께 모듈러 모놀리스가 대안으로 제시됩니다. 클라우드, Kubernetes, 이벤트 소싱(Kafka)은 Ruby 애플리케이션 확장성을 크게 향상시켰습니다.
• C Ruby의 발전: YJIT(CPU 20% 절감), Ractors, Concurrent Ruby 등은 C Ruby의 성능과 동시성을 크게 개선하고 있습니다. Karafka의 동시성 지원은 Ruby 커뮤니티의 성능 개선 노력을 보여줍니다.