슬롯 스케줄링의 장점과 GCD 메서드 활용

초기에는 주기적으로 업데이트되지 않은 사용자 데이터를 일괄적으로 쿼리하여 동기화 작업을 스케줄링했습니다. 이 방식은 큐에 엄청난 수의 작업이 한꺼번에 몰리게 하여 CPU 부하 증가, 큐 깊이 심화, 오토스케일링 인스턴스 증가로 인한 비용 폭증, 그리고 데이터베이스 부하 폭증으로 이어지는 악순환을 초래했습니다. 이는 애플리케이션의 서비스 거부 공격(DoS)과 유사한 상황을 스스로 만들어내는 결과를 낳았습니다. 이러한 불균일한 부하를 해결하기 위해 발표자는 시뮬레이션 기법을 도입했습니다. 작업 완료 시간을 APM(AppSignal)의 백분위수 데이터로 분석하고, ChatGPT의 도움을 받아 ‘역변환 샘플링(Inverse Transform Sampling)’ 알고리즘을 통해 실제와 유사한 가상 작업 시간을 생성하여 시뮬레이션을 실행했습니다. 시뮬레이션 결과는 SQLite 데이터베이스에 기록되어 다양한 스케줄링 방안의 효과를 비교하는 데 활용되었습니다. 핵심 해결책은 ‘슬롯 스케줄링’입니다. 이 방식은 전체 사용자 기반을 여러 ‘슬롯’으로 나누고, 각 슬롯에 해당하는 사용자 작업을 특정 시간에 순차적으로 처리하는 것입니다. 이를 위해 Ruby 표준 라이브러리의 Random 클래스(Mersenne Twister 알고리즘)를 활용하여 사용자 ID로부터 예측 가능하고 균일하게 분산된 지연 시간을 부여했습니다. 특히 UUID 기반의 Primary Key를 사용하는 경우, UUID를 바이트로 변환한 후 마지막 바이트를 사용하여 슬롯을 할당함으로써 균등한 분포를 보장했습니다. 슬롯 개수 결정에는 gcd (최대 공약수) 메서드를 활용하여 주기 시간 내에 정수 개의 슬롯을 생성할 수 있도록 했습니다. 이러한 3단계 워크로드(부트스트랩 작업 -> 슬롯별 작업 -> 사용자별 동기화 작업) 분할을 통해, 큐에 한꺼번에 대량의 작업이 유입되는 것을 방지하고, 데이터베이스 인덱싱 및 잠금 경합 문제를 완화했습니다. 또한, 특정 계정에 대한 ‘결제 승인’과 ‘보고서 생성’과 같이 서로 충돌할 수 있는 작업들을 슬롯 스케줄링을 통해 시간적으로 분리하여 동시성 문제를 해결하는 데도 활용되었습니다.