1. 테스트 실행 도구의 변화와 부팅 속도 개선
애플리케이션은 기존에 Test::Unit을 사용하고 있었으나, 레일즈의 기본 프레임워크이자 가장 빠른 속도를 자랑하는 Minitest로 전환했습니다. 루비와 레일즈의 최신 버전 업그레이드와 맞물려, 테스트 부팅 시간이 기존 30초에서 단 몇 초 수준으로 줄어들었습니다. 이는 개별 테스트 파일을 실행하거나 특정 메서드만 테스트할 때의 피드백 루프를 획기적으로 개선하여 로컬 개발 환경의 생산성을 높였습니다.
2. 데이터 생성 전략: Fixtures와 Factories의 조화
테스트 데이터 생성 방식은 성능에 큰 영향을 미칩니다. factory_bot과 같은 팩토리는 동적 데이터 생성에는 유리하지만, 매번 데이터베이스 쓰기 작업을 수행하여 테스트를 느리게 만듭니다. 반면 Fixtures는 테스트 시작 시 한 번만 로드되어 재사용되므로 DB 쓰기 횟수를 줄여줍니다. 본 사례에서는 두 방식을 혼합하여, 자주 사용되는 공통 데이터는 Fixtures로 관리하고 특수한 상황의 동적 데이터는 Factories로 관리하여 효율성을 극대화했습니다.
3. 프로파일링을 통한 슬로우 테스트 제거
전체 테스트 세트의 속도를 높이기 위해서는 실제 병목 지점을 찾는 작업이 선행되어야 합니다. Minitest와 RSpec에서 제공하는 --profile 플래그를 사용하여 가장 느린 상위 10개 테스트를 식별했습니다. 이를 통해 과거 스레드 관련 레이스 컨디션을 피하기 위해 임시로 삽입되었던 불필요한 sleep(1) 호출 등을 찾아내어 제거함으로써 실질적인 실행 시간을 단축했습니다.
4. 레일즈 병렬화(Parallelization)의 실제 적용과 도전 과제
레일즈 6부터 도입된 병렬화 기능은 test_helper.rb에 parallelize(workers: :number_of_processors)를 추가하는 것만으로 활성화할 수 있습니다. 하지만 안정적인 적용을 위해 다음의 문제를 해결해야 했습니다.
- 무작위 실행 순서(Randomized Order): 테스트 간의 의존성을 제거하기 위해 어떤 순서로 실행되어도 성공하도록 보장해야 합니다.
I18n.locale변경 후 복구하지 않는 등의 상태 누수 문제를--seed플래그로 추적하여 수정했습니다. - 레이스 컨디션(Race Conditions): 여러 프로세스가 동시에 실행되면서 발생하는 충돌을 해결해야 합니다. 특히 이 앱은 임시 파일(
tmp/export)을 생성하고 삭제하는 작업이 많아 충돌이 잦았습니다. 하드코딩된 디렉토리 대신 프로세스별 고유 경로를 사용하고, 전체 폴더 삭제 대신 명확한 파일 단위 정리를 수행하도록 개선했습니다.
5. 병렬화의 이점과 대안 도구
병렬화 도입 결과, 1만 개 이상의 테스트가 4분 만에 완료되었습니다. 이는 CI 서버의 14~16개 프로세서 코어를 모두 활용하게 됨으로써 유휴 자원을 줄이고 CI 인프라 비용을 절감하는 성과를 거두었습니다. 만약 Minitest를 사용하지 않는 환경이라면 flatware, turbo_tests, parallel_tests, 혹은 CI 인프라와 통합되는 knapsack_pro와 같은 도구를 통해 유사한 병렬화 효과를 얻을 수 있습니다.