SQLite의 기본 특성 및 Rails에서의 성능 개선
SQLite는 2004년부터 버전 3가 사용되어 온 경량 데이터베이스로, 클라이언트-서버 방식이 아닌 라이브러리 및 파일 기반의 데이터베이스입니다. 수십억 개의 인스턴스에서 사용될 만큼 널리 퍼져 있으며, 단일 호스트 환경에서 강력한 성능을 발휘합니다. 최근 Ruby on Rails 생태계에서는 Steven Mann, Ben Johnson(Fractal Mind), Mike Delisio 등의 노력으로 SQLite의 성능이 비약적으로 향상되었습니다.
- WAL(Write-Ahead Logging) 모드: Rails 7.1부터 기본으로 활성화되어 쓰기 작업 중에도 무제한 읽기 작업을 허용하여 동시성을 크게 개선했습니다.
- 트랜잭션 처리 개선:
- 기존
deferred트랜잭션은 쓰기 작업이 중간에 락을 시도하여busy exception을 유발할 수 있었으나, 이제 쓰기 트랜잭션에immediate모드를 기본 적용하여 락을 즉시 획득,busy exception발생 빈도를 줄였습니다. busy handler가 C 구현에서 Ruby 구현으로 변경되면서 GVL(Global VM Lock)을 차단하지 않고sleep을 사용하도록 개선되어 스레드 블로킹 문제를 해결했습니다.busy handler의 지수 백오프 전략 대신 1밀리초sleep을 사용하여 오래된 트랜잭션이busy exception을 받을 확률을 낮췄습니다.
- 기존
- 고립된 연결 풀 (Isolated Connection Pools): Fractal Mind의
active_record_enhanced_sqlite_adapter에서 제안된 기능으로, 읽기 및 쓰기 연결 풀을 분리하여 쓰기 작업이 읽기 작업을 차단하지 않도록 합니다 (Rails 8 기본 기능으로 포함되지 않음).
SQLite 백업 및 복제 전략
SQLite는 다양한 백업 및 복제 도구를 제공하여 데이터 안정성을 확보할 수 있습니다.
.backup명령: 데이터베이스의 바이트 단위 복사본을 생성하며, 읽기/쓰기 작업을 차단하지 않습니다.VACUUM INTO file명령: 데이터베이스를 새 파일로 압축하여 더 효율적인 복사본을 생성하며, 이 또한 작업을 차단하지 않습니다.- Lightstream (Fly.io): WAL 시스템에 연동하여 SQLite 데이터베이스 변경 사항(트랜잭션 및 WAL 파일)을 S3 또는 SFTP 서버로 1초 간격으로 동기화합니다. “세대(generation)” 개념을 통해 주기적으로 전체 스냅샷을 찍어 델타 파일의 크기 증가를 관리합니다.
- SQLite3 Arsync:
rsync와 유사하게 데이터베이스의 변경된 페이지만 복사하여 효율적인 증분 백업을 수행합니다. 원본과 복제본 모두 동기화 중에도 사용 가능합니다. - LiteFS (Fly.io): FUSE 마운트 포인트를 통해 실시간으로 여러 호스트에 SQLite 데이터베이스를 복제합니다. 쓰기 작업은 FUSE 레이어를 통해 가로채여 복제본으로 전파되며, 복제본은 읽기 전용으로 작동합니다.
Rails 앱에서의 고급 활용 사례
SQLite는 메인 프로덕션 데이터베이스 외에도 Rails 애플리케이션의 성능 최적화 및 보조 시스템 통합에 유용하게 활용될 수 있습니다.
- API 대체: 외부 데이터를 가져오는 보조 시스템(예: 스크래핑 서비스)의 경우, API 호출 대신 SQLite 데이터베이스를 Rails 앱 내부에 동기화하여 직접 접근함으로써 훨씬 빠른 데이터 처리가 가능합니다. Active Record 모듈을 통해 읽기 전용으로 설정하여 활용할 수 있습니다.
- 분산 엣지 캐시: LiteFS와 같은 도구를 사용하여 주요 서버의 SQLite 데이터베이스를 여러 웹 서버에 복제하고, 웹 서버는 이 로컬 캐시된 데이터를 활용하여 프론트엔드 서비스의 응답 속도를 향상시킬 수 있습니다.