S3에 데이터베이스 구축하기
2008년 논문에서 제안된 Amazon S3 기반 데이터베이스 설계는 스토리지와 컴퓨팅 분리라는 현대 클라우드 네이티브 데이터베이스의 핵심 개념을 선구적으로 보여줍니다.
이 시스템은 Amazon SQS를 쓰기 전 로그(WAL)로, S3를 페이지 저장소로 활용하며, 클라이언트가 상태 비저장(stateless)으로 트랜잭션을 실행하고 비동기 체크포인트를 통해 로그를 S3에 적용하는 구조입니다.
당시 S3와 SQS의 높은 지연과 비순차적 메시지 처리 문제를 극복하기 위해 아이디엠포턴트 로그 기록, 원자성 보장 프로토콜, 그리고 락-프리 B-link 트리를 도입하여 데이터 일관성과 확장성을 확보하려 노력했습니다.
다만, 엄격한 트랜잭션 격리 보장은 포기하고, 클라이언트 측에서 일관성 관리를 수행하는 방식을 택했으며, 이는 오늘날의 분산 데이터베이스 설계와 비교할 때 중요한 철학적 기반을 제공합니다.
이 논문은 2008년의 열악한 클라우드 환경을 극복하며, 현대의 서버리스 데이터베이스 아키텍처와 데이터 레이크, 레이크하우스 시스템 발전에 기초를 마련한 의미 있는 연구로 평가됩니다.
