• Knowledge

Spotify로 살펴보는 대규모 음악 스트리밍 시스템 설계

음악 파일 저장에서 Signed URL, CDN, 비동기 변환과 데이터베이스 확장까지. Spotify와 비슷한 서비스를 가장 단순한 구조부터 설계해 봅니다.

우리는 매일매일 음악을 듣습니다.

전 세계적인 음악 플랫폼이라고 한다면 Spotify가 있겠죠. Spotify를 실행하고 듣고 싶은 음악을 선택하면 잠시 후 음악이 재생됩니다.

다른 음악을 검색하거나 재생목록을 바꾸는 일도 자연스럽게 이루어집니다.

Spotify 웹 플레이어 화면.

이런 서비스는 어떻게 운용되는 걸까요?

수천만 곡의 음악을 저장해야 하고, 전 세계의 수많은 사용자에게 동시에 전달해야 합니다.

사용자가 갑자기 늘어나더라도 음악이 끊기지 않아야 하고, 서버와 네트워크 비용도 고려해야 합니다.


그래서 시스템 설계 사례로 Spotify가 많이 언급됩니다.

이번에 유튜브를 보다가 관련 영상이 있길래 저의 생각과 함께 글을 써보려고 합니다.

영상에서 인상적이었던 점은 처음부터 복잡한 기술을 사용하는 것이 아니라, 요구사항을 정의하고 규모를 계산한 뒤 필요한 구조를 하나씩 만들어간다는 것입니다.

저도 음악 스트리밍 서비스를 만든다고 가정하고, 가장 단순한 구조에서 시작해 보겠습니다.

이 글은 Spotify와 비슷한 서비스를 설계하는 학습용 예시입니다. 아래의 사용자 수, 음악 수, 음질과 기술 구성은 설계를 위한 가정이며, 실제 Spotify의 내부 아키텍처나 운영 수치를 설명하는 것은 아닙니다.

1. 음악을 저장하는 것부터 시작해 봅니다

우선 서비스에서 제공할 기능과 규모를 정해야 합니다. 다음과 같은 조건을 가정해 보겠습니다.

항목

초기 조건

사용자

50만 명

음악

3,000만 곡

평균 음악 길이

3.5분

제공 음질

64 / 128 / 320 kbps

주요 기능

음악 검색, 재생, 업로드, 재생목록

먼저 음악 파일을 저장할 공간이 얼마나 필요한지 계산해 보겠습니다.

128kbps로 인코딩한 3.5분짜리 음악은 단순 계산으로 약 3.36MB입니다. 여기서는 규모를 쉽게 비교하기 위해 한 곡의 크기를 약 3MB로 반올림하겠습니다.

MB·GB·TB·PB는 십진 단위를 사용합니다.

3,000만 곡을 저장하는 데 약 90TB가 필요합니다. 음질별로 여러 파일을 만들거나, 원본과 백업, 버전 관리까지 고려하면 필요한 저장 공간은 더 늘어납니다.

그런데 음악 서비스에서 저장해야 하는 것이 음악 파일뿐인 것은 아닙니다. 음악 제목, 아티스트, 앨범, 재생 시간 등의 정보도 있어야 하고, 사용자가 만든 재생목록도 관리해야 합니다.

음악의 핵심 메타데이터를 곡당 평균 100바이트로 단순화하면 3,000만 곡의 데이터는 약 3GB입니다.

이는 크기 차이를 비교하기 위한 가정입니다. 실제로는 문자열 길이, 인덱스, 관계 테이블, 사용자와 재생목록 데이터 등 추가 공간이 필요하겠지만, 음악 파일에 비하면 상당히 작은 규모입니다.

여기서 첫 번째로 고민할 부분이 생깁니다. 크기가 이렇게 다른 두 종류의 데이터를 굳이 같은 곳에 저장할 필요가 있을까요?

데이터의 성격에 따라 저장소를 나눕니다

음악 제목과 아티스트, 재생목록은 서로 관계를 갖고 있습니다.

하나의 음악이 여러 재생목록에 포함될 수 있고, 한 재생목록에는 여러 음악이 순서대로 저장됩니다. 어떤 아티스트가 참여한 음악을 모두 조회해야 할 수도 있겠죠.

이러한 데이터는 관계형 데이터베이스로 관리하기 좋습니다.

반면 실제 음악 파일은 크기가 크고, 업로드된 이후에는 대부분 반복해서 읽는 형태로 사용됩니다.

따라서 음악과 사용자에 관한 정보는 PostgreSQL에 저장하고, 실제 음악 파일은 AWS S3와 같은 객체 저장소(Object Storage)에 보관하도록 구성할 수 있습니다.

물론 음악 파일을 관계형 데이터베이스에 BLOB 형태로 저장하는 것도 가능합니다. 하지만 수십 TB의 파일을 데이터베이스와 함께 관리하면 백업이나 복제, 저장 공간 확장에 대한 부담도 커집니다.

반드시 같은 저장소에서 관리해야 할 이유가 없다면 분리하는 편이 합리적일 수 있습니다.

PostgreSQL은 관계와 파일 참조를, 객체 저장소는 오디오 데이터를 관리합니다. 3GB와 90TB는 단순화한 계산값입니다.

이렇게 하면 음악 파일이 증가하더라도 데이터베이스를 함께 확장할 필요가 줄어듭니다.

물론 PostgreSQL에도 음악 파일의 위치를 저장해야 합니다. 다만 실제 파일 대신 해당 파일을 찾아갈 수 있는 경로나 Object Key만 관리하면 됩니다.

이제 음악을 저장할 구조는 마련했습니다. 다음은 사용자가 실제로 음악을 듣는 과정입니다.

2. 재생 버튼을 누르면 음악은 어떻게 전달될까?

처음에는 가장 단순한 방법을 생각해 볼 수 있습니다.

사용자가 음악을 요청하면 API 서버가 데이터베이스에서 음악 정보를 조회하고, 파일 저장소에서 음악을 읽어 사용자에게 전달하는 것입니다.

사용자 → API 서버 → Object Storage

작은 서비스라면 이 구조만으로도 충분히 음악을 재생할 수 있습니다. 그런데 사용자가 많아지면 어떨까요?

50만 명의 사용자가 하루에 10곡씩 음악을 듣고, 한 곡당 3MB를 전송한다고 가정해 보겠습니다.

하루에 전달해야 하는 데이터는 약 15TB입니다. 사용자가 100배 증가해 5,000만 명이 되면 하루에 약 1.5PB의 데이터를 전달해야 합니다.

이는 모든 사용자가 매일 10곡을 끝까지 듣는다는 단순 가정이며, 재요청과 프로토콜 오버헤드 등은 제외한 값입니다.

평균 전송량만으로도 상당한 규모인데, 실제로는 출퇴근 시간처럼 사용량이 집중되는 순간도 발생할 것입니다.

모든 음악 파일이 API 서버를 거쳐 전달된다면 API 서버의 네트워크 자원이 음악 전송에 사용됩니다.

그런데 생각해 보면 API 서버가 반드시 음악 파일까지 전달할 필요는 없습니다. 사용자가 음악을 재생할 권한이 있는지 확인하는 일과, 실제 음악 파일을 전송하는 일은 서로 다른 작업이기 때문입니다.

API 서버와 음악 전송 경로를 분리합니다

음악 재생 요청을 두 단계로 나누어 보겠습니다.

우선 사용자가 음악을 선택하면 앱은 GET /songs/{id} API를 호출합니다. API 서버는 JWT 등을 통해 사용자를 인증하고, 해당 음악을 재생할 수 있는지 확인합니다.

그다음 데이터베이스에서 음악의 메타데이터와 파일 경로를 조회합니다.

여기까지는 기존과 비슷합니다. 차이는 실제 음악 파일을 전송하는 부분에서 발생합니다.

API 서버가 음악을 직접 읽어 전달하는 대신, 사용자가 파일에 접근할 수 있는 임시 URL을 생성해 반환하는 것입니다. 이때 활용할 수 있는 것이 Signed URL입니다.

Signed URL은 특정 파일에 일정 시간 동안 접근할 수 있도록 서명된 URL입니다. 클라이언트가 이 URL을 받으면 API 서버를 거치지 않고 객체 저장소에서 음악 파일을 직접 가져올 수 있습니다.

결국 다음과 같이 역할이 분리됩니다.

  • API 서버: 사용자 인증, 음악 메타데이터 조회, 재생 권한 확인
  • Object Storage: 실제 오디오 파일 저장 및 전달
API 서버는 Signed URL을 반환하고, 오디오 데이터는 저장소에서 클라이언트로 직접 전달됩니다.

이렇게 구성하면 API 서버는 상대적으로 작은 메타데이터와 인증 요청을 처리하고, 큰 음악 파일의 전송은 객체 저장소가 담당합니다.

여기서 중요한 것은 서버를 여러 대 추가한 것이 아니라, 서로 다른 성격의 작업을 분리했다는 점입니다.

음악 전체를 다운로드하지 않고도 재생할 수 있습니다

그런데 객체 저장소에서 음악 파일을 가져온다면, 파일 전체를 다운로드할 때까지 기다려야 하는 것은 아닐까요?

다행히 HTTP에는 파일의 일부분만 요청하는 기능이 있습니다. 바로 Range Request입니다.

예를 들어 3MB 크기의 음악 파일에서 처음 128KiB만 가져오고 싶다면 다음과 같이 요청할 수 있습니다.

Plain Text
GET /audio/song123.aac HTTP/1.1
Range: bytes=0-131071

서버가 부분 요청을 지원하고 요청 범위가 유효하다면 206 Partial Content 응답과 함께 요청한 범위의 데이터만 반환합니다.

클라이언트는 처음 받은 데이터를 재생하면서 다음 부분을 요청할 수 있습니다. 음악의 중간으로 이동했을 때도 전체 파일을 다시 다운로드하지 않고 필요한 구간을 요청할 수 있겠죠.

MDN의 HTTP Range Request 설명에서도 이러한 부분 요청을 다룹니다.

물론 파일 형식이나 플레이어 구현에 따라 필요한 데이터의 범위와 처리 방식은 달라질 수 있습니다. Range Request 자체가 재생 가능한 단위를 보장하는 것은 아닙니다.

먼저 받은 데이터를 재생하는 동안 다음 구간을 요청합니다. 블록 크기와 재생 바는 실제 파일 비율이 아닌 개념도입니다.

이 부분을 살펴보면서 스트리밍이 반드시 특별한 전송 기술을 의미하는 것은 아니라는 점이 흥미로웠습니다.

HTTP에서 제공하는 기능을 적절하게 조합하는 것만으로도 저장된 미디어를 조금씩 가져와 재생하는 구조를 만들 수 있습니다.

다만 실제 서비스에서는 네트워크 상태에 따른 버퍼 관리나 HLS와 같은 세그먼트 기반 전송 방식도 고려할 수 있습니다.

3. 전 세계로 음악을 전달하기 위한 CDN

이제 API 서버와 음악 전송 경로를 분리했습니다. 하지만 아직 해결하지 못한 문제가 있습니다.

음악 파일이 미국에 있는 저장소에 보관되어 있고, 사용자는 한국에 있다고 가정해 보겠습니다. 사용자가 음악을 재생할 때마다 멀리 있는 원본 저장소에 접근해야 할 수 있습니다.

또한 수많은 사용자가 같은 인기곡을 동시에 듣는다면 원본 저장소는 동일한 파일을 반복해서 전달해야 합니다. 이 과정에서 네트워크 지연이 발생하고, 원본 저장소의 전송량과 비용도 증가할 수 있습니다.

그래서 CDN(Content Delivery Network)을 도입할 수 있습니다.

CDN은 전 세계 여러 지역에 분산된 엣지 서버를 통해 사용자와 가까운 곳에서 콘텐츠를 전달합니다. 사용자가 음악을 요청하면 CDN은 먼저 자신의 캐시에 해당 파일이 있는지 확인합니다.

파일이 있다면 원본 저장소에 접근하지 않고 바로 전달합니다. 없다면 원본 저장소에서 파일을 가져와 사용자에게 전달하고, 캐시 정책에 따라 저장합니다.

이제 음악 파일을 가져오는 경로는 다음과 같이 바뀝니다.

사용자 → CDN → Object Storage

실제로는 CDN에 사용할 수 있는 캐시가 있다면 Object Storage까지 접근하지 않습니다.

모든 CDN 서버에 모든 음악을 저장할 필요는 없습니다

CDN을 활용하면서 또 다른 궁금증이 생깁니다. 3,000만 곡의 음악을 전 세계 CDN 서버마다 모두 저장해야 할까요?

그럴 필요는 없습니다. 음악마다 재생 빈도가 다르기 때문입니다.

어떤 음악은 하루에도 수십만 번 재생되지만, 어떤 음악은 몇 달 동안 한 번도 재생되지 않을 수 있습니다.

여기에 지역별 차이도 있습니다. 한국에서 인기 있는 음악이 유럽에서도 같은 인기를 얻는 것은 아니겠죠.

따라서 각 지역에서 자주 요청되는 음악을 캐시에 보관하고, 사용 빈도가 낮은 음악은 제거하면 됩니다.

강의에서는 이를 위한 캐시 제거 정책의 예로 LRU(Least Recently Used)를 설명합니다.

오랫동안 사용되지 않은 데이터를 우선 제거하는 방식입니다. 실제 CDN에서는 TTL이나 파일 크기, 캐시 정책 등을 함께 고려할 수 있습니다.

LRU를 설명한다고 해서 특정 상용 CDN이 그 정책만 사용한다고 단정할 수는 없습니다.

한국의 캐시 히트는 엣지에서 바로 처리하고, 유럽의 캐시 미스는 원본에서 파일을 가져온 뒤 전달합니다.

여기까지 보면 CDN이 단순히 서버를 사용자 가까이에 배치하는 기술만은 아니라는 것을 알 수 있습니다.

어떤 파일을 캐시에 남기고, 어떤 파일을 원본에서 가져올지 결정하는 분산 캐시 시스템이기도 합니다.

그리고 실제로 CDN이 효과적으로 동작하는지는 Cache Hit Ratio나 원본 저장소의 전송량 등을 살펴보며 확인할 수 있습니다.

4. 음악 접근 권한을 관리하는 방법

CDN까지 도입했으니 이제 음악을 빠르게 전달할 수 있을 것 같습니다. 그런데 한 가지 더 생각해 볼 문제가 있습니다.

유료 구독자에게만 제공하는 음악이 있다고 가정해 보겠습니다. API 서버에서 사용자의 구독 상태를 확인하더라도 음악 파일의 주소만 알면 누구나 다운로드할 수 있다면 문제가 됩니다.

앞서 사용한 Signed URL이 여기서도 필요합니다. 다만 CDN을 사용하는 경우에는 객체 저장소에 직접 접근하는 Signed URL과 CDN에서 검증하는 Signed URL을 구분해야 합니다.

AWS를 예로 들면 S3 Presigned URL은 S3 객체에 대한 임시 접근을 허용하고, CloudFront Signed URL은 CDN을 통해 제공하는 콘텐츠의 접근을 제어합니다.

그리고 사용자가 CDN을 거치지 않고 S3 원본에 직접 접근해 권한 검사를 우회하지 못하도록 제한해야 합니다.

이때 CloudFront의 Origin Access Control(OAC)과 S3 버킷 정책을 함께 구성할 수 있습니다.

OAC는 CDN이 원본에 접근하는 권한을 관리하며, 사용자의 재생 권한 확인을 대신하는 기능은 아닙니다.

AWS의 S3 원본 접근 제한 문서

Signed URL도 만능은 아닙니다

여기서 조금 흥미로운 상황을 생각해 보겠습니다. 5분짜리 음악을 재생하는데 Signed URL의 유효기간을 3분으로 설정했다면 어떻게 될까요?

CloudFront는 HTTP 요청이 시작될 때 Signed URL의 유효성을 확인합니다. 이미 시작한 다운로드는 유효기간이 지나더라도 완료될 수 있지만, URL이 만료된 이후 새롭게 Range Request를 보내면 요청이 거부됩니다.

AWS의 Signed URL 만료 시점 설명

사용자는 음악을 정상적으로 듣다가 다음 구간을 가져오는 순간 오류를 만날 수도 있는 것이죠.

이를 방지하려면 재생에 충분한 유효기간을 부여하거나 필요한 시점에 접근 권한을 갱신하는 방법을 고려해야 합니다. 일시 정지나 다시 듣기처럼 실제 이용 시간에 영향을 주는 동작도 생각해야겠죠.

또한 Signed URL은 반드시 한 번만 사용할 수 있는 주소를 뜻하지 않습니다. 유효기간 안에는 재사용이 가능한 방식도 있기 때문에 URL 공유나 노출 위험도 고려해야 합니다.

결국 접근 권한을 부여하는 것과 그 권한을 언제까지 유지할 것인지 결정하는 것은 또 다른 설계 문제입니다.

단순히 Signed URL을 적용했다고 해서 보안과 접근 제어에 대한 고민이 끝나는 것은 아닌 것이죠.

5. 음악 업로드와 비동기 처리

지금까지는 사용자가 음악을 재생하는 과정에 집중했습니다. 그렇다면 아티스트가 새로운 음악을 업로드할 때는 어떨까요?

우선 아티스트가 POST /songs API로 음악 등록을 요청하고 파일 형식과 크기를 검증한 뒤, 객체 저장소에 파일을 보관하도록 만들 수 있습니다.

데이터베이스에는 음악 제목, 재생 시간, 아티스트, 파일 위치와 같은 정보를 저장합니다.

파일 전송은 API를 통해 받을 수도 있고, 업로드용 Signed URL을 발급해 객체 저장소로 직접 보낼 수도 있습니다.

직접 업로드를 허용하더라도 업로드 완료 여부와 실제 파일의 검증은 서버 측에서 수행해야 합니다.

여기까지는 비교적 단순합니다. 그런데 실제 음악 서비스에서는 원본 파일을 그대로 제공하지 않고 다양한 음질로 변환해야 할 수도 있습니다.

예를 들어 아티스트가 하나의 원본 파일을 업로드하면 서비스에서는 64kbps, 128kbps, 320kbps 등의 파일을 만들어야 할 수 있습니다.

이 모든 작업을 업로드 API에서 처리한다면 어떻게 될까요? 파일이 크거나 변환 작업이 많아질수록 API 응답 시간이 길어집니다. 변환 도중 오류가 발생했을 때도 처리하기 어렵습니다.

그래서 업로드와 변환 작업을 분리하는 편이 좋겠습니다.

파일 처리 작업을 별도로 분리합니다

아티스트가 파일을 업로드하면 원본 파일을 객체 저장소에 보관하고, 작업 큐에 변환 요청을 등록하는 방식입니다.

별도의 Worker가 작업을 가져와 음질별 파일을 생성하고, 변환 결과를 저장합니다. 큐에는 큰 오디오 파일 자체보다 원본 위치와 작업 ID 같은 정보를 담습니다.

이 과정에서 음악의 상태를 관리할 수도 있습니다.

상태

의미

UPLOADING

파일 업로드 중

PROCESSING

파일 검증 및 변환 중

READY

재생 가능

FAILED

처리 실패

이렇게 하면 변환이 완료되지 않은 음악이 사용자에게 노출되는 상황을 방지할 수 있습니다. 또한 음악 업로드가 증가하면 API 서버가 아니라 변환 Worker만 별도로 확장할 수 있습니다.

하나의 원본에서 여러 음질을 만들고, 필요한 결과물이 모두 저장되면 음악을 READY 상태로 전환합니다.

실제 운영에서는 작업 재시도와 중복 처리도 고려해야 합니다. 같은 작업을 다시 수행해도 결과가 꼬이지 않도록 작업 ID와 출력 경로를 관리하고, 반복 실패한 작업은 별도로 확인할 수 있어야 합니다.

이러한 설계는 음악 업로드뿐 아니라 이미지 리사이징이나 동영상 인코딩, 대용량 문서 처리에도 활용할 수 있습니다.

시간이 오래 걸리는 작업을 요청 처리와 분리한다는 점에서 비슷한 문제를 해결하기 때문입니다.

음악 파일이 변경되면 CDN은 어떻게 될까?

이제 아티스트가 등록한 음악을 수정했다고 생각해 보겠습니다.

기존 음악 파일을 같은 경로에 덮어쓰면 원본 저장소의 파일은 변경되지만 CDN에는 이전 버전이 남아 있을 수 있습니다. 지역에 따라 서로 다른 버전의 파일이 전달될 수도 있는 것이죠.

이를 해결하는 방법 중 하나는 파일을 덮어쓰지 않고 버전별로 별도의 경로에 저장하는 것입니다.

Plain Text
songs/123/v1/audio.aac
songs/123/v2/audio.aac

새로운 파일의 변환이 완료되면 데이터베이스가 참조하는 파일 경로를 v2로 변경합니다. 기존 캐시와 새로운 파일을 명확하게 구분할 수 있어 캐시 관리가 수월해집니다.

물론 이전 파일을 즉시 차단해야 한다면 별도의 캐시 무효화나 접근 제어가 필요할 수 있습니다.

파일 하나를 교체하는 과정에서도 이미 전 세계에 배포된 데이터의 상태를 함께 고려해야 한다는 점이 흥미롭습니다.

6. 사용자 5,000만 명을 위한 시스템 확장

이제 기본적인 음악 스트리밍 서비스를 설계했습니다. 그렇다면 서비스가 성장해 사용자 수가 50만 명에서 5,000만 명으로 증가하면 어떻게 될까요?

강의에서는 음악 수도 3,000만 곡에서 2억 곡으로 증가하는 상황을 가정합니다. 한 곡 3MB라는 같은 가정을 적용하면 음악 파일의 저장 공간만 약 600TB가 필요합니다.

이 역시 단일 음질 기준이며 원본, 다른 음질, 복제본은 제외한 값입니다.

하지만 시스템의 규모가 커졌다고 해서 모든 구성요소를 전부 교체할 필요는 없습니다. 어디에서 병목이 발생하는지에 따라 다른 해결책을 적용할 수 있기 때문입니다.

API 서버의 요청이 많아진다면

API 서버를 Stateless 구조로 만들고 여러 대로 늘릴 수 있습니다.

Stateless는 요청을 처리하는 데 필요한 사용자 상태를 특정 API 서버 한 대의 메모리에만 의존하지 않는 구조를 의미합니다.

이렇게 하면 로드 밸런서가 여러 API 서버에 요청을 분산할 수 있고, 서버를 추가하거나 교체하기도 쉬워집니다.

물론 데이터베이스나 공통 인증 서비스가 병목이 되지 않도록 함께 고려해야 합니다.

데이터베이스 조회가 많아진다면

Read Replica를 활용할 수 있습니다. 쓰기 작업은 Primary 데이터베이스가 담당하고, 읽기 요청은 여러 Replica로 분산하는 방식입니다.

그런데 여기에도 문제가 있습니다. Replica는 Primary의 변경 사항을 복제하는 과정에서 지연이 발생할 수 있습니다.

사용자가 재생목록에 음악을 추가한 직후 조회했는데, Replica에는 아직 변경 사항이 반영되지 않아 예전 목록이 표시될 수도 있습니다.

따라서 사용자가 방금 수정한 데이터를 즉시 확인해야 하는 작업과 약간의 지연을 허용할 수 있는 작업을 구분해야 합니다.

예를 들어 수정 직후의 조회는 Primary에서 처리하는 방식을 검토할 수 있습니다.

데이터베이스 자체의 규모가 너무 커진다면

샤딩(Sharding)을 검토할 수 있습니다. 샤딩은 데이터를 여러 데이터베이스로 분할해 저장하는 방식입니다. 예를 들어 아티스트 ID나 해시값을 기준으로 음악 데이터를 분산할 수 있습니다.

다만 샤딩을 도입하면 데이터가 여러 저장소에 분산되어 관리와 조회가 복잡해집니다. 특정 인기 아티스트에게 요청이 집중된다면 해당 샤드에 부하가 몰릴 수도 있습니다.

따라서 처음부터 샤딩을 적용하기보다 인덱스, 쿼리 최적화, 캐시, 읽기 복제 등으로 해결할 수 있는 부분이 있는지 먼저 검토하는 것이 좋겠습니다.

API, 데이터베이스, 오디오 전송을 각각의 병목에 맞춰 확장합니다. 샤딩은 필요할 때 검토할 선택지입니다.

여기까지 살펴보면 시스템 확장이 단순히 서버의 개수를 늘리는 일이 아니라는 것을 알 수 있습니다. API 요청, 데이터베이스 조회, 음악 파일 전송처럼 서로 다른 병목을 찾아 각각에 맞는 해결책을 적용하는 과정에 가깝습니다.

7. 실제 운영에서는 무엇을 확인해야 할까?

이제 서비스를 운영할 수 있는 기본적인 구조를 만들었습니다. 그런데 서버가 정상적으로 동작한다는 것만으로 사용자가 만족하고 있다고 판단할 수 있을까요?

음악 스트리밍에서는 사용자가 음악을 얼마나 빠르게 시작하고, 끊김 없이 들을 수 있는지가 중요합니다. 따라서 API 응답 시간뿐 아니라 다음과 같은 지표도 살펴볼 필요가 있습니다.

지표

확인할 내용

Playback Start Time

재생 버튼을 누른 뒤 실제 재생까지 걸린 시간

Rebuffering Ratio

관측한 재생 시간 중 재버퍼링에 사용한 시간의 비율

CDN Cache Hit Ratio

CDN 캐시에서 처리된 요청 비율

Origin Egress

원본 저장소에서 전송된 데이터량

Playback Error Rate

음악 재생 시도 중 실패한 비율

재버퍼링 비율의 분모에 버퍼링 시간을 포함할지, 초기 로딩을 제외할지처럼 지표의 정의도 팀에서 일관되게 정해야 합니다.

CDN 캐시 효율 역시 요청 수 기준과 바이트 수 기준을 함께 보면 실제 전송 비용을 이해하기 좋습니다.

API 응답이 빠르더라도 음악이 자주 끊긴다면 사용자에게 좋은 서비스라고 보기 어렵습니다. 반대로 음악 재생은 정상적이지만 CDN 캐시 효율이 낮아 원본 저장소의 네트워크 비용이 계속 증가할 수도 있습니다.

또 하나 생각해 볼 부분은 장애가 발생했을 때의 동작입니다.

예를 들어 재생 횟수를 집계하는 분석 시스템에 장애가 발생했다고 가정해 보겠습니다. 이때 음악 재생까지 중단해야 할까요?

그럴 필요는 없을 것입니다. 재생 기록을 별도의 큐로 전달하고 비동기로 집계하면 분석 시스템에 장애가 발생하더라도 음악 재생 기능은 유지할 수 있습니다.

물론 저작권료 정산처럼 반드시 보관해야 하는 기록이라면 데이터 유실을 방지하고 재처리할 수 있도록 설계해야 합니다.

여기서도 역할을 분리하는 이유가 드러납니다. 서로 다른 기능이 하나의 시스템에 강하게 묶여 있다면 한 부분의 장애가 다른 기능에도 영향을 줄 수 있기 때문입니다.

마치며

Spotify와 비슷한 음악 스트리밍 서비스를 직접 설계한다고 가정하고, 가장 단순한 구조에서 시작해 봤습니다.

처음에는 음악 파일과 메타데이터를 저장할 방법이 필요했습니다. 이후 사용자가 음악을 재생하는 과정에서 API 서버의 부담을 줄이기 위해 전송 경로를 분리했고, 전 세계에 음악을 효율적으로 전달하기 위해 CDN을 도입했습니다.

음악을 업로드하는 과정에서는 시간이 오래 걸리는 작업을 비동기로 분리했고, 서비스 규모가 커지면서 API 서버와 데이터베이스를 확장하는 방법도 검토했습니다.

흥미로웠던 점은 처음부터 거대한 아키텍처를 만들어야 했던 것은 아니라는 것입니다. 하나의 문제를 해결하다 보면 새로운 문제가 나타났고, 그 문제를 해결하기 위해 필요한 기술이 하나씩 추가되었습니다.

물론 실제로 서비스를 운영한다면 여기서 다루지 못한 더 많은 문제를 만나게 될 것입니다. 검색 품질과 추천, 국가별 이용 권한, 정산, 데이터 복구 같은 문제도 남아 있습니다.

그렇지만 처음부터 모든 문제를 해결할 필요는 없을지도 모릅니다.

현재 해결해야 할 문제가 무엇인지 이해하고, 그 문제에 맞는 기술을 선택하는 것. 그리고 선택한 기술이 새로운 문제를 만들지는 않는지 다시 생각해 보는 것.

어쩌면 시스템을 잘 설계한다는 것은 복잡한 아키텍처를 그리는 능력보다, 이러한 질문을 계속 이어갈 수 있는 능력에 가까운 것 같습니다.

댓글 0

이 글에 대한 생각을 자유롭게 남겨주세요.

댓글 관련 문의

댓글을 불러오는 중…

갑자기 추워진 날, 진주에서

진주에서 하루종일 돌아다녔다

양승민

내 단점을 커버하는 동료와 함께.

새로운 프로젝트를 함께 준비하는 친구와의 저녁. 미운 점도 고마운 점도 있지만, 결국 같이 잘됐으면 좋겠다는 마음.

양승민

순천과 여수 여행3

마지막 하루. 공부랑 런닝으로 끝내기

양승민
See all