• Knowledge

HTTPS는 어떻게 서버를 확인하고 통신을 암호화할까?

TLS 1.3에서 인증서 검증과 키 교환의 역할, 핸드셰이크 순서와 0-RTT의 조건을 살펴봅니다.

시리즈15편 중 6편백엔드 통신의 흐름2부 · HTTP 요청 아래에서는 무슨 일이 일어날까?
1부 · 서버와 클라이언트는 어떻게 대화할까?3편
  1. 01HTTP 요청과 동기·비동기 실행은 어떻게 다를까?
  2. 02오래 걸리는 작업은 어떻게 기다릴까? Short Polling과 Long Polling
  3. 03실시간 업데이트에는 SSE와 WebSocket 중 무엇을 선택할까?
2부 · HTTP 요청 아래에서는 무슨 일이 일어날까?6편
  1. 04TCP와 UDP는 무엇이 다를까? 바이트 스트림과 데이터그램
  2. 05TCP 연결은 성공했는데 서버 응답은 왜 늦을까?
  3. 06HTTPS는 어떻게 서버를 확인하고 통신을 암호화할까?읽는 중
  4. 07HTTP/1.1은 TCP 연결을 어떻게 재사용할까?
  5. 08HTTP/2는 여러 요청을 어떻게 하나의 연결에 담을까?
  6. 09HTTP/3는 왜 QUIC을 사용할까?
3부 · 서비스에 맞는 통신 방식 선택하기3편
  1. 10gRPC는 서로 다른 서비스를 어떻게 연결할까?
  2. 11WebRTC는 브라우저 사이의 연결 경로를 어떻게 찾을까?
  3. 12서버를 늘리면 왜 로그인 상태가 사라질까?
4부 · 서버는 수많은 연결을 어떻게 감당할까?3편
  1. 13요청이 많아지면 스레드도 그만큼 필요할까?
  2. 14L4와 L7 로드 밸런서는 요청을 어떻게 분산할까?
  3. 15Sidecar 프록시는 서비스 간 통신에서 무엇을 할까?
HTTPS 연결에서는 신원 검증과 통신 키 협상이 먼저 이루어진다

브라우저 주소창에 https://가 붙은 주소를 입력합니다. 처음 접속하는 서버인데도 몇 번의 네트워크 메시지만 주고받으면 암호화된 데이터를 보낼 수 있어요.

브라우저와 서버는 암호화에 사용할 키를 미리 공유하지 않았어요. 그런데 TLS 연결을 맺으면 양쪽이 통신에 필요한 키를 만들 수 있습니다. 어떻게 가능한지, 그리고 상대가 정말 접속하려던 사이트인지는 어떻게 확인할 수 있을까요?

TLS는 두 문제를 함께 해결합니다. 인증서로 상대 서버의 신원을 확인하고, 키 교환을 통해 실제 통신에 사용할 비밀값을 만듭니다. HTTPS는 이렇게 보호된 연결 위에서 HTTP 메시지를 주고받는 방식입니다. 여기서는 웹에서 흔히 사용하는 TLS 1.3의 전체 핸드셰이크를 기준으로 설명할게요.

서버가 공개키를 보내면 암호화가 끝날까?

TLS를 설명할 때 '서버가 공개키를 주고 브라우저는 그 키로 모든 HTTP 데이터를 암호화한다'는 설명을 종종 만납니다. 현대적인 TLS 1.3 연결에서는 그렇게 동작하지 않습니다.

실제 HTTP 데이터는 대칭키 기반의 암호화 방식으로 보호합니다. 양쪽이 각각 같은 통신 비밀값에서 키를 만들어 사용하기 때문에 큰 데이터를 효율적으로 암호화할 수 있어요. 이때 사용하는 키는 양방향 트래픽마다 별도로 파생됩니다.

그렇다면 양쪽은 어떻게 통신에 필요한 키를 만들어 낼까요? 일반적인 TLS 1.3 핸드셰이크에서는 양쪽이 (EC)DHE 방식으로 서로의 임시 공개값을 교환하고, 각자의 비밀값을 사용해 같은 공유 비밀을 계산합니다. 비밀값 자체를 네트워크로 보내지 않아요.

인증서는 다른 역할을 합니다. 서버는 자신의 공개키와 도메인 이름에 관한 정보를 담은 인증서 체인을 보내고, 클라이언트는 신뢰하는 인증기관까지 이어지는지와 요청한 도메인에 맞는지, 유효 기간과 필요한 정책을 만족하는지 확인합니다. 서버는 인증서의 공개키에 대응하는 개인키를 소유하고 있음을 핸드셰이크 서명으로 증명합니다.

즉 인증서의 공개키로 서버를 인증하는 일과 임시 키 교환으로 세션 키를 만드는 일은 연결된 과정이지만 같은 작업은 아닙니다.

TLS 1.3 핸드셰이크의 순서

클라이언트가 처음 연결하는 상황을 단순화해 보겠습니다.

Plain Text
클라이언트                               서버
    |                                    |
    | ClientHello                        |
    | 지원 버전·암호화 방식·키 교환 공개값  |
    |----------------------------------->|
    |                                    |
    | ServerHello + 키 교환 공개값         |
    |<-----------------------------------|
    | {EncryptedExtensions}              |
    | {Certificate, CertificateVerify}   |
    | {Finished}                          |
    |<-----------------------------------|
    | {Finished}                          |
    |----------------------------------->|
    |                                    |
    | 암호화된 HTTP 요청                  |
    |----------------------------------->|

중괄호로 표시된 서버 측 메시지는 이미 협상된 핸드셰이크 키로 보호되는 영역입니다. 이 그림은 인증서를 사용하는 일반적인 전체 핸드셰이크 사례이며, PSK 재개나 클라이언트 인증 등 변형은 생략했어요.

처음에는 ClientHello에 지원하는 TLS 버전과 암호화 방식, 키 교환에 필요한 공개값 등을 담아 보냅니다. ServerHello로 서버가 선택한 매개변수와 공개값이 돌아오면 양쪽은 공유 비밀을 계산할 수 있게 됩니다.

그다음 서버가 자신의 인증서와 서명을 전송합니다. 클라이언트는 인증서가 신뢰 가능한지 검증한 뒤 Finished 메시지를 확인해 핸드셰이크가 중간에서 바뀌지 않았는지 검사합니다. 클라이언트의 Finished까지 오가면 일반적인 전체 핸드셰이크가 완료되고 애플리케이션 데이터를 보호할 수 있어요.

서버가 인증서를 보냈다고 클라이언트가 무조건 믿는 것은 아닙니다. 도메인이 맞지 않거나 신뢰할 수 없는 인증서라면 브라우저는 경고를 보여 주거나 연결을 중단할 수 있습니다.

상대를 확인하지 않은 키 교환만으로는 중간자 공격을 막을 수 없다

TLS 1.2보다 무엇이 달라졌을까?

TLS 1.2에서도 보안 연결을 만들 수 있지만, 새 연결의 대표적인 전체 핸드셰이크는 일반적으로 TLS 1.3보다 더 많은 왕복 통신이 필요합니다. TLS 1.3은 보편적인 전체 핸드셰이크에서 서버와 한 번 왕복한 뒤 클라이언트가 애플리케이션 데이터를 보낼 수 있도록 설계됐습니다.

이것이 HTTP 요청이 반드시 1 RTT 만에 응답된다는 뜻은 아니에요. TCP를 새로 연결하는 데 걸리는 시간, DNS 조회, 서버 처리 시간, HTTP 응답 왕복 시간은 따로 존재합니다. 이미 만들어진 TCP 연결을 재사용하는지에 따라서도 전체 지연은 크게 달라집니다.

TLS 1.3은 오래된 키 교환 방식과 암호화 방식을 정리했습니다. 특히 인증서에 연결된 RSA 키로 premaster secret을 암호화해 전달하던 예전의 RSA 키 교환 방식은 TLS 1.3에서 사용하지 않습니다. 지금은 임시 키 교환을 통해 이전 세션의 트래픽이 나중에 개인키 유출만으로 복호화되지 않도록 하는 성질인 전방향 보안성(forward secrecy)을 얻도록 설계합니다.

0-RTT라면 핸드셰이크 없이 요청해도 될까?

TLS 1.3에는 이전 연결에서 얻은 PSK를 이용해 재접속할 때 일부 데이터를 아주 일찍 보낼 수 있는 0-RTT early data도 있습니다. 처음 만난 서버와 아무 정보도 없이 0-RTT로 연결한다는 뜻이 아닙니다.

그런데 이 데이터에는 중요한 제약이 있어요. 네트워크 공격자가 이전 early data를 다른 연결에서 재전송(replay)하려고 시도할 수 있고, TLS 계층만으로 모든 애플리케이션 중복 실행을 막는다고 보장하지 않습니다.

상품 조회 같은 읽기 작업과 결제·주문 생성은 위험이 다르죠. 애플리케이션이 재전송에 안전하다고 판단한 요청만 0-RTT로 처리해야 하고, 그렇지 않은 작업은 일반적인 핸드셰이크 뒤에 보내는 편이 안전합니다. 실제 HTTP/3에서도 0-RTT 허용 여부와 요청의 안전성은 함께 고려해야 합니다.

0-RTT의 빠른 전송은 재접속과 재전송에 안전한 요청이라는 조건 위에서만 의미가 있다

직접 확인할 때 주의할 점

터미널에서 서버가 협상한 TLS 버전과 인증서 검증 결과를 보고 싶다면 OpenSSL을 사용할 수 있습니다.

shell
openssl s_client -connect example.com:443 \
  -servername example.com -verify_hostname example.com -verify_return_error \
  -tls1_3 -brief

명령은 TLS 1.3을 지원하는 공개 서버에 접속한다는 전제의 확인 예시입니다. 실제로 연결 가능한 환경과 OpenSSL 버전에 따라 출력은 달라질 수 있어요. -servername은 SNI로 접속하려는 호스트 이름을 전달합니다. 인증서 검증 상태를 확인하려면 검사 대상 호스트 이름이 무엇인지도 명시적으로 확인해야 합니다.

TLS는 HTTP 본문과 헤더를 암호화하지만, 네트워크 상의 모든 정보가 감춰지는 것은 아닙니다. 상대 IP 주소, 트래픽의 크기와 타이밍 등은 관찰 가능하고, 서버 이름 정보의 노출 범위는 ECH 지원 여부 등에 따라 달라집니다. 브라우저에서 HTTPS라고 표시된다고 해서 웹사이트 자체가 안전한 서비스라는 의미도 아니에요.

처음 만난 서버와 비밀 키를 미리 공유할 필요가 없는 이유는 TLS가 키 교환과 신원 검증을 함께 수행하기 때문입니다. 인증서가 서버를 확인해 주고, 임시 키 교환이 통신 키를 만들며, 그 키로 실제 HTTP 데이터를 보호합니다.

댓글 0

이 글에 대한 생각을 자유롭게 남겨주세요.

댓글 관련 문의

댓글을 불러오는 중…

갑자기 추워진 날, 진주에서

진주에서 하루종일 돌아다녔다

양승민

내 단점을 커버하는 동료와 함께.

새로운 프로젝트를 함께 준비하는 친구와의 저녁. 미운 점도 고마운 점도 있지만, 결국 같이 잘됐으면 좋겠다는 마음.

양승민

순천과 여수 여행3

마지막 하루. 공부랑 런닝으로 끝내기

양승민
See all