• Knowledge

L4와 L7 로드 밸런서는 요청을 어떻게 분산할까?

연결 단위의 L4 분산과 HTTP 요청을 해석하는 L7 분산을 비교하고 예제로 확인합니다.

시리즈15편 중 14편백엔드 통신의 흐름4부 · 서버는 수많은 연결을 어떻게 감당할까?
1부 · 서버와 클라이언트는 어떻게 대화할까?3편
  1. 01HTTP 요청과 동기·비동기 실행은 어떻게 다를까?
  2. 02오래 걸리는 작업은 어떻게 기다릴까? Short Polling과 Long Polling
  3. 03실시간 업데이트에는 SSE와 WebSocket 중 무엇을 선택할까?
2부 · HTTP 요청 아래에서는 무슨 일이 일어날까?6편
  1. 04TCP와 UDP는 무엇이 다를까? 바이트 스트림과 데이터그램
  2. 05TCP 연결은 성공했는데 서버 응답은 왜 늦을까?
  3. 06HTTPS는 어떻게 서버를 확인하고 통신을 암호화할까?
  4. 07HTTP/1.1은 TCP 연결을 어떻게 재사용할까?
  5. 08HTTP/2는 여러 요청을 어떻게 하나의 연결에 담을까?
  6. 09HTTP/3는 왜 QUIC을 사용할까?
3부 · 서비스에 맞는 통신 방식 선택하기3편
  1. 10gRPC는 서로 다른 서비스를 어떻게 연결할까?
  2. 11WebRTC는 브라우저 사이의 연결 경로를 어떻게 찾을까?
  3. 12서버를 늘리면 왜 로그인 상태가 사라질까?
4부 · 서버는 수많은 연결을 어떻게 감당할까?3편
  1. 13요청이 많아지면 스레드도 그만큼 필요할까?
  2. 14L4와 L7 로드 밸런서는 요청을 어떻게 분산할까?읽는 중
  3. 15Sidecar 프록시는 서비스 간 통신에서 무엇을 할까?
L4는 연결을 어느 서버로 보낼지 정하고, L7은 HTTP 요청의 경로나 헤더 등을 보고 분산할 수도 있다

로드 밸런서 뒤에 주문 서버 A와 B를 두었다고 해볼게요. 사용자가 /orders/42와 /health를 연달아 호출했는데 두 요청이 서로 다른 서버로 갈 수도 있고, 같은 서버로만 갈 수도 있습니다.

로드 밸런서가 TCP 연결을 기준으로 분산하는지, HTTP 요청 내용을 읽고 분산하는지에 따라 달라져요. 이 차이를 흔히 L4와 L7 로드 밸런싱이라고 부릅니다.

같은 연결에서 HTTP 요청을 두 번 보내면

HTTP/1.1에서는 TCP 연결 하나를 재사용해 여러 HTTP 요청을 차례로 보낼 수 있습니다. 예를 들어 브라우저가 한 연결에서 다음 두 요청을 보낸다고 가정해 볼게요.

Plain Text
GET /orders/42 HTTP/1.1
Host: shop.example
Plain Text
GET /health HTTP/1.1
Host: shop.example

L4 로드 밸런서는 IP 주소와 포트, 전송 프로토콜과 연결 상태 등을 이용해 어디로 전달할지 결정합니다. TCP 연결을 서버 A에 배정했다면, 일반적인 연결 단위 분산에서는 그 연결에 속한 두 HTTP 요청이 모두 A로 갑니다. L4 장비는 HTTP 경로를 해석하지 않아도 되죠.

L7 로드 밸런서는 HTTP 메시지를 이해합니다. 예를 들어 /orders/로 시작하는 요청은 주문 서버 그룹에, /health는 다른 그룹에 보낼 수 있어요. 같은 클라이언트 TCP 연결에서 들어온 요청이라도 개별 요청에 다른 업스트림 서버를 선택할 수 있습니다.

다만 L4가 반드시 패킷만 전달하는 NAT 장비라는 뜻은 아닙니다. L4 TCP 프록시는 클라이언트 TCP 연결을 받아 별도의 업스트림 연결을 만들 수도 있어요. 반대로 L7 프록시도 로드 밸런싱 정책과 세션 유지 설정에 따라 여러 요청을 같은 서버로 보낼 수 있습니다.

어디까지 읽고, 무엇을 할 수 있을까?

HTTP 경로에 따라 분산하려면 프록시가 암호화 해제 여부를 포함해 HTTP 메시지를 해석할 수 있어야 한다

L4 방식은 HTTP뿐 아니라 데이터베이스 연결처럼 다양한 TCP 서비스 앞에 둘 수 있습니다. 애플리케이션 메시지의 구조를 몰라도 연결을 분산할 수 있어요. 대신 경로나 쿠키를 바탕으로 라우팅하거나 HTTP 응답을 캐싱하는 식의 기능은 제공하기 어렵습니다.

L7 방식은 HTTP 메서드, 경로, 헤더 등을 이용해 라우팅하고, 설정에 따라 인증 검사, 속도 제한, 헤더 변경, 캐시 같은 기능을 수행할 수 있어요. 그만큼 프로토콜을 해석해야 하고, 버퍼링·타임아웃·최대 요청 크기 같은 별도 제약도 생깁니다.

HTTPS라면 암호화 문제도 고려해야 합니다. HTTP 경로를 읽는 프록시는 일반적으로 해당 구간의 TLS를 종료해 복호화된 HTTP 메시지에 접근해야 합니다. L4 로드 밸런서는 TLS를 그대로 통과시키는 방식으로 구성할 수 있고, 제품에 따라 TLS를 종료하는 L4 구성도 가능합니다. 따라서 ‘L4는 암호화된 트래픽만 전달하고 L7은 항상 TLS를 종료한다’고 외우면 정확하지 않아요.

직접 비교해 보기: 같은 연결을 네 번 사용하기

아래는 Node.js 20 이상에서 별도 패키지 없이 실행하는 교육용 모형입니다. 실제 NGINX나 커널의 로드 밸런싱 구현을 재현한 코드는 아니고, 분산 단위의 차이만 확인하려고 만든 작은 프록시예요.

서버 A·B는 서로 다른 포트에서 동작합니다. L4 프록시는 새 TCP 연결이 들어올 때 한 서버를 고르고, L7 프록시는 HTTP 요청이 들어올 때마다 서버를 번갈아 선택하도록 했습니다.

demo.mjs

javascript
import http from 'node:http';
import net from 'node:net';

const targets = [9401, 9402];

for (const [i, port] of targets.entries()) {
  http.createServer((req, res) => {
    res.setHeader('Content-Type', 'text/plain; charset=utf-8');
    res.end(`backend ${i === 0 ? 'A' : 'B'}: ${req.url}`);
  }).listen(port, '127.0.0.1');
}

let nextConnection = 0;
net.createServer((client) => {
  const port = targets[nextConnection++ % targets.length];
  const upstream = net.connect(port, '127.0.0.1');
  client.pipe(upstream);
  upstream.pipe(client);
  upstream.on('error', () => client.destroy());
  client.on('error', () => upstream.destroy());
}).listen(9501, '127.0.0.1');

let nextRequest = 0;
http.createServer((req, res) => {
  const port = targets[nextRequest++ % targets.length];
  const upstream = http.request({
    hostname: '127.0.0.1', port, path: req.url,
    method: req.method, headers: { ...req.headers, host: `127.0.0.1:${port}` },
  }, (reply) => {
    res.writeHead(reply.statusCode ?? 502, reply.headers);
    reply.pipe(res);
  });
  upstream.on('error', () => {
    if (!res.headersSent) res.writeHead(502);
    res.end('upstream error');
  });
  req.pipe(upstream);
}).listen(9502, '127.0.0.1', () => {
  console.log('L4 :9501 / L7 :9502');
});

probe.mjs는 클라이언트 쪽 TCP 연결을 하나씩 재사용하도록 keepAlive 에이전트를 사용합니다.

javascript
import http from 'node:http';

async function run(port) {
  const agent = new http.Agent({ keepAlive: true, maxSockets: 1 });
  const results = [];
  for (let i = 0; i < 4; i++) {
    const body = await new Promise((resolve, reject) => {
      http.get({ hostname: '127.0.0.1', port, path: `/orders/${i}`,
        agent }, (res) => {
        let text = '';
        res.on('data', (chunk) => { text += chunk; });
        res.on('end', () => resolve(text));
      }).on('error', reject);
    });
    results.push(body.split(':')[0]);
  }
  agent.destroy();
  console.log(port, results.join(' / '));
}

await run(9501);
await run(9502);
shell
node demo.mjs
# 다른 터미널
node probe.mjs

이 모형에서는 L4 포트 9501이 A / A / A / A를, L7 포트 9502가 A / B / A / B를 반환할 것으로 기대할 수 있습니다. L4가 HTTP 메시지를 해석하지 않고 연결을 한 업스트림으로 유지하는 반면, L7은 각 요청을 읽을 수 있기 때문이에요.

같은 TCP 연결을 재사용해도 L7은 HTTP 요청별 라우팅을 적용할 수 있다

운영 환경에서는 무엇이 달라질까?

이 예제에는 실제 로드 밸런서가 갖는 헬스 체크, 연결 제한, TLS, HTTP/2, 재시도, 장애 감지 등이 빠져 있습니다. 운영 환경에서는 이런 기능이 분산 결과에 영향을 줍니다.

특히 HTTP/2에서는 하나의 클라이언트 연결 안에 여러 스트림이 존재할 수 있어요. 연결 단위로 분산하는 L4 방식은 그 연결의 요청들을 보통 같은 서버로 보내지만, HTTP/2를 해석하는 L7 프록시는 스트림별 요청을 독립적으로 라우팅할 수 있습니다.

이전 편에서 다룬 세션 저장 방식도 관련이 있습니다. L4에서 연결이 한 서버에 유지된다고 해서 사용자의 모든 요청이 언제나 그 서버로 간다는 뜻은 아니에요. 브라우저가 연결을 새로 만들거나 로드 밸런서가 다른 경로를 선택할 수 있기 때문입니다. 로그인 상태를 특정 서버 메모리에만 두었다면 연결 분산 방식을 바꿔도 문제가 남습니다.

장애 처리 역시 구분해야 해요. 업스트림 연결이 실패했다고 프록시가 요청을 무조건 다시 보내면, 앞서 처리된 주문이나 결제가 중복될 수 있습니다. HTTP 요청을 읽는다는 사실만으로 안전한 재시도가 가능한 것은 아니에요.

로드 밸런서 선택은 ‘L7이 더 똑똑하니까 무조건 좋다’는 문제가 아닙니다. 연결을 분산하면 충분한 서비스인지, HTTP 메시지를 기준으로 추가 판단이 필요한 서비스인지에 따라 달라집니다.

댓글 0

이 글에 대한 생각을 자유롭게 남겨주세요.

댓글 관련 문의

댓글을 불러오는 중…

갑자기 추워진 날, 진주에서

진주에서 하루종일 돌아다녔다

양승민

내 단점을 커버하는 동료와 함께.

새로운 프로젝트를 함께 준비하는 친구와의 저녁. 미운 점도 고마운 점도 있지만, 결국 같이 잘됐으면 좋겠다는 마음.

양승민

순천과 여수 여행3

마지막 하루. 공부랑 런닝으로 끝내기

양승민
See all