- Knowledge
요청이 많아지면 스레드도 그만큼 필요할까?
이벤트 루프와 스레드가 여러 요청을 처리하는 방식, I/O 대기와 CPU 작업의 차이를 살펴봅니다.
시리즈15편 중 13편백엔드 통신의 흐름4부 · 서버는 수많은 연결을 어떻게 감당할까?
1부 · 서버와 클라이언트는 어떻게 대화할까?3편
2부 · HTTP 요청 아래에서는 무슨 일이 일어날까?6편
3부 · 서비스에 맞는 통신 방식 선택하기3편
4부 · 서버는 수많은 연결을 어떻게 감당할까?3편
주문 서비스에 동시에 접속한 사용자가 1,000명이라고 해볼게요. HTTP 연결이 1,000개라면 서버에도 스레드가 1,000개 필요할까요?
그럴 필요는 없어요. 서버가 요청을 처리하는 방식은 여러 가지입니다. 연결마다 스레드를 배정할 수도 있지만, 한 스레드가 여러 연결의 I/O 완료를 번갈아 처리할 수도 있거든요. 다만 후자의 방식이 모든 종류의 작업에 유리한 것은 아닙니다.
연결과 실행 중인 작업은 다르다
TCP 연결이 만들어지면 운영체제는 소켓과 관련 상태를 관리합니다. 애플리케이션은 소켓에서 읽을 데이터가 준비됐을 때 요청을 처리하고, 응답을 보낼 수 있을 때 데이터를 씁니다.
주문 서비스의 /orders/42 API가 데이터베이스에 조회를 요청했다고 가정해 보죠. 데이터베이스의 답을 기다리는 동안 해당 HTTP 요청은 아직 끝나지 않았습니다. 그렇다고 CPU가 계속 그 요청의 명령어를 실행해야 하는 것은 아니에요.
여기서 두 가지를 구분해야 합니다.
- 동시성(concurrency): 여러 작업이 진행 중인 상태를 다루는 것. 한 스레드에서도 가능해요.
- 병렬성(parallelism): 실제로 여러 명령을 같은 시점에 실행하는 것. 여러 CPU 코어나 실행 자원이 필요합니다.
연결 수가 많다는 사실만으로 CPU 작업이 많다고 결론 내릴 수는 없습니다. 반대로 연결이 몇 개뿐이어도 요청마다 복잡한 계산을 한다면 CPU가 먼저 부족해질 수 있어요.
스레드마다 요청을 맡기는 방식
가장 이해하기 쉬운 서버 구조는 연결을 받은 뒤 워커 스레드가 해당 연결의 작업을 처리하는 것입니다. 워커가 블로킹 방식으로 데이터베이스 응답을 기다려도 운영체제는 다른 워커를 실행할 수 있어요.
이 구조가 나쁘다는 뜻은 아닙니다. 요청 처리 코드가 직관적이고, 여러 코어에서 작업을 실행하기에도 편합니다. 하지만 연결이나 요청마다 스레드를 무제한으로 만들 수는 없어요. 스레드마다 스택과 관리 비용이 필요하고, 너무 많으면 스케줄링과 문맥 전환 비용이 늘어납니다.
그래서 실제 서버는 고정 크기 또는 제한된 크기의 스레드 풀을 사용하거나, 이벤트 기반 I/O와 워커를 결합합니다. 프로세스를 여러 개 띄우는 방식도 있어요. 프로세스는 일반적으로 주소 공간이 분리되어 장애 격리에 유리하지만, 프로세스 사이에서 데이터를 공유할 때 별도 통신이나 공유 메모리 설계가 필요합니다.
프로세스 수를 CPU 코어 수와 똑같이 맞춰야 한다는 규칙은 없어요. CPU를 주로 쓰는지, I/O 대기가 긴지, 서버와 런타임이 어떤 구조인지에 따라 적정 개수가 달라집니다.
이벤트 루프는 무엇을 기다릴까?
이벤트 기반 서버는 많은 소켓을 논블로킹 방식으로 관리합니다. Linux에서는 epoll 같은 커널 기능을 이용해 어떤 소켓을 읽거나 쓸 수 있는지 통지받을 수 있어요. 애플리케이션은 준비된 소켓에 대해 필요한 작업을 수행하고 다음 이벤트를 처리합니다.
Node.js를 예로 들면, 기본적인 JavaScript 콜백은 하나의 메인 이벤트 루프 스레드에서 실행됩니다. 네트워크 소켓의 I/O는 가능한 경우 커널의 이벤트 통지를 활용하고, 파일 시스템이나 일부 암호화 작업 등은 libuv 워커 풀을 사용하기도 합니다. Node.js 프로세스에 스레드가 오직 하나만 있다는 뜻은 아니에요.
이벤트 루프는 여러 요청을 한 번에 계산하지 않습니다. 짧은 콜백을 차례대로 실행하고, 외부 I/O를 기다릴 때 다른 콜백을 처리할 기회를 얻는 방식입니다.
실제로 확인해 보기: 기다리는 요청과 계산하는 요청
아래 예제는 Node.js 20 이상에서 외부 패키지 없이 실행할 수 있습니다. 하나의 HTTP 서버에 세 가지 경로를 만들게요.
/wait: 타이머로 1.2초 뒤 응답합니다. 기다리는 동안 메인 스레드를 점유하지 않아요./cpu: 약 1.2초 동안 JavaScript 반복문을 실행합니다. 그동안 메인 이벤트 루프가 다른 요청의 콜백을 처리하지 못합니다./ping: 즉시 응답합니다.
server.mjs
import http from 'node:http';
const server = http.createServer((req, res) => {
if (req.url === '/wait') {
setTimeout(() => res.end('wait done'), 1200);
return;
}
if (req.url === '/cpu') {
const until = performance.now() + 1200;
while (performance.now() < until) {
// CPU를 점유하는 테스트 코드: 운영 서비스에서 사용하지 마세요.
}
res.end('cpu done');
return;
}
res.end('pong');
});
server.listen(9300, '127.0.0.1', () => {
console.log('http://127.0.0.1:9300');
});다른 터미널에서 다음 테스트 클라이언트를 실행합니다.
probe.mjs
const base = 'http://127.0.0.1:9300';
const sleep = (ms) => new Promise((resolve) => setTimeout(resolve, ms));
async function compare(path) {
const start = performance.now();
const slow = fetch(`${base}${path}`);
await sleep(100);
const ping = await fetch(`${base}/ping`);
await ping.text();
const pingMs = Math.round(performance.now() - start);
await (await slow).text();
console.log(`${path}: /ping까지 ${pingMs}ms`);
}
await compare('/wait');
await compare('/cpu');node server.mjs
# 별도 터미널
node probe.mjs정상적인 로컬 환경이라면 /wait와 함께 요청한 /ping은 짧은 시간에 응답하고, /cpu와 함께 요청한 /ping은 CPU 루프가 끝날 때까지 늦어집니다. 정확한 시간은 머신의 부하와 실행 환경에 따라 달라요. 타이머는 처리 완료 시각을 정확히 보장하지 않고, 이 코드는 실제 처리량을 측정하는 벤치마크도 아닙니다.
CPU 작업은 어떻게 분리할까?
CPU를 오래 사용하는 계산이 필요하다면 worker_threads, 별도 프로세스, 작업 큐 같은 방법을 고려할 수 있습니다. Node.js의 Worker Threads는 JavaScript 계산을 다른 스레드에서 실행할 수 있지만, 작업을 넘기고 결과를 받는 비용도 있어요. 짧은 계산을 요청마다 새 워커에 보내는 것은 오히려 비효율적일 수 있으므로 보통 워커 풀을 검토합니다.
파일 읽기처럼 이미 비동기 API를 제공하는 I/O에 Worker Thread를 붙인다고 자동으로 더 빨라지지는 않습니다. 반대로 CPU 계산을 async function으로 감싼다고 다른 스레드에서 실행되는 것도 아니에요.
운영 환경에서는 연결 수만 볼 것이 아니라 이벤트 루프 지연, CPU 사용률, 워커 큐 대기, 열린 파일 디스크립터 수, 응답 시간 분포를 함께 확인해야 합니다. 애플리케이션이 데이터를 제때 읽지 못하면 소켓 버퍼가 차서 송신자가 느려질 수도 있어요.
처음 질문으로 돌아가 보죠. 1,000개의 연결이 있다고 해서 1,000개의 스레드가 필요한 것은 아닙니다. I/O를 기다리는 연결은 이벤트 기반으로 관리할 수 있지만, 실제 계산에 필요한 CPU 시간까지 줄어드는 것은 아닙니다.
갑자기 추워진 날, 진주에서
진주에서 하루종일 돌아다녔다

내 단점을 커버하는 동료와 함께.
새로운 프로젝트를 함께 준비하는 친구와의 저녁. 미운 점도 고마운 점도 있지만, 결국 같이 잘됐으면 좋겠다는 마음.

순천과 여수 여행3
마지막 하루. 공부랑 런닝으로 끝내기


댓글 0
이 글에 대한 생각을 자유롭게 남겨주세요.
댓글을 불러오는 중…