vLLM은 명령 한 줄로 허깅페이스 모델을 OpenAI 호환 API 서버로 띄웁니다 | DAKER 커뮤니티

크림색 종이 위에 연필과 잉크로 그린 손그림으로, 요청 봉투가 컨베이어를 타고 큰 엔진 기계에 들어가고 옆 서랍장에 작은 카드가 빈틈없이 정리되며 반대편으로 종이비행기 답변이 날아가는 장면에 「LLM 서빙 엔진 vLLM」 제목이 얹힌 10초 모션 영상 미리보기이며, 오른쪽 위에 vLLM 공식 로고가 있습니다
설명용 생성 이미지입니다. 10초 모션 영상 원본은 글 아래 첨부 파일에 있습니다.

2026년 10월 22일 오전 11시 34분(한국 시간) GitHub Trending 일간 2위는 vllm-project/vllm입니다. 한 줄로 말하면 vLLM은 허깅페이스(Hugging Face) 모델을 빠르고 메모리를 아끼며 돌리는 오픈소스 LLM 추론·서빙 엔진입니다. 설치한 뒤 vllm serve 명령 한 줄이면 OpenAI API와 같은 형식으로 요청을 받는 서버가 뜨기 때문에, 기존에 OpenAI 클라이언트로 짠 코드를 주소만 바꿔 오픈 모델에 붙일 수 있습니다. 해커톤에서 오픈 모델로 챗봇·RAG·에이전트 데모를 만드는 DAKER 참가자에게 가장 먼저 검토할 만한 서빙 도구입니다.

vLLM은 무엇인가

저장소 설명은 「LLM을 위한 고처리량·메모리 효율 추론 및 서빙 엔진」입니다. 2026년 10월 22일 오전 11시 34분(KST) GitHub API 기준 스타는 94,915개, 포크는 23,754개이고, 주요 언어는 Python, 라이선스는 Apache-2.0입니다. 저장소는 2023년 2월 9일에 만들어졌습니다.

README에 따르면 vLLM은 UC 버클리 Sky Computing Lab에서 시작해 지금은 2,000명이 넘는 기여자가 함께 만드는 프로젝트입니다. 속도의 중심에는 어텐션의 키·값(KV) 캐시 메모리를 효율적으로 관리하는 PagedAttention이 있고, 들어오는 요청을 계속 묶어 처리하는 연속 배칭(continuous batching), 청크 단위 프리필, 프리픽스 캐싱, FP8·INT4·GPTQ·AWQ·GGUF 등 다양한 양자화, 추측 디코딩(speculative decoding)을 지원합니다. PagedAttention은 SOSP 2023 논문 Efficient Memory Management for Large Language Model Serving with PagedAttention으로 발표됐습니다.

모델 쪽으로는 허깅페이스의 200개가 넘는 모델 아키텍처를 지원한다고 README는 밝힙니다. Llama·Qwen·Gemma 같은 디코더 전용 LLM, Mixtral·DeepSeek-V3·GPT-OSS 같은 MoE 모델, LLaVA·Qwen-VL 같은 멀티모달 모델, E5-Mistral·ColBERT 같은 임베딩·검색 모델이 예로 올라 있습니다. 하드웨어는 NVIDIA·AMD·Intel GPU와 x86·ARM·PowerPC CPU를 기본으로 지원하고, Google TPU, Intel Gaudi, Huawei Ascend, Apple Silicon 등은 하드웨어 플러그인으로 붙습니다.

정보 카드에 GitHub Trending 일간 2위, vllm-project/vllm, 스타 94,915개, Python, Apache-2.0, 오늘 받은 스타 441개, 그리고 vllm serve로 서버를 띄운 뒤 localhost 8000번 포트의 /v1/chat/completions로 요청하는 흐름이 영어로 적힌 이미지입니다
2026년 10월 22일 오전 11시 34분(KST) GitHub 기준 저장소 정보와 기본 서빙 흐름입니다.
vLLM의 쓸모는 오픈 모델을 빠르게 돌리는 데서 끝나지 않고, OpenAI API와 같은 문법의 서버로 바로 띄워 기존 코드를 거의 그대로 오픈 모델에 붙이게 해 준다는 데 있습니다.

vLLM은 왜 지금 뜨나

같은 시각 트렌딩 페이지에는 vLLM이 하루 동안 받은 스타가 441개로 표시됐습니다. 오래된 대형 저장소가 다시 일간 상위에 오른 배경으로 볼 만한 것은 나흘 전 나온 새 버전입니다.

v0.32.0 릴리스 노트(2026년 10월 18일 오후 3시 50분 KST 공개)는 이번 버전에 363명(신규 121명)이 커밋 814개를 보탰다고 밝힙니다. 눈에 띄는 변화는 세 갈래입니다. 첫째, 시작 속도입니다. 새 vllm download-kernels 명령이 FlashInfer의 미리 컴파일된 커널을 설치해 둡니다. 퀵스타트 문서는 이 커널을 서버 시작 때 내려받아 컴파일하면 Hopper 이후 GPU에서 몇 분이 더 걸릴 수 있다고 설명합니다. 둘째, 서빙 처리량입니다. --api-server-count를 1보다 크게 주면 연결을 가장 한가한 API 워커로 보내도록 바뀌었고, 해당 PR의 벤치마크(Qwen3-0.6B, 입력 32토큰·출력 1토큰)에서는 짧은 요청의 초당 처리 요청 수가 43~85% 늘었다고 적혀 있습니다. 셋째, 보안 기본값입니다. CORS가 더 이상 기본으로 모든 출처를 허용하지 않고, 세 건의 보안 권고(GHSA) 수정이 들어갔습니다. 대신 Python 3.10 지원이 빠졌으니 업그레이드 전에 환경을 확인해야 합니다.

vLLM은 어떻게 써 보나

vLLM 퀵스타트 문서 기준 준비물은 Linux와 Python 3.11~3.14이고, NVIDIA GPU라면 uv로 가상환경을 만든 뒤 설치하는 방법을 권장합니다. 설치 직후 커널을 미리 받아 두면 첫 시작이 빨라집니다.

uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels

서버는 모델 이름 하나로 띄웁니다. 문서 예시는 Qwen/Qwen2.5-1.5B-Instruct 모델이고, 기본 주소는 localhost의 8000번 포트입니다. 띄운 뒤에는 OpenAI API와 같은 경로로 모델 목록을 확인하거나 채팅 요청을 보낼 수 있습니다.

vllm serve Qwen/Qwen2.5-1.5B-Instruct

curl http://localhost:8000/v1/models

파이썬에서는 openai 패키지의 base_url만 vLLM 서버로 바꾸면 됩니다. 문서는 API 키 자리에 EMPTY를 넣는 예시를 보여 주고, 서버를 외부에 열 때는 --api-key 인자나 VLLM_API_KEY 환경 변수로 키 검사를 켜라고 안내합니다.

from openai import OpenAI

client = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")
chat = client.chat.completions.create(
    model="Qwen/Qwen2.5-1.5B-Instruct",
    messages=[{"role": "user", "content": "Tell me a joke."}],
)
print(chat.choices[0].message.content)

서버 없이 여러 프롬프트를 한꺼번에 돌리는 오프라인 배치 추론도 됩니다. from vllm import LLM, SamplingParams로 엔진을 만든 뒤 llm.generate나 llm.chat에 프롬프트 목록을 넘기는 방식입니다.

vLLM은 어디에 쓰면 좋나

첫째, 해커톤 데모의 모델 서버입니다. 외부 API 비용이나 호출 제한 없이 팀 GPU에서 오픈 모델을 서빙하고, 프런트엔드나 에이전트 코드는 OpenAI 클라이언트 문법 그대로 둘 수 있습니다. README는 OpenAI 호환 API 서버에 더해 Anthropic Messages API와 gRPC도 지원한다고 적고 있어, 여러 클라이언트를 붙여 보기에도 편합니다.

둘째, 대회 평가용 대량 추론입니다. 검증 데이터 수천 건에 대한 답을 한 번에 만들어야 할 때 오프라인 배치 추론과 연속 배칭이 처리 시간을 줄여 줍니다. 구조화 출력(xgrammar, guidance)과 도구 호출 파서도 있어 JSON 형식 답이나 에이전트 도구 호출을 실험하기 좋습니다.

셋째, 서빙 최적화 공부입니다. PagedAttention 논문과 릴리스 노트의 KV 캐시 양자화, 추측 디코딩, 분리형 프리필·디코드 같은 항목은 LLM 추론 비용이 어디서 생기는지 이해하는 좋은 교재입니다.

다만 스타 수와 트렌딩 순위가 내 환경에서의 속도를 보장하지는 않습니다. 릴리스 노트의 수치는 각 PR의 벤치마크 조건에서 나온 값이니, 내 모델과 GPU로 직접 재 보는 것이 좋습니다. 여러분은 오픈 모델을 서빙할 때 어떤 도구를 쓰고 계신가요? vLLM으로 해커톤 데모나 대회 추론을 돌려 본 경험이 있다면 댓글로 나눠 주세요.

출처