블랙웰 전용 모델인 NVFP4 모델 계열을 로드할 수 있는 vLLM 빌드

Question

블랙웰 전용 모델인 NVFP4 모델 계열을 로드할 수 있는 vLLM 빌드하고 싶은데 NVFP4 커널이 생성이 안되는 문제가 있는데 혹시 고수님 아시는분 계실까요?cuda, pytorch 등은 모두 nightly latest 이고 다른 모델들은 잘 구동중입니다. 오직 nvfp4 계열만 안되고 있습니다.아래는 제 빌드 스크립트입니다. 현업에 계신 고수님이시면 단박에 아실꺼 같습니다. 도움 요청드립니다.# ───────── 소스 fresh clone ─────────git clone https://github.com/vllm-project/vllm.gitcd vllm && git submodule update --init --recursiveexport CUDA_HOME=/usr/local/cuda-12.9export PATH=$CUDA_HOME/bin:$PATHexport LD_LIBRARY_PATH=$CUDA_HOME/lib64:${LD_LIBRARY_PATH:-}export CXXFLAGS="-D_GLIBCXX_USE_CXX11_ABI=1 -std=c++17"export VLLM_BUILD_CUTLASS=1export VLLM_FLASH_ATTN_VERSION=2export MAX_JOBS=12 # 12 OKexport CUTLASS_NVCC_ARCHITECTURES=120export TORCH_CUDA_ARCH_LIST="12.0;12.0+PTX" # real+virtual 모두export FORCE_CMAKE=1# NVFP4 커널 ON ─ 반드시 CMAKE_ARGS 로도 넘겨야 함export VLLM_ENABLE_NVFP4=1export VLLM_BUILD_NVFP4=1# NVFP4 커널 완전 활성화 (+PTX fat‑bin)export CMAKE_ARGS="-DVLLM_BUILD_COMPRESSED_TENSORS=ON -DVLLM_ENABLE_NVFP4=ON -DVLLM_BUILD_NVFP4=ON -DVLLM_OPS_FORCE_VISIBILITY=ON -DVLLM_FORCE_LOAD_OPS=ON -DCUTLASS_NVFP4_ARCH=120 -DCMAKE_CUDA_ARCHITECTURES=120-real;120-virtual"# 4) 빌드 의존성python -m pip install -U pip wheel setuptools ninja cmake setuptools_scm scikit-build-core# 5) 로컬 editable 설치python -m pip install . --no-build-isolation --no-deps -v

돌아온크리미드림 · Answer

https://github.com/vllm-project/vllm/issues/19853잠깐 찾아봤는데 이런 이슈가 있내요

블랙웰 전용 모델인 NVFP4 모델 계열을 로드할 수 있는 vLLM 빌드

1개의 답변

Q&A 목록