OKKY
커뮤니티
Q&A
지식
이벤트
Contact
부트캠프
Jobs
Search Bar
로그인
회원가입
vllm
전체
최신순
질문하기
답변
1
씨피유오버로드
·
11개월
221
0
답변 1
블랙웰 전용 모델인 NVFP4 모델 계열을 로드할 수 있는 vLLM 빌드
블랙웰 전용 모델인 NVFP4 모델 계열을 로드할 수 있는 vLLM 빌드하고 싶은데 NVFP4 커널이 생성이 안되는 문제가 있는데 혹시 고수님 아시는분 계실까요? cuda, pytorch 등은 모두 nightly latest 이고 다른 모델들은 잘 구동중입니다. 오직 nvfp4 계열만 안되고 있습니다. 아래는 제 빌드 스크립트입니다. 현업에 계신 고수님이시면 단박에 아실꺼 같습니다. 도움 요청드립니다. # ───────── 소스 fresh clone
답변
0
씨피유오버로드
·
11개월
183
0
답변 0
vLLM 빌드시 NVFP4 커널이 같이 빌드가 안되는 문제점 문의
블랙웰 전용 모델인 NVFP4 모델 계열을 로드할 수 있는 vLLM 빌드하고 싶은데 NVFP4 커널이 생성이 안되는 문제가 있는데 혹시 고수님 아시는분 계실까요? cuda, pytorch 등은 모두 nightly latest 이고 다른 모델들은 잘 구동중입니다. 오직 nvfp4 계열만 안되고 있습니다. 아래는 제 빌드 스크립트입니다. 현업에 계신 고수님이시면 단박에 아실꺼 같습니다. 도움 요청드립니다. # ───────── 소스 fresh
답변
0
씨피유오버로드
·
11개월
267
0
답변 0
블랙웰 전용 모델을 구동할 수 있는 vLLM NVFP4 빌드 방법
블랙웰 전용 모델인 NVFP4 모델 계열을 로드할 수 있는 vLLM 빌드하고 싶은데 NVFP4 커널이 생성이 안되는 문제가 있는데 혹시 고수님 아시는분 계실까요? cuda, pytorch 등은 모두 nightly latest 이고 다른 모델들은 잘 구동중입니다. 오직 nvfp4 계열만 안되고 있습니다. 아래는 제 빌드 스크립트입니다. 현업에 계신 고수님이시면 단박에 아실꺼 같습니다. 도움 요청드립니다. # ───────── 소스 fres
Search Bar
