Tag: vllm
All the articles with the tag "vllm".
-
같은 모델, 4개 하드웨어 — Qwen3.8-27B 추론 속도 실측
RTX 3090, Apple M5 Max, DGX Spark(GB10), Ryzen AI Max 395를 같은 GGUF 파일로 비교했다. 체크섬까지 맞춘 통제 실험에서 CUDA는 Metal의 3.9배, Vulkan의 4.5배였고 벤치마크 코드를 세 번 고쳐야 했다.
All the articles with the tag "vllm".
RTX 3090, Apple M5 Max, DGX Spark(GB10), Ryzen AI Max 395를 같은 GGUF 파일로 비교했다. 체크섬까지 맞춘 통제 실험에서 CUDA는 Metal의 3.9배, Vulkan의 4.5배였고 벤치마크 코드를 세 번 고쳐야 했다.