Tag: cuda
All the articles with the tag "cuda".
-
176B를 128GB 한 대에 — Qwen3.8-Flash-Next를 GB10에 올리고 커널까지 파고든 기록
공식 양자화는 전부 메모리를 넘겼다. 미머지 PR로 빌드해 87GiB짜리 4bit를 올렸더니 이번엔 26만 토큰에서 CUDA가 죽었다. grid.y 한계 65,535까지 따라가 원인을 찾고, 모델 없이 두 줄로 재현하고, 고쳐서 검증했다.
All the articles with the tag "cuda".
공식 양자화는 전부 메모리를 넘겼다. 미머지 PR로 빌드해 87GiB짜리 4bit를 올렸더니 이번엔 26만 토큰에서 CUDA가 죽었다. grid.y 한계 65,535까지 따라가 원인을 찾고, 모델 없이 두 줄로 재현하고, 고쳐서 검증했다.