Tag: long-context
All the articles with the tag "long-context".
-
176B를 128GB 한 대에 — Qwen3.8-Flash-Next를 GB10에 올리고 커널까지 파고든 기록
공식 양자화는 전부 메모리를 넘겼다. 미머지 PR로 빌드해 87GiB짜리 4bit를 올렸더니 이번엔 26만 토큰에서 CUDA가 죽었다. grid.y 한계 65,535까지 따라가 원인을 찾고, 모델 없이 두 줄로 재현하고, 고쳐서 검증했다.