谷歌把「是/否」做成独立接口:输入 0.10 美元一百万 token,输出不要钱,一次判 1000 个问题

2026-11-12 GeminiAPI成本agent 路由分类

模型不再写一段话,直接给你一个概率。

11 月 11 日,谷歌在 Gemini API(v1beta)和 AI Studio 上线 Gemini Decision 1,模型名 gemini-decision-1,配套一个新接口叫 Decisions API。它不生成文本,只对你预先定义好的候选打分。适配 google-genai SDK 3.2 以上。

四个数

  • 0.10 美元/百万输入 token,输出 0 元。 文本、图像、音频、视频、PDF 同一个价。没有单独的音视频转写费和 OCR 费。
  • 256K 上下文,一次最多 1000 个独立问题。 一份共享输入只计费一次,加问题只加每条问题自己的指令与判据 token。
  • 150 到 250 毫秒端到端。 16K token 以内,模型计算中位数 50 到 100 毫秒;从 1 个问题加到 100 个问题,延迟基本不动。
  • 便宜约 5 倍。 谷歌自己的口径:同样跑它的评测集,比走 Interactions API 的 Gemini 3.5 Flash-Lite 便宜接近五分之四。后者是每百万输入 0.3 美元、输出 2.5 美元。

算一遍才直观。一个开发者按 1 问、10 问、100 问分别打了三次请求,token 消耗是 135、613、5473。100 个问题一次调用,花 5,473 个输入 token,按 0.10 美元算不到 0.0006 美元。同样 100 个问题如果交给聊天模型,每个都要生成一段回答,输出那部分钱就躲不掉了。

三类问题,可以混在一次请求里

noul 是是非判断,返回 0.01 到 0.99 之间的概率——注意它永远不会给你 0 或 1,所以阈值设 0.99 的规则永远不会命中。choice 是单选,2 到 255 个候选项,返回胜出项和每一项的归一化概率。score 是按有序量表打分,2 到 255 档,返回加权连续分。三种都附带 0 到 1 的置信度,你可以拿置信度做二次分流:高于某个值自动处理,低于它转人工或换模型。

谷歌自己在用这个接口做路由:Gemini Notebook 先判意图再决定用哪档模型和思考深度,日常查询延迟降了 40%;Stitch 用它做快速线框图;Google Labs 的 CC 从 200 多个 emoji 里挑一个;搜索用它筛 MCP 工具的对抗性输入。

对你的用处,是把那层胶水删掉

以前写一个工单分类,常见做法是让聊天模型输出 JSON,再正则解析,再处理格式错乱。这套胶水代码的维护成本比模型调用本身高。现在流程变成:把工单正文和一张判据表一起给她,选 choice,直接拿概率。

几种今天就能挪过去的活:

  1. 客服/咨询工单分流。判据写清楚每个团队的边界,一次请求里同时判「属于哪个团队」和「紧急程度几分」。
  2. agent 的工具选择。候选是工具名,判据是每个工具什么时候该用。拿到的概率直接当路由权重。
  3. 内容审核与合规检查。一篇文章同时判「是否含联系方式」「是否含价格承诺」「是否符合平台调性」,三个问题一次过。
  4. 批量打分。1000 个候选放在一次请求里,适合给一堆标题排优先级、给一批线索分档。

先别急着迁,两个坑

第一,免费档的数据不是你的。据多个核对者引用谷歌 Gemini API 定价页的原文,免费档的数据会被用于改进产品,付费档不会。处理客户工单、合同、病历这类内容的,直接上付费档——反正 0.10 美元一百万 token,一个月几十美元的量级。这段我没能亲自打开定价页(谷歌的定价页会跳登录),上线前请你回定价页确认一次。

第二,没写「其他」选项,它就硬塞。个人开发者 Lesia Kapliuk 在 11 月 11 日跑了 54 次调用:30 条客服工单全部分类正确,8 项多语言任务也全对,重复提交 5 次结果完全一致。但当她拿澳大利亚首都、一串乱码、一段要求写诗的文字去问「这是不是客服请求」,且候选项里没有「其他」时,模型把三条全都归到了「技术支持」,置信度分别是 0.71、0.64、0.84。加上「其他」之后,三条都正确落到「其他」(置信度 0.99、0.69、0.98)。

所以规则是:只要你的候选集不可能穷尽真实世界,就必须留一个兜底项,并且用置信度做第二道闸。概率 0.6 的「技术支持」不叫判断,叫猜测。

具体建议

如果你现在有一个跑在聊天模型上的分类/路由环节,这周做一件事:把它拆成 20 条标注好的真实样本,用 Decision 1 和现在的模型各跑一遍,比三样东西——准确率、单次成本、P95 延迟。准确率差 3 个百分点以内,就该换,因为成本和延迟不是一个量级。

如果你的判据还写不清楚,先别换。这个接口不猜你的意图,判据写得含糊,它只会更自信地给你一个错答案。

还有一条容易漏:Batch API 和上下文缓存都不支持。同一份长文档要反复问不同的问题,每次都得重新计费输入。真要这么用,先在本地把文档裁短。

原文:https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/

原文出处 · 事实以此为准
Google 官方博客 · Gemini Decisions API 发布公告
阅读原文 ↗