Harness / Orchestration
TypeSafe Jev:为软件返回带概率的结构化决策
TypeSafe于9月15日开放Jev早期访问,面向软件中的分类、路由、评分与控制分支。开发者提供当前状态、要问的问题和允许的答案,模型直接返回结构化决策及概率。公司将这类模型称为System One Models:让程序能在大量细小判断点调用模型,同时依据不确定性决定是否继续执行。
一次调用并行回答多个小问题
TypeSafe为Jev组合了新模型架构、并行采样器和RLCD(Reinforcement Learning for Calibrated Decisions,面向校准决策的强化学习)。其训练目标强调概率与判断的可靠程度相符;推理时放弃自由文本生成,直接并行输出决策。按9月21日查阅的官方文档,同一请求中的问题分别对照同一份state独立求值,三种问题类型可以混用。公司称增加问题对延迟影响很小,但问题内容仍计入输入token。需要前一步结果才能回答的后续问题,则由程序组织调用顺序。
Choice、Score与Noul分别回答什么
调用包含state、model和questions;每道题用instructions说明判断目标,用criteria描述选项或评分标准。Choice适合在部门、工具或动作之间选一个;Score适合严重程度这类有序尺度;Noul回答一个命题是否成立。Score按各等级的概率计算加权平均,因此可能落在两个等级之间。Noul的0.8表示“是”的预测概率,不能直接读成“程度达到八成”。下面按官方接口文档整理三者差别。
概率与confidence提供不同的信息
Choice和Score保留完整概率分布,confidence则把分布的集中程度概括为0到1的数。文档中的客服例子给退换货0.61、账单0.35、物流0.04,对应confidence为0.42;最高选项概率与confidence并不相等。程序可以在分布集中时执行,分歧较大时补充信息或转人工,阈值需用自身数据验证。Noul只有“是”和“否”两个结果,一个概率已能描述分布,因此没有额外的confidence字段。
把业务政策拆成模型判断与代码规则
官方评测以报销政策举例:先判断收据能否读清、费用属于哪一类、申请描述是否与收据相符,再由代码检查金额。餐费超过75美元且描述不匹配时交经理审批,读不清时要求补交收据,其余按政策处理。这样,金额比较与分支顺序留在程序中,模型负责难以手写规则的语义判断。文档也建议把“严重程度、客户情绪、信息完整度”等维度分开评分,再按明确权重组合;更改业务优先级时可以直接调整代码。
四类工作流给出了怎样的比较
评测覆盖安全告警处置、Agent完整轨迹的人工复核分流、发票处理和客服决策。9月21日查阅的总览图对四类任务等权平均:Jev的共识标签准确率为67.8%,每案例约0.4秒、0.0004美元;图中Terra工作流为67.9%、10.1秒、0.0304美元。这里的成本和时间按整条工作流计算,与单次API调用延迟是不同指标。发布文另给出最高约193.6倍速度、444.6倍价格优势,并明确表示这些倍数可能处于实际收益的较高端。
参考答案、推理档位和网络位置影响结果
评测假定harness代码正确,以GPT-6 Astra与Claude Fable 5.1在高思考档下的回答平均生成共识标签,其他模型使用提供商默认推理设置。因此准确率衡量的是与这组参考答案的一致程度。工作流由TypeSafe能力团队制作;发布文称它们不在训练分布内,同时承认设计者可能带来偏差。LLM对照通过System One LLM包装器返回兼容的结构化概率,公司称这比只返回决策更准确,但也更慢、更贵。发布时报告的70至500毫秒单次端到端延迟,大多从靠近服务部署地的美国西海岸笔记本测得。
类型安全保证格式,选项设计仍影响判断
Jev只能返回预先定义的结构和值,发布文中“不能幻觉”的直接保证是不会产生类型错误或编造候选集之外的函数名。它仍可能选中合法但错误的答案。Choice最多支持255个选项;文档建议在候选可能不覆盖输入时加入“其他”或“均不适用”,避免系统被迫把陌生情况塞入已知类别。Doom演示读取结构化文本游戏状态;Wikipedia导航在链接超过255个时先独立评分再选择。这两例展示了状态与候选如何由程序组织。
发布价格与接入方式
Jev发布时按每百万输入token 0.042美元计费,输出不单独收费,开放范围为early access。当前官方文档提供Python SDK的system_one方法与HTTP端点/v1/systemone。它适合放在工具路由、内容筛选、轨迹评审和实时控制的小判断环节;需要生成回复、代码或长篇计划的部分,可由应用接到具备文本生成能力的模型。