直接回答。 AI结构化输出的验收契约,应同时定义字段格式、业务含义、允许取值和不能确定时的状态。能被程序解析的JSON,只证明语法可读,不证明客户、金额、单位和动作符合业务规则。
核心要点
- 格式验证与业务验证分开,不能用解析成功代替任务成功。
- 明确缺失、未知、不适用和空值的不同含义。
- 数值必须包含单位、币种、时间和必要的精度规则。
- 模型输出进入业务系统前,由确定性校验与授权流程把关。
- 接口版本变更要有兼容策略和回归样本。
从接收系统的需要开始
假设AI从采购需求中提取数量与交期。接收系统需要知道数量属于件还是箱,交期指最晚到货还是预计发货。模型即使给出两个合法字段,也可能把单位和时点理解错。验收契约先解决这些业务含义,再讨论字段名称是否优雅。
契约应由业务负责人、接口开发者和使用输出的运营人员一起确定。业务给出允许解释,技术说明可以验证的条件,运营描述缺字段时怎样继续。模型团队不能为了让输出稳定而私自填默认数量、默认币种或默认客户身份。
本文采购示例为说明方式,不是任何具体企业的采购规则。涉及承诺、支付或人员权益的操作,还要有对应审批和专业核验;结构化字段齐全不意味着这些业务动作已经获得授权。
为每个字段建立字典
| 字段信息 | 验收问题 |
|---|---|
| 数据类型 | 字符串、数值、枚举还是列表 |
| 业务含义 | 是识别事实、建议还是操作参数 |
| 单位范围 | 币种、计量单位、时区是否明确 |
| 来源关系 | 哪段获准材料支持这个字段 |
| 未知状态 | 无依据时如何表示,不允许猜什么 |
| 校验责任 | 哪个组件和角色确认可以使用 |
空字符串、零和未知不应随意互换。零金额可能是真正的免费项目,也可能是模型没有找到金额。把二者合并会让系统执行错误动作。可以使用明确状态或校验错误,让下游知道必须补材料,而不是把缺失当成可接受数值。
枚举值要与接收系统的实际字典一致。模型给出一个看似合理的新分类,可能无法进入正确工作队列。若业务需要新增类别,应走字典变更流程,不是让输出自动创造一个新值,再靠运营人员在后台猜它是什么意思。
三层验证不能互相替代
第一层是语法与结构,例如字段存在、类型正确和列表长度符合契约。第二层是业务一致性,例如总额与明细关系、日期先后、产品编号是否存在。第三层是权限与动作条件,例如当前用户是否有权创建记录、金额是否需要另行批准。
某层通过不意味着其他层通过。结构验证可以拒绝错误类型,却不能确认收款账号属于正确主体;业务校验可以发现总额不一致,却不能授予修改权限。每一层应产生清楚的结果,避免后台用一个“校验成功”覆盖全部问题。
确定性校验失败后,可以允许模型在限定范围内重新整理,但要保留原始输入与错误原因,并限制重试次数。不能让重试反复改变业务值直到碰巧通过规则。应特别检查原本未知的字段是否在多次重试后被模型编成确定值。
给不能确定的任务一个出口
源资料没有数量时,契约可以返回缺失状态并创建补材料任务。文件存在两个交期时,应标为冲突,交给业务负责人核定。输出能够表达未完成,比填满字段更接近真实工作需求。
用户界面应说明需要补什么,不把接口错误码原样丢给业务人员。技术日志可以记录解析原因,但输出给用户的说明也要检查敏感信息。异常材料进入人工队列时,只共享接手人有权处理的内容。
任务编号和来源版本能够帮助追踪纠正。人工修改结构化结果后,要知道哪个版本被送入业务系统,避免后来再次运行模型覆盖已经核定的值。模型建议与最终批准记录最好能明确区分,不让后续审计误以为AI自行作出审批。
版本变更怎么验收
新增字段、改变枚举和调整单位都可能影响旧调用方。给输出契约编号并说明兼容性,让调用方可以拒绝不支持的版本。部署顺序应考虑模型输出和接收系统不同步的情况,而不是假设所有组件会同时更新。
回归样本包含正常、缺失、冲突、极端数值、不同单位和旧版本输出。实际期待结果在变更前冻结。不要为了适应新输出删除失败样本;如果业务定义真的改变,要由负责人说明理由并保存新旧规则差异。
生产监控可以分开统计解析失败、业务失败、人工纠正和动作阻断。这样团队能知道要修提示词、接口契约还是原始资料。仅统计JSON成功率,会使系统生成了可解析但不可使用结果的问题长期隐藏。
理门的企业AI方法帮助团队从动作后果反推验收;培训可让运营人员理解未知与零的区别。通过沟通入口讨论接口时,准备实际字段字典和匿名失败样本,比展示整洁JSON更有价值。
常见问题
使用严格输出模式是否就不用校验?
不是。严格结构有助于格式稳定,但业务事实、跨字段关系和权限仍需另行验证。
默认值能否减少失败?
只在业务明确允许时使用,并标明它不是源材料事实。不得用默认值掩盖关键资料缺失。
人工改过的结果还要记录来源吗?
需要。保留修改者、原因和最终版本,才能区分模型提议与人工核定。
参考来源
- NIST AI RMF Core:MAP 1.6涉及系统要求,MEASURE 2.1涉及测试方法记录。本文字段契约为实践建议,不是统一接口规范。
- NIST AI RMF Playbook:自愿建议需结合任务采用,不保证结构化输出的业务正确性。
预约沟通