直接回答。 企业AI的总体准确率应按业务任务、输入条件和错误后果拆开看。平均表现很好，仍可能在小样本、高影响或新用户群体里失效；分群不是为了制造更多图表，而是让上线范围与真实证据相匹配。
核心要点
- 根据业务差异分群，而不是任意切分数字。
- 每组报告样本量、分母与未裁定情况。
- 分群误差与业务后果一起检查。
- 保护合法用途，不为分析收集无关敏感属性。
- 证据不足时限定范围，不把小样本结果当稳定保证。
总体数字为什么可能误导
假设知识助手主要回答常规制度问题，只有少量涉及旧版本合同。常规问题数量多且表现好，可能让总体结果非常高，但旧版本问题的错误会改变客户承诺。管理层如果只看平均，容易把系统推广到尚未得到充分验证的范围。
这不是说小群体永远比大群体重要，而是评价应考虑错误后果和实际使用目的。同样的错误比例在不同任务上可能有不同影响。业务负责人要解释哪些场景可恢复、哪些需要专业复核、哪些不能自动处理。
本文不提供适用于所有行业的分群变量或准确率门槛。涉及人员、公平或监管要求的分析，需要相应专业判断与合法数据用途。不能为了做一张更细报表而收集企业原本不需要的敏感信息。
从任务差异确定分群
可以先检查语言、渠道、资料质量、业务类别和版本范围。这些变量往往直接影响任务处理。分群定义应在评估前确定，并说明为什么这组差异可能改变输出用途，不事后反复切分直到找到想要的结果。
| 分群维度 | 可能影响的机制 |
|---|---|
| 输入质量 | 清晰文档与缺页、模糊扫描不同 |
| 业务类型 | 事实问答与外部动作的后果不同 |
| 来源版本 | 现行政策与旧合同范围不同 |
| 语言渠道 | 术语和上下文可能变化 |
| 使用角色 | 资料权限与人审能力不同 |
如果一组同时包含多种差异，应注明解释限制。某渠道表现较差，可能是输入资料质量而不是渠道本身。报告应避免把相关性描述成确定原因，必要时设计受控补充实验去区分机制。
团队也要记录生产分布与测试分布。评测中某类样本很多，而生产中很少，汇总指标需要明确含义。不能用人为平衡的测试集总体分数，直接声称代表真实全部任务的平均表现。
每一组都要有完整分母
报告正确、错误、拒答、超时和未裁定的数量。若只计算成功返回答案的部分，某个群体因为大量拒答而看起来更准确，却无法完成实际工作。把结果状态拆开，让质量与覆盖范围同时可见。
小样本需要诚实说明不确定性。几个案例全部通过，可以用于发现流程是否基本可行，但不足以证明长期可靠。不要给样本很少的群体画出精细百分比，再以颜色把它标成正式上线绿灯。
如果关键群体没有足够获准数据，可以保持人工处理或限定试点。证据不足不是自动认定系统失败，也不是允许无限推广的理由。下一步应是补充资料、缩小任务或设计能够回答缺口的验证。
关键错误另列，不让平均抵消
事实措辞不够清楚与权限越界不是同一种问题。某组只有一个严重越界，也可能足以阻断该范围自动上线。门槛由错误后果与组织风险接受标准决定，不用其他类别的大量正确回答去抵消。
复核成本也应分群。某类答案事实正确，但需要专业人员逐句查原文，自动化净收益可能较低。评价只看模型输出，会把人审和返工隐藏在统一数字后面，进而误判适合扩展的场景。
用户体验可以提供线索，例如频繁补问、放弃或绕过，但需要核对原因。放弃可能是结果差，也可能是用户任务已改变。不能从一个行为指标直接给群体下结论，应结合获准的样本和业务调查。
把分群结果转成范围决定
可以分别决定正常上线、限定人审、继续验证或暂不支持。界面与培训说明要让用户知道限制，不能后台报告写着不支持某类任务，前台仍鼓励全部使用。系统边界需要实际执行，不只是写在评测附件里。
范围扩大时重新检查。一个部门通过，不代表另一个部门拥有相同资料、授权和复核能力。新增用户群体可能引入不同术语和工作流，需要明确哪些证据能够迁移，哪些必须补充。
持续复查群体变化
生产样本结构会随季节、产品和组织变化。某个原本稀有类别变多后，旧总体结果可能不再适用。运行监控应观察分布与错误类型，并由负责人决定何时触发评测，不等待投诉集中出现才发现变化。
保存分群定义和版本，使前后结果可比较。定义改变后，不能直接把新旧组的数字连成趋势。需要说明样本范围和测量方法的变化，让评审者判断改善来自系统还是统计口径。
理门的企业AI方法帮助团队把数字转成受控范围；培训可让用户理解哪些任务需要复核。通过沟通入口讨论上线时，带上分群样本数量与关键错误，不必先做复杂可视化。
常见问题
分得越细是否越好？
不一定。过细会使样本稀疏并增加隐私风险，应围绕真正影响业务的差异选择。
总体指标是否可以取消？
仍可保留，但说明分母与用途，并配合关键分群和严重错误，不让总平均替代范围决定。
某组表现低是否直接排除用户？
不能简单决定。先核对原因、业务后果和可改善条件，必要时保留可用人工渠道。
参考来源
- NIST AI RMF Core：MAP 1.1、MEASURE 2.3及2.5涉及情境、部署条件与泛化限制。本文分群表为实践建议。
- NIST AI RMF Playbook：自愿建议不提供统一群体门槛，不替代合法数据与业务判断。