工业智能体上线并不意味着项目结束。相反，真正的挑战往往发生在运行阶段。生产现场的数据、设备、工艺、物料、人员、订单结构和质量标准都会变化，智能体如果缺少持续评估和运营机制，很快就会从“好用”变成“不准”或“不敢用”。

因此，工业智能体不能按一次性交付的软件项目管理，而应作为持续运营的工业数字化能力来建设。它需要监控、评估、反馈、复盘、知识更新、规则优化、版本管理和权限治理。

换句话说，工业智能体的长期价值，不只取决于模型能力，还取决于企业是否建立了完整的运营体系。

一、评估不能只看问答准确率

很多 AI 项目习惯用准确率、召回率、回答满意度等指标评估效果。这些指标有用，但不足以衡量工业智能体的真实价值。

制造企业更关心的是：智能体是否改善了生产结果，是否提升了工程效率，是否降低了风险。

例如，在设备维护场景中，评估指标可以包括：

• 报警解释准确率。
• 平均故障定位时间。
• 维修工单生成时间。
• 重复故障识别率。
• MTTR 是否降低。
• 非计划停机时间是否减少。

在质量异常场景中，指标可以包括：

• 根因候选命中率。
• 质量追溯时间。
• 异常报告生成时间。
• 批次隔离建议准确性。
• 人工复核通过率。
• 报废率和返工率变化。

因此，工业智能体评估应从“模型表现”扩展到“业务结果”和“风险控制”。

二、建议建立三类指标体系

工业智能体的评估指标，可以分为三类。

1. 能力指标

能力指标衡量智能体是否能正确完成任务，例如：

• 意图识别准确率。
• 知识引用准确率。
• 数据查询成功率。
• 工具调用成功率。
• 多轮任务完成率。
• 结论与专家判断一致率。

这类指标主要用于研发和调优。

2. 业务指标

业务指标衡量智能体是否带来实际价值，例如：

• 异常定位时间缩短。
• 工单处理效率提升。
• 报告生成时间减少。
• 质量追溯效率提升。
• 停线时间降低。
• 计划达成率提升。
• 工程师重复查询工作减少。

这类指标决定项目是否值得继续投入。

3. 风险指标

风险指标衡量智能体是否安全可信，例如：

• 不可执行建议比例。
• 高风险建议拦截次数。
• 人工驳回率。
• 越权请求拦截率。
• 数据不足提示准确性。
• 审计记录完整率。
• 错误建议进入流程的次数。

工业场景尤其要重视风险指标。一个智能体即使大多数回答正确，如果少数高风险错误未被拦截，也难以进入核心生产流程。

三、运行监控：让问题尽早暴露

工业智能体上线后，需要持续监控其运行表现。监控内容不仅包括系统性能，还包括业务行为。

建议重点监控：

• 用户使用频率。
• 高频问题类型。
• 无法回答的问题。
• 工具调用失败原因。
• 数据缺失情况。
• 用户采纳和驳回记录。
• 高风险建议触发情况。
• 人工审批耗时。
• 异常流程闭环情况。
• 不同产线、班组、部门的使用差异。

这些信息可以帮助企业判断智能体是否真正融入现场工作。例如，如果使用频率很低，可能说明入口不方便、场景不匹配或输出不可信；如果某类问题经常无法回答，可能说明知识库缺失或数据接口不足；如果建议经常被驳回，可能说明规则、提示词或知识版本需要优化。

四、版本管理：确保问题可以回放

工业智能体进入生产流程后，必须具备版本管理和问题回放能力。

需要管理的版本包括：

• 模型版本。
• 提示词版本。
• 知识库版本。
• 文档版本。
• 规则库版本。
• 工具接口版本。
• 数据处理逻辑版本。
• 审批流程版本。

当一次智能体建议导致争议时，企业需要能够回放当时的完整上下文：

• 用户提出了什么问题。
• 系统读取了哪些数据。
• 数据当时是否完整。
• 检索了哪些文档。
• 使用了哪个模型和提示词。
• 调用了哪些工具。
• 触发了哪些规则。
• 谁进行了确认。
• 后续执行结果如何。

没有版本管理和回放能力，工业智能体很难支撑生产复盘和责任界定。

五、知识与规则需要持续更新

工业现场不是静态环境。设备会老化，工艺会调整，产品会迭代，供应商会变化，客户标准也会更新。因此，工业智能体的知识库和规则库必须持续维护。

常见更新来源包括：

• 新设备手册。
• 新 SOP。
• 新质量标准。
• 新客户要求。
• 新产品导入。
• 工艺变更。
• 维修复盘报告。
• 质量异常 8D 报告。
• 现场工程师反馈。
• 被驳回的智能体建议。

尤其是现场反馈，应成为智能体持续改进的重要来源。例如，设备工程师发现某类报警的智能体解释不完整，可以补充维修案例；质量工程师发现某类缺陷根因排序不合理，可以调整规则或案例权重。

六、项目示意：从一次错误建议到系统优化

假设某质量智能体在分析外观缺陷时，将主要原因判断为“包装材料摩擦”，但质量工程师复核后认为更可能是“输送导轨磨损”。经现场检查，确实发现导轨边缘毛刺。

这次驳回不应只是一次人工修正，而应进入运营闭环：

1. 记录智能体原始建议和引用依据。
2. 记录工程师驳回原因。
3. 将现场确认结果写入异常案例库。
4. 更新缺陷—工位—设备部件之间的关联关系。
5. 调整类似缺陷的根因排序规则。
6. 在后续相似问题中优先提示检查导轨状态。
7. 评估更新后的建议命中率是否提升。

通过这种方式，智能体不是一次性部署的工具，而是在现场反馈中不断成长的系统。

七、从“能用”到“可信”的运营机制

工业智能体的运营，应至少建立以下机制：

• 定期评估智能体表现。
• 定期更新知识库和规则库。
• 对高风险建议进行复盘。
• 对用户驳回意见进行分析。
• 对数据缺失和接口异常进行治理。
• 对权限和审批流程进行检查。
• 对模型和提示词变更进行灰度发布。
• 对关键场景设置人工抽检。

对于生产关键场景，不建议模型或规则更新后立即全量生效。更稳妥的方式是先在测试环境或非关键产线上灰度验证，再逐步推广。

结语

工业智能体的价值，不在于上线当天表现有多惊艳，而在于能否长期稳定、可信、可控地服务生产现场。

企业需要从一开始就建立评估与运营体系，把模型效果、业务价值和风险控制结合起来。只有当智能体的每一次建议、每一次调用、每一次被采纳或驳回都能被记录、复盘和优化，它才可能真正从“AI 工具”成长为“工业能力”。

工业智能体的终局不是一次性智能化演示，而是持续改进的生产协同系统。