真实场景验证
验证目标
验证的不是“系统能不能采到数据”,而是:
在相同安全边界和候选参数范围内,Ingot 是否比历史研发顺序更早达到规格,并给出可信的不确定性?
唯一主指标是达到规格所需的有效实验炉数。同时记录安全违规、失败实验、日历时间和成本。
阶段一:历史逐炉回放
选择一个已经研发成功的工艺项目。光学镜片模压可以作为首个验证场景,但不是方法边界。数据至少包含:
- 每次运行的计划参数和实际运行设置;
- 完整过程曲线或已版本化过程特征;
- 对应工艺的质量与安全检验结果;
- 材料、模具、设备和批次上下文;
- 当年实际实验顺序;
- 明确的目标规格和安全边界。
回放规则
在第 t 轮,优化器只能看见历史前 t 轮的数据。它从预先声明的候选池推荐下一点,再揭示对应历史结果。不能让模型提前看到未来数据。
比较:
- 历史工程师达到规格的炉数;
- Ingot 首次达到规格的炉数;
- 首次达到并在重复实验中确认的炉数;
- 累计安全违规;
- 预测区间覆盖率;
- 每轮推荐与历史最近候选的距离。
如果历史数据只覆盖很窄区域,回放只能评价候选池内选择,不能证明连续空间寻优能力。
阶段二:影子推荐
在新项目中让优化器生成建议,但不影响实际实验顺序。每轮记录:
- 优化建议;
- 工程师实际选择;
- 两者预测与结果;
- 工程师不采用建议的原因;
- 如果采用建议可能触及的现场限制。
影子阶段用于发现未建模约束和错误映射。
阶段三:受控在线闭环
满足以下条件后才进入:
- 历史回放没有数据泄漏;
- 安全约束和基线已确认;
- 预测区间经过校准检查;
- 推荐值能够被设备准确设置和采集;
- 工程师能够在执行前审核和拒绝;
- 停止和回退规则已演练。
在线阶段先默认一炉一建议。每轮执行后完成检验,再更新模型。
成功标准
建议预注册:
- 主指标:达到并重复确认规格的实验炉数;
- 守门指标:零安全边界违规;
- 可信度:95% 区间覆盖率及校准曲线;
- 效率:相对历史减少的炉数、材料、设备时间和检验成本;
- 可用性:建议采用率和拒绝原因分布。
不要只选择成功项目。应连续纳入满足数据条件的项目,避免结果偏差。
结果发布
公开报告至少包含:
- 数据范围和匿名化方法;
- 变量、目标和约束;
- 候选池或连续范围;
- 数据排除规则;
- 模型与随机种子;
- 历史与优化顺序;
- 所有失败与安全事件;
- 局限和无法推广的部分。
在完成这项验证前,官网只描述“系统能够推荐”,不声称“已经减少 X% 实验”。