评估替代模型精度

Design Manager提供三个数据集，可用于评估替代模型预测的精度。

要评估计算的替代函数与已知样本数据的拟合情况，对于每个设计响应，可以将模拟中的实际值与替代模型中的预测值进行比较。可以通过替代模型拟合图将比较可视化。当预测值非常接近模拟值时，将评估高精度。

要评估替代模型函数与未知数据的拟合程度，对替代模型执行交叉验证，以评估其在整个设计空间的预测可靠性。对于每个响应，评估残差表中的交叉验证残差。还可以创建实际与残差关系绘图以将残差可视化。由于交叉验证方案具有随机性，建议多次执行交叉验证。

预测残差平方和 (PRESS) 是评估替代模型预测精度的另一种方法。PRESS 残差等效于留一法交叉验证，当交叉验证 K 重值设为 1 时，它也等效于K 重交叉验证方案。对于 PRESS，由于不存在随机分组且 PRESS 残差保持固定，因此仅执行一次交叉验证。通常，建议对这两种残差均进行查看，因为每种残差都有其预测性功能。另请参见：交叉验证方案。

对于替代模型类型克里金和 RBF，将使用交叉验证和 PRESS 残差值判断替代模型预测精度。由于替代模型函数的结构定义了已知数据的精确拟合，因此相关性系数 (R2) 和调整的相关性系数 (R2adj) 自然等于 1。另请参见：克里金、径向基函数和交叉验证。

  1. 要创建替代模型拟合图：
    1. 右键单击设计研究 > [设计研究] 并选择创建绘图 > 替代模型 > 替代模型拟合。
    2. 在替代模型拟合图设置对话框中，选择要为其创建替代模型拟合绘图的替代模型。

      下面显示了最小二乘替代模型类型的替代模型拟合绘图的示例：



      参考线 y=x 指示从底轴起预测的响应值与左纵轴的实际响应值之间的接近程度。

      如果对预测响应值与实际响应值的匹配情况不满意，可以尝试修改替代模型设置并重新计算替代模型，而无需重新运行设计研究。

  2. 要运行交叉验证并评估替代模型残差的精度：
    1. 选择设计研究 > [设计研究] > 替代模型 > [替代模型] 节点，然后指定以下三个属性：
      • 交叉验证方案
      • 交叉验证 K 重值
      • 交叉验证种子

      有关属性设置的更多详细信息，请参见交叉验证方案。

    2. 右键单击 [替代模型] 节点并选择交叉验证。
    3. 右键单击 [替代模型] 节点并选择打开残差表。
      替代模型的残差表如下所示。标记的列显示交叉验证残差，这些残差指示替代模型预测新的未知响应值的精确性。


    4. 要可视化交叉验证残差，右键单击替代模型 > [替代模型] 节点并选择创建绘图 > 实际与残差。
    5. 在实际与残差关系图设置对话框中，选择要为其创建替代模型拟合绘图的替代模型。


      除了较小的残差值外，零参考线周围的紧密散布残差也表明此替代模型的预测精度比较好。

      标记的注释是交叉验证残差列中所有交叉验证残差的均方根 (RMS)，值越低，拟合效果越好。

    6. 要可视化 PRESS 值 - 预测误差平方和值，右键单击替代模型 > [替代模型] 节点并选择创建绘图 > 实际与残差。
    7. 选择绘图 > 实际与残差绘图 > 数据系列 > [替代模型] > 左轴数据 > 替代模型节点，然后设置值类型为 PRESS 残差。


      交叉验证残差和 PRESS 残差是您对预测值所预期的估计误差。这两个残差的相对误差在几次交叉验证中很小且一致，这表明代理模型在设计空间中的预测精度比较好。

除了交叉验证和 PRESS 残差外，还可以计算替代模型的相关系数 (R2) 和均方根误差 (RMSE)。如果 R2 不是 1 或者 RMSE 不接近零，则替代模型被视为数值不佳。这会导致损失精度和数据拟合不佳。
  1. 要检查 R2 和 RMSE 值，选择替代模型 > [替代模型] 并检查只读值。