最小二乘

最小二乘线性和二次模型创建一个多项式，用于计算最适合的全局数据样本近似值。

例如，对于包含两个输入参数 x 1 和 x 2 的设计研究，包含常数和线性项的预测值 y ^ 的线性多项式定义为：

图 1. EQUATION_DISPLAY
y ^ ( x ) =   β 0 + β 1 x 1 + β 2 x 2
(5151 5152 5153)

包含常数、线性项、相互作用和平方项的二次多项式定义为：

图 2. EQUATION_DISPLAY
y ^ ( x ) =   β 0 + β 1 x 1 + β 2 x 2 + β 3 x 1 2 + β 4 x 1 x 2 + β 5 x 2 2
(5151 5152 5153)

多项式与数据点的拟合质量通过其残差 ε i 测量，该残差如下定义为实际值 y i 和预测值 y i ^ 之间的残差：

图 3. EQUATION_DISPLAY
ε i =   y i − y ^ i
(5151 5152 5153)

在矩阵表示法中，方程为：

图 4. EQUATION_DISPLAY
ε =   y − y ^         = y − X β
(5154)

此处 X 表示设计矩阵。例如，具有来自 m 模拟的两个输入参数 x 1 和 x 2 的二次模型的设计矩阵为：

图 5. EQUATION_DISPLAY
X = ( 1 x 1 , 1 x 2 , 1 x 1 , 1 2     x 1 , 1 x 2 , 1 x 2 , 1 2 1 x 1 , 2 x 2 , 2 x 1 , 2 2 x 1 , 2 x 2 , 2 x 2 , 2 2 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⁢         1 x 1 , m x 2 , m x 1 , m 2 x 1 , m x 2 , m x 2 , m 2 )
(5155)

未知系数的矢量 β 为：

图 6. EQUATION_DISPLAY
β = ( β 0 β 1 ⋮ β m )
(5156)

最佳可能的拟合意味着样本数据的残余平方和 L 已经最小化：

图 7. EQUATION_DISPLAY
L = ∑ i = 1 m ε i 2 ⁢ = ( y 1 − y ^ 1 ) 2 + ( y 2 − y ^ 2 ) 2 + … + ( y m − y ^ m ) 2
(5157)

线性逼近形式：

图 8. EQUATION_DISPLAY
L = ( y − X β ) t ⁢   ( y − X β )
(5158)

展开线性逼近后：

图 9. EQUATION_DISPLAY
L = y t y − β t X t y − y t X β + β t X t X β
(5159)

由于矢量 y 、 β 和矩阵 X 的维度， β t X t y 和 y t X β ⁢ 为两个标量。因此， y t X β ⁢  =  ( β t X t y ) t = β t X t y 。该方程可以重写为：

图 10. EQUATION_DISPLAY
L = y t y − 2 ⋅ β t X t y + β t X t X β
(5160)

线性逼近梯度为零时，求得平方和的最小值：

图 11. EQUATION_DISPLAY
∂ L ∂ β = − 2 X t y + 2 X t X β ∂ L ∂ β = 0 ⁢       ⇒     X t X β ⁢ = X t y β = ( X t X ) − 1 X t y ⁢
(5161)

最小二乘替代模型通常不会直接通过采样点。它们从设计空间的采样点旁边通过，以获得最佳全局拟合。最小二乘求解可以使用矩阵 X 的奇异值分解计算。此方法对于大量样本数据有效。

计算数量

要确定未知系数的矢量 β ，建议运行两倍于矢量 β 的维度的模拟。

  • 对于线性模型， β 的维度是 n+1。n 表示设计研究中输入参数的数量。
    图 12. EQUATION_DISPLAY
    y ^ = β 0 + ∑ i = 1 n β i ⋅ x i
    (5162)
  • 对于二次模型， β 的维度是 1+2n+n(n-1)/2。n 表示设计研究中输入参数的数量。
    图 13. EQUATION_DISPLAY
    y ^ = β 0 + ∑ i = 1 n β i ⋅ x i + ∑ j = 1 n β j ⋅ x j + ∑ i = 1 n − 1 ∑ j = i + 1 n β i j ⋅ x i x j
    (5163)