最小二乘

最小二乘线性和二次模型创建一个多项式，用于计算最适合的全局数据样本近似值。

例如，对于包含两个输入参数 $x_1$ 和 $x_2$ 的设计研究，包含常数和线性项的预测值 $\hat{y}$ 的线性多项式定义为：

包含常数、线性项、相互作用和平方项的二次多项式定义为：

多项式与数据点的拟合质量通过其残差 ${\epsilon }_i$ 测量，该残差如下定义为实际值 $y_i$ 和预测值 $\widehat{y_i}$ 之间的残差：

在矩阵表示法中，方程为：

此处 $X$ 表示设计矩阵。例如，具有来自 m 模拟的两个输入参数 $x_1$ 和 $x_2$ 的二次模型的设计矩阵为：

未知系数的矢量 $\beta$ 为：

最佳可能的拟合意味着样本数据的残余平方和 $L$ 已经最小化：

线性逼近形式：

展开线性逼近后：

由于矢量 $y$ 、 $\beta$ 和矩阵 $X$ 的维度， ${\beta }^t{X}^{t}y$ 和 $y^{t}X\beta$ 为两个标量。因此， $y^{t}X\beta \text{\hspace{0.17em}=\hspace{0.17em}}{\left({\beta }^t{X}^{t}y\right)}^t={\beta }^t{X}^{t}y$ 。该方程可以重写为：

线性逼近梯度为零时，求得平方和的最小值：

最小二乘替代模型通常不会直接通过采样点。它们从设计空间的采样点旁边通过，以获得最佳全局拟合。最小二乘求解可以使用矩阵 $X$ 的奇异值分解计算。此方法对于大量样本数据有效。