1.回归方程

由于x是可控的非随机变量，而Y 是一个与x有关的随机变量，因此，直接研究变量Y与x之间的相关关系是困难的．如果注意到随机变量Y的数学期望反映了随机变量Y的平均取值，因此，可考虑研究EY与x之间的关系．这时，EY往往是x的某个函数，即

于是我们可以用一个确定的函数关系

大致描述Y与x之间的变化规律．函数μ(x)称为Y关千x 的回归函数，方程(5. 2)称为Y关于x 的回归方程．回归方程反映了Y的数学期望EY随x变化而变化的规律性．下面我们通过研究回归函数μ(x)来达到探讨Y与x之间相关关系的目的

一般说来，从任意的x的函数中找出回归函数μ(x )是困难的，通常的做法是限制μ(x)为某一类型的函数．函数μ(x)的类型可以由与被研究问题的本质有关的物理假设来确定．如果没有任何理由可以确定μ(x)的类型，则我们只能根据在试验结果中得到的散点图来x确定，在确定了μ(x)的类型以后，就可设

其中 $a_1,a_2,...,a_k$ 为未知参数，于是我们的问题归结为：如何更具试验数据合理地选择参数 $\alpha_1,\alpha_2,...,\alpha_k$ 的值，使方程

$y= \mu (x;a_1,a_2,...,a_k)$ (5.3)

在一定的意义下“最佳地“反映变量Y 与x之间的相关关系．解决这种问题的一种有效方法是最小二乘法．

2.最小二乘法

所谓的最小二乘法，就是要求选取 $\mu (x;a_1,a_2,...,a_k)$ 中的参数，使得各观测值 $y_i$ 与相应的函数值 $\mu(x_i;a_1,a_2,...,a_k)(i=1,2,...,n)$ 的离差平方和

最小。为此，我们令s对 $\alpha_1,\alpha_2,...,\alpha_k$ 求偏导数，并让它们等于零，就得到

解方程组(5.5)，可以求得参数 $\alpha_1,\alpha_2,...,\alpha_k$ 的估计值，带入方程(5.3),就得到回归方程一般说来，解方程组(5.5)是困难的，仅当函数 $\mu (x;a_1,a_2,...,a_k)$ 是未知参数 $\alpha_1,\alpha_2,...,\alpha_k$ 的线性函数时（这时，方程组(5.5)是关于 $\alpha_1,\alpha_2,...,\alpha_k$ 的线性方程组），可以比较容易地求得这些参数的估计值．