跳转至

第一章 引论

约 1969 个字 预计阅读时间 7 分钟

动机

许多量有线性关系，非线性关系可以进行变换得到线性关系，线性关系是数学中最基本的关系，容易处理，本章通过给出一些实例引入线性统计模型，由此使读者对于背景有一定的认识，对于后面的统计概念和方法的理解大有裨益。

  • 线性回归模型
  • 方差分析模型
  • 应用概述
  • 习题1

线性回归模型

引入

对于简单的二元关系进行分解，对相关关系建立线性回归模型，将因变量(响应变量)与自变量(预报变量)的关系建模如下：

\[ Y=f(X)+e \]

主要由两部分组成，其中的\(e\)表示未考虑的部分，看作是随机误差(有理由要求其均值为0 -> \(E(e)=0\))

若\(f(X)\)是线性函数，那么很自然的会得到一个接近直线方程的模型，由此下式称为线性回归模型或线性回归方程：

\[ Y=\beta_{0}+\beta_{1}X+e \]

Remark: 关于回归(Regression)的含义在后面再进行介绍

如果假定满足这种关系，应用适当的统计方法即可估计出\(\hat{\beta_{0}},\hat{\beta_{1}}\)，代入即可得到经验回归直线，也称作经验回归方程，经验表示这个回归直线是基于观测数据获得的，在许多文献中，人们则将经验两字省略掉，经过适当的统计检验后，我们可以认为\(Y=\hat{\beta_{0}}+ \hat{\beta_{1}}X\)描述了两个变量的相关关系。

多元线性回归模型

假设有如下关系：

\[ Y=\beta_{0}+\beta_{1}X_{1}+\dots+\beta_{p-1}X_{p-1}+e \]

其中\(\beta_{0}\)为常数项，\(\beta_{1},\dots,\beta_{p-1}\)为回归系数，\(e\)为随机误差

对\(Y\)中的每一个\(y_{i}\)进行分析即可得到：\(y_{i}=\beta_{0}+x_{i 1}\beta_{1}+\dots+x_{i,p-1}\beta_{p-1}+e_{i}\)

引入矩阵记号：

\[ y=\begin{bmatrix} y_{1} \\ y_{2} \\ \dots \\ y_{n} \end{bmatrix},X=\begin{bmatrix} 1 & x_{11}\dots & x_{1,p-1} \\ 1 & x_{21}\dots & x_{2,p-1} \\ \dots & \dots & \dots \\ 1 & x_{n1}\dots & x_{n,p-1} \end{bmatrix},\beta= \begin{bmatrix} \beta_{0} \\ \beta_{1} \\ \dots \\ \beta_{p-1} \end{bmatrix},e=\begin{bmatrix} e_{1} \\ e_{2} \\ \dots \\ e_{n} \end{bmatrix} \]

可以整合为

\[ y=X\beta+e \]

其中\(y\)为观测向量，\(X\)为设计矩阵，\(\beta\)为未知参数向量，\(e\)为随机误差向量

常用基本假设(Gauss-Markov假设)

  1. 误差项均值为0，即\(E(e_{i})=0,i=1,\dots,n\)
  2. 误差项具有等方差，即\(Var(e_{i})=\sigma^{2},i=1,\dots,n\)
  3. 误差是彼此不相关的，即\(Cov(e_{i},e_{j})=0,i\neq j , i,j=1,\dots ,n\)

Cobb-Douglas Function

取对数即可，\(Q_{t},L_{t},K_{t}\)为\(t\)年的产值、劳力投入量和资金投入量

\[Q_{t} = aL_{t}^{b}K_{t}^{c}\]

方差分析模型

与上节的线性回归模型不同，方差分析模型涉及的自变量不再是连续变量，而是示性变量，因为我们研究的基本目的则是寻求因变量与自变量之间客观存在的依赖关系，所以我们试图以示性变量取值表示因素效应的存在性。

这种比较因素效应的统计分析又称为方差分析

应用概述

  • 描述变量之间的关系
  • 分析变量之间的相互关系
  • 预测
    • 点预测
    • 区间预测

习题

注意

本部分的习题不难，主要以巩固概念掌握为主，熟练使用变换手段将所给出的函数变换为线性回归模型，熟练掌握Gauss-Markov假设下的随机误差

1.1

假设一个物体长度为\(\mu\)，但\(\mu\)是未知的。我们做\(N\)次测量，于是测量值\(y_{1}​,…,y_{N}\)​。如果测量过程没有系统误差，我们可以认为\(y_1​,…,y_N\)​ 为来自正态总体\(N(\mu,\sigma^{2})\)的一组随机样本。试将这些观测数据表成线性模型的形式。

Sol.

沿用Gauss-Markov假设

\[ \begin{aligned} y_{i}&=\mu+e_{i},i=1,2,\dots,n\\ \varepsilon_{i}&\sim N(0,\sigma^{2}),i=1,2,\dots,n \end{aligned} \]

1.2

某公司采用一项新技术试验以提高产品质量。设在试验前，随机抽取的\(n_1\)件产品的质量指标值为\(y_1,...,y_{n_1}\)，它们可以看成来自正态总体\(N(\mu_1,\sigma^2)\)的一组随机样本。而在试验之后，随机抽取的\(n_2\)件产品的质量指标值为\(z_1,...,z_{n_2}\)，它们可以看成来自正态总体\(N(\mu_2,\sigma^2)\)的一组随机样本。为了考察这项新技术的效果，需要比较\(\mu_1\)和\(\mu_2\)。因此需要先估计它们。

(1) 试将这些数据表成线性模型的形式。
(2) 在实际问题中，如果\(z_1,...,z_{n_2}\)的值相比\(y_1,...,y_{n_1}\)有很大不同，往往它们的变异程度也就不同。于是我们不能再假定这两个正态总体有公共的方差。这时认为它们分别来自正态总体\(N(\mu_1,\sigma_1^2)\)和\(N(\mu_2,\sigma_2^2)\)比较适宜。试问这时(1)中所表示的线性模型应该有怎样的修正?

Sol.

(1)(2)

为了方便起见直接给出(2)，(1)只需要令\(\sigma_{1}=\sigma_{2}\)

\[ \begin{pmatrix} Y \\ Z \end{pmatrix}= \begin{pmatrix} 1 & 0 \\ \dots \\ 1 & 0 \\ 0 & 1 \\ \dots\\ 0 & 1 \end{pmatrix} \begin{pmatrix} \mu_{1} \\ \mu_{2} \end{pmatrix}+\begin{pmatrix} e_{11} \\ \dots \\ e_{1n_{1}} \\ e_{21} \\ \dots \\ e_{2n_{2}} \end{pmatrix} \]

\(e_{1i}\sim N(0,\sigma_{1}^{2}),e_{2j}\sim N(0,\sigma_{2}^{2})\)

1.3

用两台仪器测量同一批材料的各 3 件样品的某种成分的含量。记测量值分别为\(y_{11},y_{12},y_{13}\)和\(y_{21},y_{22},y_{23}\)，由于两台仪器可能存在着性能上的差异，在表示这些数据时需要考虑仪器的效应，记之为\(a_1\)和\(a_2\)，试将这些测量数据表成成分含量\(\mu\)和\(a_1,a_2\)的线性模型。

Sol.

方差分析模型：

\[ Y= \begin{pmatrix} 1 & 1 & 0\\ \dots \\ 1 &1 & 0 \\ 1 & 0 & 1 \\ \dots\\ 1 & 0 & 1\\ \end{pmatrix} \begin{pmatrix} \\ \mu\\ a_{1} \\ a_{2} \end{pmatrix}+\begin{pmatrix} e_{11} \\ \dots \\ e_{13} \\ e_{21} \\ \dots \\ e_{23} \end{pmatrix} \]

根据Gauss-Markov假设，可以认为\(e_{ij}\sim N(0,\sigma^{2})\)

1.4

下面的模型是否表示一般线性模型? 如果不是，能否通过适当的变换使之成为线性模型?

(1) \(y_i = \beta_0 + \beta_1 x_i + \beta_2 x_i^2 + \beta_3 \ln x_i^2 + e_i\)
(2) \(y_i = e^{\beta_0 + \beta_1 x_i} e^{\beta_2 x_i^2}\)
(3) \(y_i = [1 + \exp(\beta_0 + \beta_1 x_i + e_i)]^{-\frac{1}{2}}\)
(4) \(y_i = \beta_0 + \beta_1(x_{i1} + x_{i2}) + \beta_2 e^{x_{i1}+x_{i 2}} + \beta_3 \ln(x_{i1}^2) + e_i\)

Sol.

(1) 令\(x_{i}=x_{i_{1}},x_{i}^{2}=x_{i2},\ln x_{i}^{2}=x_{i3}\)

(2)

令\(Y_{i}=\ln y_{i}\)，即可得到：

\[ Y_{i}=\beta_{0}+ \beta_{1}x_{i}+\beta_{2}x_{i}^{2} \]

按照例子变换即可

(3)

\[ \ln\left( \frac{1}{y_{i}^{2}}-1 \right)=\beta_{0}+\beta_{1}x_{i}+e_{i} \]

令\(Y_{i}=\ln\left( \frac{1}{y_{i}^{2}}-1 \right)\)即可

(4)

令\(X_{i 1}=x_{i 1}+x_{i 2},X_{i 2}= e^{x_{i 1}+ x_{i 2}},X_{i 3}=\ln(x_{i 1}^{2})\)即可

1.5

考虑如下两因素设计模型：

\[y_{ij}=\mu+\alpha_{i}+\beta_{j}+e_{ij},i=1,\dots,I,j=1,\dots,J\]

其中\(\mu,\alpha_{i},\beta_{j}\)为未知参数，试将其表示为矩阵形式的线性模型\(y=X\beta+e\)，并写出其设计矩阵\(X\)

Sol.

\[ \begin{pmatrix} y_{11} \\ \dots \\ y_{1 J} \\ y_{2 1} \\ \dots \\ \dots \\ y_{IJ} \end{pmatrix}=\begin{pmatrix} 1 & 1 & 0 & \dots & 0& 1 & 0 & 0 & \dots & 0 \\ 1 & 1 & 0 & \dots & 0& 0 & 1 & 0 & \dots & 0 \\ \dots \\ \dots \\ 1 & 0 & \dots & & 1&0 & 0 & \dots & 1 \end{pmatrix}\begin{pmatrix} \mu \\ a_{1} \\ \dots \\ a_{I} \\ \beta_{1} \\ \dots \\ \beta_{J} \end{pmatrix}+\begin{pmatrix} e_{11} \\ \dots \\ e_{1J} \\ \dots \\ e_{I1} \\ \dots \\ e_{IJ} \end{pmatrix} \]

评论