Skip to main content

参数估计

点估计​

使用样本 X1,X2,⋯ ,XnX_{1},X_{2},\cdots,X_{n} 构造的统计量 θ^(X1,X2,⋯ ,Xn)\hat{\theta}(X_{1},X_{2},\cdots,X_{n}) 来估计位置参数 θ\theta 称为 点估计，统计量 θ^\hat{\theta} 被称为 估计量。

估计量是随机变量，其观测值被称为 估计值，若 E(θ^)=θE(\hat{\theta})=\theta，则称其是位置参数 θ\theta 的无偏估计。

若有多个估计量都是 θ\theta 的无偏估计，则认为方差越小的估计量越有效。

若估计量依概率收敛于 θ\theta，则称 θ^(X1,X2,⋯ ,Xn)\hat{\theta}(X_{1},X_{2},\cdots,X_{n}) 为 θ\theta 的 一致估计量。

矩估计法​

用样本矩估计相应的总体矩，用样本矩的函数估计总体矩的函数，再求出要估计的参数。

分布中含有几个未知量就需要用到几阶矩，可以得到一个方程组联立求解。

tip

实际上有点类似与泰勒展开。

最大似然估计法​

tip

最大似然估计用于样本分布已知时来估计原分布的参数

步骤：

  1. 写出似然函数
  2. 取对数
  3. 求导数
  4. 解方程

似然函数定义如下：

L(θ∣x)=P(x∣θ)=P(x1,x2,⋯ ,xn∣θ)=∏i=1np(xi∣θ)\begin{align}L(\theta|x) &=P(x|\theta )\\ &=P(x_1, x_2,\cdots,x_n|\theta)\\ &= \prod_{i=1}^{n}p(x_i|\theta)\end{align}

其实这里的似然函数就是样本事件在参数为 θ\theta 时发生概率的乘积。

似然（Likehood）

似然与概率不同，指的是当参数为 θ\theta 时，得到某些结果的可能性。

最大似然估计就是利用得到该结果最大的可能性（似然）来估计这个参数，因此需要最大化 似然函数。

由于是乘法不好计算，一般会取对数进行运算，称作 对数似然。

PP 即是样本的概率，带入取对数

log∏i=1nxi=log(x1⋅x2⋯⋅xn)=log(x1)+log(x2)+...+log(xn)=∑j=1nlog(xi)\begin{align} log\prod_{i=1}^{n}x_i &= log(x_1\cdot x_2\cdots \cdot x_n) \\ &= log(x_1)+log(x_2)+...+log(x_n) \\ &= \sum_{j=1}^{n}log(x_i)\end{align}

然后求解驻点，得到最大值。

这样看并不直观，比如已知 1010 个球中有 66 个为白球，44 个为黑球，假设原分布服从参数为 pp 的伯努利分布，pp 为白球的概率我们可以得到似然函数为：

L=p6∗(1−p)4(1)L=p^6*(1-p)^4 \tag1\\ log(L)=6log(p)+4log(1−p)(2)log(L)=6log(p)+4log(1-p) \tag2

在这样很容易接出 p=0.6p=0.6.

区间估计​

置信区间​

统计量满足

P{θ1<θ<θ2}=1−αP\{ \theta_{1}<\theta<\theta_{2}\}=1-\alpha

则称区间 (θ1,θ2)(\theta_{1},\theta_{2}) 是参数 θ\theta 的置信水平（置信度）为 1−α1-\alpha 的 置信区间（区间估计）.

一个正态总体参数的区间估计​

一维正态分布的参数只有期望和方差，因此可以分为以下情况，X‾\overline X 是样本均值。

待定参数1- α\alpha 置信区间
期望，方差未知(X‾−uα2σn,X‾+uα2σn)\left( \overline X-u_{\frac{\alpha}{2}} \frac{\sigma}{\sqrt{ n }},\overline X+u_{\frac{\alpha}{2}} \frac{\sigma}{\sqrt{ n }} \right)
期望未知(X‾−tα2(n−1)Sn,X‾+tα2(n−1)Sn)\left(\overline X-t_{\frac{\alpha}{2}}(n-1) \frac{S}{\sqrt{ n }},\overline X+t_{\frac{\alpha}{2}}(n-1) \frac{S}{\sqrt{ n }}\right)
方差，期望未知((n−1)S2χα22(n−1),(n−1)S2χ1−α22(n−1))\left( \frac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)}, \frac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)}\right)

两个正态总体参数的区间估计​

有 u1−u2u_{1}-u_{2} 和 σ1σ2\frac{\sigma_{1}}{\sigma_{2}} 的 1−α1-\alpha 置信区间

待定参数1- α\alpha 置信区间
求 μ1−μ2\mu_{1}-\mu_{2}，方差已知(X‾−Y‾−uα2σ12n1+σ22n2,X‾−Y‾+uα2σ12n1+σ22n2)\left( \overline X-\overline Y-u_{\frac{\alpha}{2}} \sqrt{ \frac{\sigma_{1}^2}{n_{1}}+ \frac{\sigma_{2}^2}{n_{2}} },\overline X-\overline Y+u_{\frac{\alpha}{2}} \sqrt{ \frac{\sigma_{1}^2}{n_{1}}+ \frac{\sigma_{2}^2}{n_{2}} } \right)
求 μ1−μ2\mu_{1}-\mu_{2}，方差未知但相等(X‾−Y‾−tα2(n1+n2−2)S1n1+1n2,X‾−Y‾+tα2(n1+n2−2)S1n1+1n2)\left(\overline X-\overline Y-t_{\frac{\alpha}{2}}(n_{1}+n_{2}-2) S\sqrt{ \frac{1}{n_{1}}+\frac{1}{n_{2}} },\overline X-\overline Y+t_{\frac{\alpha}{2}}(n_{1}+n_{2}-2) S\sqrt{ \frac{1}{n_{1}}+\frac{1}{n_{2}} }\right)
求 σ1σ2\frac{\sigma_{1}}{\sigma_{2}} ，期望未知(S12S22⋅1Fα2(n1−1,n2−1),S12S22⋅1F1−α2(n1−1,n2−1))\left(\frac{S_{1}^2}{S^2_{2}}\cdot \frac{1}{F_{\frac{\alpha}{2}(n_{1}-1,n_{2}-1)}},\frac{S_{1}^2}{S^2_{2}}\cdot \frac{1}{F_{1-\frac{\alpha}{2}(n_{1}-1,n_{2}-1)}}\right)

假设检验​