第零章 常用随机变量分布总结

一维离散型随机变量

两点分布X \sim B(1, p)

分布律为

P(X=k)=p^k(1-p)^k, k = 0, 1

期望

E(X) = p

方差

D(X)=p(1-p)

二项分布X \sim B(n, p)

分布律为

P(X=k)=C_n^kp^k(1-p)^{n-k}

期望

\begin{equation}
\begin{aligned}
E(X) &= \mathop{\sum_{k=0}^n}kC_n^kp^k(1-p)^{n-k}\\
&= np\mathop{\sum_{k=1}^n}C_{n-1}^{k-1}p^{k-1}(1-p)^{n-k}\\
&= np\mathop{\sum_{k=0}^{n-1}p^{k-1}(1-p)^{n-1-k}}\\
&= np(p + 1 -p)^{n-1}\\
&= np
\end{aligned}
\end{equation}

二阶矩

\begin{aligned}
E(X^2) &= \mathop{\sum_{k=0}^n}k^2C_n^kp^k(1-p)^{n-k} \\
&= np\mathop{\sum_{k=1}^{n}kp^{k-1}(1-p)^{n-k}}\\
&= np\mathop{\sum_{k=1}^{n-1}}(k+1)C_{n-1}^kp^k(1-p)^{n-k-1}\\
&= np\mathop{\sum_{k=1}^{n-1}}kC_{n-1}^kp^k(1-p)^{n-k-1} + np\\
&= n(n-1)p^2\mathop{\sum_{k=1}^{n-1}}C_{n-2}^{k-1}p^{k-1}(1-p)^{n-1-k} + np\\
&= n(n-1)p^2 + np
\end{aligned}

方差

\begin{aligned}
D(X) &= E(X^2) - [E(X)]^2\\
&= n(n-1)p^2 + np - (np)^2\\
&= np(1-p)
\end{aligned}

几何分布X \sim G(p)

分布律为

P(X=k) = p(1-p)^{k-1}, k >= 1

正计数几何分布

为得到一次成功而进行n次伯努利实验
表示第一次成功所在的试验次数
期望

\begin{aligned}
E(X) &= \mathop{\sum_{k=1}^{n}}kp(1-p)^{k-1}\\ 
(1-p)E(X) &= \mathop{\sum_{k=1}^{n}}kp(1-p)^{k}\\
\Rightarrow pE(X) &= p\mathop{\sum_{k=1^{n}}}[(k-1)(1-p)^{k-1}-k(1-p)^k] + p\mathop{\sum_{k=1}^{n}}(1-p)^{k-1}\\
E(X) &= -n(1-p)^n + \frac{1 - (1-p)^n}{1 - (1-p)}\\
\mathop{lim_{n \to \infty}}E(X) &= \frac{1}{p}
\end{aligned}

二阶矩

\begin{aligned}
E(X^2) &= p\mathop{\sum_{k=1}^n}k^2(1-p)^{k-1}\\
&= p(-\mathop{\sum_{k=1}^n}k(1-p)^k)'\\
&= p((-(1-p)\mathop{\sum_{k=1}^n}(1-p)^k)')'\\
&= p(-\frac{1-p}{p})'\\
&= \frac{2-p}{p^2}
\end{aligned}

方差

\begin{aligned}
D(X) &= E(X^2) - [E(X)]^2\\
&= \frac{2-p}{p^2} - \frac{1}{p^2}\\
&= \frac{1-p}{p^2}
\end{aligned}

零计数几何分布

表示第一次成功之前的失败次数
期望

E(X) = \frac{1-p}{p}

方差

D(X) = \frac{1-p}{p^2}

证明略

泊松分布X \sim P(\lambda)

分布律为

P(X=k) = \frac{\lambda^k}{k!}e^{-\lambda}

期望

\begin{aligned}
E(X) &= \mathop{\sum_{k=0}^{n}}k \cdot \frac{\lambda^k}{k!}e^{-\lambda}\\
&= {\lambda}e^{-\lambda}\mathop{\sum_{k=1}^{n}}\frac{\lambda^{k-1}}{(k-1)!}\\
&= {\lambda}e^{-\lambda}e^{\lambda}\\
&= \lambda
\end{aligned}

二阶矩

\begin{aligned}
E(X^2) &= \mathop{\sum_{k=0}^{n}}k^2 \cdot \frac{\lambda^k}{k!}e^{-\lambda}\\
&= e^{-\lambda}\mathop{\sum_{k=1}^{n}}\frac{{(k - 1 + 1)}\lambda^{k}}{(k-1)!}\\
&= e^{-\lambda}[\mathop{\sum_{k=2}^{n}}\frac{\lambda^{k-2+2}}{(k-2)!} + \mathop{\sum_{k=1}^{n}}\frac{\lambda^{k-1+1}}{(k-1)!}]\\
&= \lambda^2 + \lambda
\end{aligned}

方差

\begin{aligned}
D(X) &= E(X^2) - [E(X)]^2\\
&= \lambda^
\end{aligned}

超几何分布X \sim H(n, N, M)

分布律为

P(X=k) = \frac{C_M^kC_{N-M}^{m-k}}{C_N^n}, (max\{0, n - (N - M)\}) \leq k \leq min\{M, n\}

期望

E(X) = \frac{Mn}{N} 

方差

D(X) = \frac{Mn}{N}\frac{(N-n)(N-M)}{N(N-1)}

一维连续型随机变量

均匀分布X \sim R(a, b)

概率密度函数

f(x) = 
\begin{cases}
\frac{1}{b-a}, ~~a \leq x \leq b \\
0, ~~~~~~~else
\end{cases}

期望

E(X) = \frac{a+b}{2}

二阶矩

E(X^2) = \frac{a^2 + b^2 + ab}{3}

方差

D(X) = \frac{(b-a)^2}{12}

指数分布X \sim E(\lambda)

概率密度函数

f(x) = 
\begin{cases}
{\lambda}e^{-\lambda{x}}, ~x > 0\\
0, ~~~~~~~~~else
\end{cases}

期望

\begin{aligned}
E(X) &= \int_{0}^{+\infty}x{\lambda}e^{-\lambda{x}}dx\\
&= \frac{1}{\lambda}\int_{0}^{+\infty}(\lambda{x})e^{-\lambda{x}}d(\lambda{x})\\
&= \frac{1}{\lambda}\Gamma(2) \\
&= \frac{1}{\lambda}
\end{aligned}

二阶矩

\begin{aligned}
E(X^2) &= \int_{0}^{+\infty}x^2{\lambda}e^{-\lambda{x}}dx\\
&= \frac{1}{\lambda^2}\int_{0}^{+\infty}(\lambda{x})^2e^{-\lambda{x}}d(\lambda{x})\\
&= \frac{1}{\lambda^2}\Gamma(3) \\
&= \frac{2}{\lambda^2}\Gamma(2)\\
&= \frac{2}{\lambda^2}
\end{aligned}

方差

D(X) = \frac{1}{\lambda^2}

正态分布X \sim N(\mu, \sigma^2)

概率密度函数

f(x) = \frac{1}{\sqrt{2\pi}{\sigma}}e^{-\frac{(x-\mu)^2}{\sigma^2}}

期望

E(X) = \mu

方差

\begin{aligned}
D(X) &= E[(x-\mu)^2] \\
&= \int_{-\infty}^{+\infty}(x-\mu)^2\frac{1}{\sqrt{2\pi}{\sigma}}e^{-\frac{(x-\mu)^2}{\sigma^2}}dx\\
&{{=}^{t=\frac{x-\mu}{\sqrt{2}\sigma}}}\frac{(\sqrt{2}\sigma)^2}{\sqrt{\pi}}2\int_0^{+\infty}t^2e^{-t^2}dt\\
&= \frac{2\sigma^2}{\sqrt{\pi}}\Gamma(\frac{3}{2})
&= \sigma^2
\end{aligned}

其中\Gamma(s) = 2\int_{0}^{+\infty}e^{-x^2}x^{2s-1}dx
\Gamma{z} = \int_{0}^{+\infty}t^{z-1}e^{-t}dt

第一章 随机事件

第一节 样本空间和随机事件

随机试验

• 试验的所有结果是已知的或者是可以确定的
• 每次试验的结果是未知的或者不可预测的
  

  第二节 事件的关系和运算

• 交换律 A\cup{B} = B\cup{A}
• 结合律 A\cup{B}\cup{C}=(A\cup{B})\cup{C}=A\cup{(B}\cup{C})
• 结合律 A\cap{B}\cap{C}=(A\cap{B})\cap{C}=A\cap{(B}\cap{C})
• 分配律 (A\cup{B})\cap{C}=AC \cup BC
• 对偶律 \overline{A\cup{B}} = \overline{A}\cap{\overline{B}}
• 对偶律\overline{A\cap{B}} = \overline{A}\cup{\overline{B}}
• A-B=A\overline{B}
  

  第二章 事件的概率

  第一节 概率的概念

  在随机试验中，事件A发生的可能性的大小为事件A的概率，记为P(A)
  概率的性质

• (i) 0\leq P(A) \leq 1
• (ii) P(\Omega) = 1
• (iii) 若A_1, A_2, \dots, A_n两两互斥，则P(\cup_{k=1}^{n}{A_k}) = \sum_{k=1}^{n}P(A_k)
  

  第二节 古典概型

古典概型：

• (1) 试验的可能结果只有有限个
• (2) 各个可能结果出现是等可能的

P(A) = \frac{k}{n}

第三节 几何概型

几何概型允许试验结果可为无限个

P(A) = \frac{|S_A|}{\Omega}

例.蒲丰投针问题
蒲丰投针

第四节 概率的公理化定义

• 公理1 （非负性）0 \leq P(A) \leq 1

• 公理2 （规范性）P(\Omega)=1

• 公理3 （完全可加性）若A_1, A_2, \dots, A_n两两互斥，则P(\cup_{k=1}^{n}{A_k}) = \sum_{k=1}^{n}P(A_k)

• 性质1 P(\emptyset)=0

• 性质2 若A_1, A_2, \dots, A_n两两互斥，则P(\cup_{k=1}^{n}{A_k}) = \sum_{k=1}^{n}P(A_k)

• 性质3 P(\overline{A}) = 1 - P(A)

• 性质4 P(B-A)=P(B)-P(AB)

• 性质5 P(A\cup{B})=P(A) + P(B) - P(AB)

第三章 条件概率与事件的独立性

第一节 条件概率

P(A_1A_2A_3{\dots}A_n)=P(A_1)P(A_2|A_1){\dots}P(A_n|A_1A_2{\dots}A_n)

第二节 全概率公式

简单分解

B = AB \cup \overline{A}B

P(B) = P(AB) + P(\overline{A}B)

设事件A_1, A_2, \dots, A_n两两互斥，且P(A_i) > 0, 1 \leq i \leq n，B满足

B = \mathop{\cup}_{i=1}^{n}BA_k

则

P(B)=\sum_{i=1}^{n}P(A_i)P(B|A_i)

第三节 贝叶斯公式

设事件A_1, A_2, \dots, A_n两两互斥，且P (A_i) > 0, 1 \leq i \leq n，B满足

B = \cup_{i=1}^{n}BA_k

且 P(B) > 0 则对任意 1 \leq i \leq n 有

P(A_i|B)=\frac{P(A_i)(B|Ai)}{\sum_{k=1}^{n}P(A_k)P(B|A_k)}

第四节 事件的独立性

若A,B;\overline{A},B;A,\overline{B};\overline{A},\overline{B}中，有一对相互独立，则其余三对相互独立

第五节 伯努利试验和二项概率

第四章 随机变量及其分布

第一节 随机变量及分布函数

随机变量X的分布函数

F(x) = P(X \leq x)

根据定义

P(a < X \leq b) = P(X \leq b) - P(X \leq a) = F(b) - F(a)

性质

• (i) 0 \leq F(x) \leq 1
• (ii) 任意x_1 < x_2，有F(x_1) < F(x_2)
• (iii) \lim_{x \to -\infty}F(x) = 0 and \lim_{x \to +\infty} = 1
• (iv) \lim_{x \to {x_0^+}} = F(x_0)

第二节 离散性随机变量

0-1分布B(1, p)

二项分布B(n, p)

几何分布G(p)

泊松分布P(\lambda)

P(x=k) = \frac{{{\lambda}^k}{e^{-\lambda}}}{k!}

超几何分布H(n, m, p)

负二项分布NB(r, p)

第三节 连续型随机变量

均匀分布R(\theta)

正态分布N(\mu, {\sigma}^2)

指数分布E(\lambda)

第五章 二维随机变量及其分布

第一节 二维随机变量及其分布函数

二维随机变量的联合分布函数 P(x,y)=P(X \leq x, Y \leq y)
性质

• (i) 0 \leq F(x,y) \leq 1
• (ii) F(x,y)关于x、y单调不减
• (iii) F(x,y)关于x、y右连续
• (iv) \lim_{x \to -\infty, y \to -\infty} = 0, \lim_{x \to +\infty, y \to +\infty} = 1, \lim_{x \to x_0, y \to -\infty} = 0, \lim_{x \to -\infty, y \to y_0} = 0
• (v)对x_1 < x_2, y_1 < y_2, 有P(x_1 \leq X \leq x_2, y_1 \leq Y \leq y_2) = F(x_2, y_2) - F(x_2, y_1) - F(x_1, y_2) + F(x_2, y_2)

第二节 二维离散型随机变量

第三节 二维连续性随机变量

F(x,y)=\int_{-\infty}^{x}\int_{-\infty}^{y}f(u, v)dudv

f(x,y)为联合密度函数
性质

• (i) f(x,y) \geq 0
• (ii) \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x,y)dxdy=1
• (iii) P((X,Y)) \in D = \int\int_{D}f(x,y)dxdy
• (iv)F(x,y)为连续函数，且在f(x,y)的连续点处，\frac{\partial^2{F(x,y)}}{\partial{x}\partial{y}} = f(x,y)

二维均匀分布

f(x,y) = \begin{equation}\begin{cases}\frac{1}{S_D}, ~~~~~~~(x, y) \in D \\ 0, ~~~~~~~~~~~else\end{cases}\end{equation}

二维正态分布

(X,Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)

f(x,y)=\frac{1}{2{\pi}\sigma_1\sigma_2\sqrt{1-\rho^2}}
e^{-\frac{1}{2(1-\rho^2)}}[\frac{(x-\mu_1)^2}{\sigma_1^2} - \frac{2\rho(x-\mu_1)(x-\mu_2)}{\sigma_1\sigma_2} + \frac{(y-\mu^2)}{\sigma_2^2}]

第四节 边缘分布

边缘分布函数 （连续性）

设F(x,y)为二维随机变量(X,Y)的联合分布函数，称P(X \leq x) = P(X \leq x, Y < + \infty)为关于X的边缘分布函数，记为F_X(x)

边缘分布率 （离散型）

边缘密度函数

F_X(x)=P(X \leq x, Y < +\infty)=\int_{-\infty}^{x}[\int_{-\infty}^{+\infty}f(x,y)dy]dx

故

f_X(x) = \int_{-\infty}^{+\infty}f(x,y)dy$$$$f_Y(y) = \int_{-\infty}^{+\infty}f(x,y)dx

第五节 随机变量的独立性

连续性 若对任意事件X, Y，有P(X \leq x, Y \leq y)=P(X \leq x) \cdot P (Y \leq y)，则称X 与 Y相互独立
也即F(x, y) = F_X(x) \cdot F_Y(y)

离散性 p_ij = p_i \cdot p_j

第六节 条件分布

P(A|B) = \frac{P(AB)}{P(B)}

f_{Y|X}(y|x) = \frac{f(x,y)}{\int_{-\infty}^{+\infty}f(x,y)dy} = \frac{f(x,y)}{f_X(x)}

第六章 随机变量的函数及其分布

第一节 一维随机变量的函数及其分布

设连续性随机变量X的密度函数为f_X(x)，y=g(x)是一严格单调函数，且具有一节连续导数，x=h(y)是y=g(x)的反函数，则Y=g(X)的密度函数为f_Y(y)=f_X(h(y))|h'(y)|

第二节 多维随机变量的函数及其分布

二维离散型

二维连续型

设（X, Y）的联合密度函数为f(x,y), Z = g(X, Y)

F_Z(z) = P(Z \leq z) = P(g(X, Y) \leq z) = P((X, Y) \in D_z) = \int\int_{D_z}f(x,y)dxdy

其中D_z = \{(x,y)|g(x,y) \leq z\}

多为随机变量的极大、极小分布

假定X_1, X_2, \dots, X_n相互独立，且X_i有分布函数F_{X_i}(x_i), g_1(x_1), g_2(x_2), \dots, g_n(x_n)是一元实值函数且Y_i = g(X_i)则Y_1, Y_2, \dots, Y_n是相互独立的
考察极大极小变量的分布

Y = \mathop{min}_{1 \leq i \leq n}X_i ~~~~~~Z = \mathop{max}_{1 \leq i \leq n}X_i

因为独立性

\begin{aligned}
F_Z(z) = P(Z \leq z)=P(X_i \leq z) 
&= P(X_1 \leq z)P(X_2 \leq z){\dots}P(X_n \leq z)  \\
&= F_{X_1}(z)F_{X_2}(z){\dots}F_{X_n}(z)
\end{aligned}

同样对Y

\begin{aligned}
F_Y(y) = P(Y \leq z) &= 1 - P(Y \geq y) = 1 - P(X_1 > y, X_2 > y, \dots, X_n > y)\\
&=1-P(X_1 > y)P(X_2 > y){\dots}P(X_n > y) \\ 
&=1 - (1-F_{x_1}(y))(1-F_{x_2}(y)){\dots}(1-F_{x_n}(y))
\end{aligned}

特例，如果X_i独立同分布

F_Z(z) = [F_{X}(z)]^n  ~~ f_Z(z) = n[F_X{z}]^{(n-1)}f_(z) 

F_Y(y) = 1 - [(1 - F_X(y))]^n ~~ f_Y(y) = n[1 - F_X(y)]^{(n-1)}f_X(y)

第七章 数学期望与中位数

数学期望

E(x) = \sum{x_i}{p_i}

当求和项为无限项时，要求\sum{|x_i|}{p_i} < +\infty

连续型数学期望

E(x) = \int{x}{f(x)}dx

要求\int{|x|}{f(x)} < +\infty

E(g(x)) = \int{g(x)}{f(x)}dx 

要求\int{|g(x)|}{f(x)} < +\infty

数学期望的性质

• (i)E(c) = c
• (ii) E(aX + bY) = aE(x) + bE(Y)
• (iii) E(XY) = E(X)E(Y) (X, Y相互独立)
  

  中位数和百分位数

  百分位数的定义

  P(X \leq x_\alpha)=\alpha

  x_\alpha称为X的\alpha分位数
  同时有上分位数

  P(X \geq x_{\alpha}^{'}) = \alpha

  显然有x_{\alpha}^{'} = x_{1 - \alpha}

第二节 方差和标准差

方差

\begin{aligned}
D(X) &= E[(X - E(X))^2] \\
&= E[X^2 + (E(X))^2 - 2XE(X)] \\
&= E(X^2) - 2(E(X))^2 + (E(X))^2 \\ 
&= E(X^2) - (E(x))^2
\end{aligned}

方差的性质

• (i)D(c) = 0
• (ii)D(aX) =a^2D(X)
• (iii)D(X \pm Y) = D(X) + D(Y) \pm 2E[(X-E(X))(Y-E(Y))]
• (iv)若X,Y相互独立 D(X \pm Y) = D(X) \pm D(Y)
  

  第三节 协方差和相关系数

  协方差

  \begin{aligned}
  cov(X, Y) &= E[(X-E(X))(Y-E(Y))] \\
  &= E(XY) - E(X)E(Y)
  \end{aligned}

  性质

• (i)cov(X, Y) = cov(Y, X)
• (ii) cov(X, X) = D(X)
• (iii)cov(aX + b, cY + d) = accov(X, Y)

定义相关系数为

\rho_{X,Y}=\frac{cov(X, Y)}{\sigma{(X)}\sigma{(Y)}}

性质

• (i) |\rho_{X, Y} \leq 1|
• (ii) \rho_{X, Y} = 0 \Leftrightarrow X, Y不相关
• (iii)|\rho_{X, Y}|=1,则X,Y完全相关，其充要条件为，存在常数a,b使得P(Y=aX + b) = 1

第五节 中心极限定理

棣莫弗-拉普拉斯中心极限定理

独立同分布的中心极限定理

X_i独立同分布，E(X_i) = \mu, D(X_i) = {\sigma}^2,则

lim_{n \to \infty}P(\frac{\sum_{i=1}^{n}X_i - n\mu}{\sqrt{n}\sigma} \leq x) = \Phi{(x)}

也就是说\overline{X} \sim N(\mu, \frac{{\sigma}^2}{n})

第八章 统计量和抽样分布

第一节 统计与统计学

第二节 统计量

统计量

完全由样本可以确定的量（可以是向量）

常用统计量

样本均值

\overline{X} = \frac{1}{n}\sum_{i=1}^{n}X_i

样本方差

\begin{aligned}
S &= \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(X_i - \overline{X})^2} \\
&= \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}X_i^2 - \overline{X}^2}
\end{aligned}

样本中位数

med = \begin{aligned}
\begin{cases}
x_{(n + 1) /2},   ~~~~~~~~~~~~~~~~~~~~~~n为奇数 \\ 
\frac{1}{2}[x_{n/2} + x_{n/2 + 1}], ~~~~~~~n为偶数
\end{cases}
\end{aligned}

第三节 抽样分布

定理1 设总体中个体总数为N,样本容量为n,且总体有均值\mu，方差\sigma^2，则
(i)E(\overline{X}) = \mu

(ii)当抽样是有放回时

D(\overline{X})=\frac{\sigma^2}{n} ~~~~~\sigma({\overline{X}})=\frac{\sigma}{\sqrt{n}}

当抽样是不放回时

D(\overline{X}) = \frac{N - n}{N - 1} \cdot \frac{\sigma^2}{n} ~~~~~
\sigma(\overline{X}) = \frac{\sigma}{\sqrt{n}}

三个重要分布

\chi^2分布

X_i为相互独立的服从标准正态分布的随机变量，则随机变量

U = X_1^2 + X_2^2 + \dots + X_n^2

服从自由度为n的\chi^2分布，记作U \sim \chi^2(n)，且有E(U) = n, ~~~D(U) = 2n
\chi^2分布具有可加性

t分布

X, Y相互独立，且X \sim N(0, 1), ~~Y \sim \chi^2(n)，则随机变量

T = \frac{X}{\sqrt{Y/n}}

服从自由度为n的T分布，记作T \sim t(n)

F分布

U, V相互独立，且U \sim \chi^2(n), ~~~V \sim \chi^2(m)，则随机变量

F = \frac{U / n}{V / m}

服从自由度为(n, m)的F分布，记作F \sim F(n, m)

三个都可以查表，t的概率密度函数关于y轴对称，由对称性可知

t_{1-\alpha}(n) = -t_{\alpha}(n)

由F分布的定义可知

F_{1-\alpha}(n, m) = \frac{1}{F_{\alpha}(m, n)}

正态总体的抽样分布

假设X_i是来自正太总体N(\mu, \sigma^2)的样本
定理2
(i)\overline{X} \sim N(\mu, \frac{\sigma^2}{n})
(ii)\overline{X}与S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i - \overline{X})^2相互独立
(iii)\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)
其中S为样本方差

第九章 点估计

第一节 点估计问题

假定f(x, \theta)表示总体X的分布，\theta为未知的参数，可以是向量，theta的取值范围\Theta是已知的，称为参数空间，当X为离散型时，f(x, \theta)为分布律，当X为连续型时，f(x, \theta)为密度函数。参数\theta标示X的真分布在分布族F的位置，起到总体分布的定位作用

设X_i是来自总体X的样本，并且是独立同分布的，那么可以一般地将统计模型表述为

f(x_1, \theta)f(x_2, \theta){\dots}f(x_n, \theta) ~~~~ (\theta \in \Theta)

我们只要知道了\theta，就完全知道了总体X的分布。

假设有一个与\theta有关的感兴趣指标\eta = g(\theta)，我们要基于样本X_i，估计g(\theta)，如果g(\theta)是恒等函数，那么估计g(\theta)就等价于估计\theta，这样的统计问题叫做点估计

假设X_1, X_2, \dots, X_n是来自总体X \sim f(x, \theta)的样本，我们把任意一个用以估计分布参数\theta的统计量\hat{\theta}=\hat\theta({X_1, X_2, \dots, X_n})为\theta的估计量，简称估计，相应的估计值\hat{\theta} = \hat\theta{(x_1, x_2, \dots, x_n)}

估计的自助程序：
若\hat\theta是\theta的一个估计，则\eta = g(\theta)自动的被估计为\hat\theta = g(\hat\theta)

估计量不是唯一的，同一参数可以构造不同的统计量来估计

第二节 估计方法

设X_i为来自总体X \sim f(x, \theta)的样本，\theta = (\theta_1, \theta_2, \dots, \theta_n)是未知参数。
记\mu_i=E(X^i)为总体的i阶原点矩，m_i=\frac{1}{n}\sum_{j=1}^{n}{X_j^i}为样本的i阶原点矩

替换原理
若参数\theta_i可以表示成\theta_i=g_i(\mu_1, \mu_2, \dots, \mu_n)，其中g_1, g_2, \dots, g_n为k个多元的已知函数，则可以用m_i代替\mu_i，得到\hat\theta_i=g_i(m_1, m_2, \dots, m_n)，即为\theta_i的点估计

矩估计

列出方程

\begin{aligned}
\begin{cases}
\mu_1(\theta_1, \theta_2, \dots, \theta_n)=m_1 \\
\mu_2(\theta_1, \theta_2, \dots, \theta_n)=m_2 \\
\dots \\
\mu_k(\theta_1, \theta_2, \dots, \theta_n)=m_k
\end{cases}
\end{aligned}

接触\theta_i，即为\theta_i的矩估计

极大似然估计

似然函数：
固定X_1, X_2, \dots, X_n，让\theta变化

L(\theta) = f(X_1, \theta)f(X_2, \theta){\dots}f(X_n, \theta) ~~~ \theta \in \Theta

这就是似然函数
直观上来看，L(\theta)表示由参数\theta产生样本X_1, X_2, \dots, X_n的可能性大小。因此\theta的一个合理估计，应该是这种可能性达到最大，因此

L(\hat\theta) = \mathop{max}_{\theta \in \Theta}L(\theta)

引入对数似然函数l(\theta) = lnL(\theta),求解似然方程

\frac{\partial{l(\theta)}}{\partial\theta}=0

就可以得到参数\theta的估计值

第三节 点估计的优良性

无偏型

假设X_i是来自总体X的样本，估计g(\theta)
\hat{g} = \hat{g}(X_1, X_2, \dots, X_n)是g(\theta)的一个估计量，如果对所有的\theta \in \Theta都有

E_g(\hat{g}) = g(\theta)

则称\hat{g}为g(\theta)的一个无偏估计

直观理解就是样本的统计量等于总体的参数

有效性

相合型

第十章 区间估计

第一节 置信区间

置信区间

设X_1, X_2, \dots, X_n是来自总体X \sim f(x, \theta)的样本，对于任意0 \leq \alpha \leq 1，若有统计量\underline\theta=\underline\theta(X_1, X_2, \dots, X_n) < \overline\theta(X_1, X_2, \dots, X_n) = \overline\theta，使得

P_{\theta}(\underline\theta \leq \theta \leq \overline\theta) \geq 1 - \alpha

则称[\underline\theta, \overline\theta]为\theta的双侧1 - \alpha置信区间，1 - \alpha为置信水平
一旦样本有观测值x_1, x_2, \dots, x_n，则称相应的[\underline\theta{(x_1, x_2, \dots, x_n)}, \overline\theta{(x_1, x_2, \dots, x_n)}]为置信区间的观测度

如果存在统计量\overline\theta，使得

P(\theta \leq \overline\theta) \geq 1 - \alpha

则称\overline\theta为\theta的置信水平为1 - \alpha置信上限，类似的同样有置信下限

枢轴变量法求参数

(i)先求出\theta的一个点估计（通常为最大似然估计）\hat\theta=\hat\theta({X_1, X_2, \dots, X_n})
(ii)通过\hat\theta的分布，构造出一个枢轴函数G(\hat\theta, \theta)
(iii)由于G(\hat\theta, \theta)的分布完全已知，从而可以确定a < b，使得

P(a \leq G(\hat\theta, \theta) \leq b) \geq 1 - \alpha

当G的分布为连续型时，只考虑取等的情形
(iv)将a \leq G(\hat\theta, \theta) \leq b等价变形为\underline\theta \leq \theta \leq \overline\theta，其中\underline\theta, \overline\theta只与\hat\theta有关，则[\underline\theta, \overline\theta]就是\theta的1 - \alpha置信区间

枢轴函数G(\hat\theta, \theta)满足
(i) G(\overline{X}, \mu)除了含有关心的未知参数\mu以外，不含有其他未知参数
(ii) G(\overline{X}, \mu)的分布是完全已知或者完全可以确定的

第二节 正态总体下的置信区间

均值估计

设X_i是取自总体X \sim N(\mu, \sigma^2)的样本，若\sigma^2已知，求参数\mu的1-\alpha置信区间

首先\overline{X}是\mu的一个点估计，而

U = \frac{\sqrt(n)(\overline{X} - \mu)}{\sigma} \sim N(0, 1)

因此U是枢轴函数，取k = u_{1 - \alpha/2}时

P(|U| \leq k) = 1 - \alpha

也即

\overline{X}-k\frac{\sigma}{\sqrt(n)} \leq \mu \leq \overline{X}+k\frac{\sigma}{\sqrt(n)}

若\sigma^2未知，则用S作\sigma的估计

U = \frac{\sqrt(n)(\overline{X} - \mu)}{S}

可知U \sim t(n-1)，此时取k = t_{1 - \alpha / 2}(n - 1)

P(|T| \leq k) = 1 - \alpha

得到\mu的置信区间

\overline{X}-k\frac{S}{\sqrt(n)} \leq \mu \leq \overline{X}+k\frac{S}{\sqrt(n)}

方差估计

若\mu已知，则\hat\sigma^2=\frac{1}{n}\sum_{i=1}^{n}(X_i - \mu)^2是\sigma^2的点估计，且

\frac{n\hat\sigma^2}{\sigma^2} \sim \chi^2(n)

则\chi^2是枢轴函数，取a = \chi_{\alpha/2}^2(n), b = \chi_{1 - \alpha/2}^2(n) ，有

P(a \leq \chi^2 \leq b)=1-\alpha

则\sigma^2的1 - \alpha置信区间为

\frac{n\hat\sigma^2}{\chi_{1 - \alpha/2}^2(n)} \leq \sigma^2 \leq \frac{n\hat\sigma^2}{\chi_{\alpha/2}^2(n)}

若\mu未知，用\overline{X}代替\mu，则

\chi^2 = \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)

取a = \chi_{\alpha/2}^2(n-1), b = \chi_{1 - \alpha/2}^2(n-1) ，有

P(a \leq \chi^2 \leq b)=1-\alpha

则\sigma^2的1 - \alpha置信区间为

\frac{(n - 1)S^2}{\chi_{1 - \alpha/2}^2(n-1)} \leq \sigma^2 \leq \frac{(n - 1)S^2}{\chi_{\alpha/2}^2(n-1)}

双正态总体

\overline{X} - \overline{Y} \sim N(\mu_1 - \mu_2, \frac{\sigma_1^2}{m} + \frac{\sigma_2^2}{n})

若\sigma_1^2，\sigma_2^2已知，可导出枢轴函数

U = \frac{\overline{X} - \overline{Y} - (\mu_1 - \mu_2)}{\sqrt{\frac{\sigma_1^2}{m} + \frac{\sigma_2^2}{n}}} \sim N(0, 1)

{}取k=u_{1 - \alpha/2}，即

P(|U| \leq k) = 1 - \alpha

可求得\mu_1 - \mu_2的1 - \alpha置信区

[\overline{X} - \overline{Y} - u_{1 - \alpha/2}\sqrt{\frac{\sigma_1^2}{m} + \frac{\sigma_2^2}{n}}, \overline{X} - \overline{Y} + u_{1 - \alpha/2}\sqrt{\frac{\sigma_1^2}{m} + \frac{\sigma_2^2}{n}}]

若\sigma_1^2=\sigma_2^2=\sigma^2但是\sigma^2未知，记

S_w^2 = \frac{1}{m + n - 2}[\mathop{\sum}_{i=1}^{m}(X_i - \overline{X})^2 + \mathop{\sum}_{j=1}^{n}(Y_i - \overline{Y})^2]

令

T = \frac{\overline{X} - \overline{Y} - (\mu_1 - \mu_2)}{S_w\sqrt{\frac{1}{m} + \frac{1}{n}}} \sim t(m + n - 2)

取k = t_{1-\alpha/2}(m+n-2)，可求得\mu_1 - \mu_2的置信区间

[\overline{X} - \overline{Y} -kS_w\sqrt{\frac{1}{m} + \frac{1}{n}},\overline{X} - \overline{Y} + kS_w\sqrt{\frac{1}{m} + \frac{1}{n}}]

第十一章 假设检验

原假设H_0：可以用总体参数(或分布)等于某个特定值(或者特定已知分布)来表示,表示总体不存在所要寻找的变异。

备择假设H_1::可以用总体参数(或分布)与某个特定值(或者特定已知分布)不相等来表示,表明了总体的变异。

检验统计量

在提出原假设和备择假设后,接下来就要构造一个适当的能度量观测值与原假设下期望数之间的差异程度的统计量,我们称之为检验统计量。要求在 H_0 下分布是完全已知或者说可以计算的。

p值及p值法

在 H_0 下,检验统计量取得特定观察值甚至比之更极端这样事件的概率,我们称这一概率为 p 值. 使用 p 值做假设检验是一种常用的方法,其要旨是:在有了检验统计量以及它的观察值之后,只需计算出相应的 p 值,如果 p 值较大,表明在原假设下出现这个观察值并无不正常之处,因而不能拒绝原假设; 如果 p 值很小,则在原假设下在该次试验发生了一个小概率事件,这是与实际推断原理相矛盾,从而表明数据
不支持原假设,有理由作出拒绝原假设的结论。

第二节 显著性水平检验法与正态总体检验

第一类错误是弃真的错误
第二类错误是采伪的错误

显著性水平检验法

• 拒绝域：样本点的集合 R，使得当样本落入 R 就拒绝 H_0 。因此，一个拒绝域即一个检验规则。
• 显著性水平 \alpha 检验：对给定的 0 < \alpha < 1,如果在 H_0 下有P({样本落入 R}|H_0 ) ⩽ \alpha,则称 R 所代表的检验是显著性水平 \alpha 的检验。
• 显著性水平 \alpha 也就是犯第一类错误的概率在 \alpha 以下。

求解过程
(i)首先将实际问题模型化为待检验假设H_0和H_1
(ii)然后基于样本估计假设中的总体未知参数，提出检验统计量
(iii)由检验统计量诱导出一个偏离H_0的规则，从而构造检验的拒绝域R
(iv)算出检验统计量的观测值，判定样本观测值是否落入拒绝域R

正态总体检验

正态总体均值的检验

单正态

双正态总体

正态总体的方差检验