没有什么比年轻时代更感寂寞的了。——《こころ》

# 概率论

# 随机事件及其概率

# 随机事件及其运算

随机试验：

• 试验可在相同条件下重复进行。
• 试验的结果不止一个，且都明确可知。
• 每次试验之前，不知道哪个结果将会出现。

• 试验$E$ 中的每一个可能结果称为基本事件，或称为样本点，所有基本事件组成的集合称为试验$E$ 的样本空间，记为$\Omega$。
• 具有某种性质的样本点构成的集合称为试验$E$ 的随机事件，简称为事件。用大写字母表示。事件是样本空间的子集。
• 在随机试验中，事件 A 发生当且仅当 A 包含的某一样本点出现。
• 又样本空间中所有的样本点组成的事件称为必然事件，就用$\Omega$ 表示，而空集则为不可能事件。

事件的关系：包含、并、交、差、互不相容事件、对立事件都可以对应集合关系。

# 古典概型与几何概型

定义：设在相同的条件下，进行了 n 次试验，在这 n 次试验中事件 A 出现了 m 次，则称：

$$f_n(A)=\frac{m}{n}$$

为随机事件 A 在 n 次试验中出现的频率，m 称为频数。

• 经验表明，当试验次数相当大时，频率总是稳定于某一常数附近，以某一常数为中心作微小的摆动，这称为频率的稳定性。

定义：在大量重复试验中，若事件 A 发生的频率稳定在某一常数 p 附近摆动，则称改常数 p 为事件 A 发生的概率，记为$P(A)=p$。

• 注意 n 足够大，有$f_n(A)\approx P(A)$。

古典概型定义：设试验结果共有 n 个基本事件$\omega_1,...,\omega_n$，而且这些事件发生的可能性相等。事件 A 由其中的 m 个基本事件组成，则事件 A 的概率为：

$$P(A)=\frac{m}{n}$$

• 注意古典概型要求了：
  • 基本事件是有限可数的。
  • 每次试验中，每个基本事件发生是等可能的。

几何概型定义：如果试验$E$ 的可能结果可以几何地表示为某区域$\Omega$ 中的一个点，并且点落在$\Omega$ 中某区域 A 的概率与 A 的测度成正比，而与 A 的形状无关。则随机点落在区域 A 的概率为：

$$P(A)=\frac{mA}{m\Omega}$$

其中$mA$ 表示 A 的测度。

# 概率的公理化定理及其性质

• 几何概型中，由于计算事件的概率需要几何图形的测度，因此不能把不可测集当作事件。于是我们可以递归定义事件集合。（即产生了全部的合法事件）

• $\Omega \in \mathscr{F} $
• 若$A\in\mathscr{F}$，则\bar{A} \in \mathscr
• 若$A_n\in\mathscr{F},n=1,2,3,...$，则$\bigcup_{n=1}^{\infin}A_n\in\mathscr{F}$（其实这个要求结合上前两个也就可以证明集合对交封闭）

• 满足上述三个规定的子集称为$\sigma$ 域，或称$\sigma$ 代数，在概率论中我们称为事件域。

  • 例：一维博雷尔域：一切形如$[a,b)$ 的有界左闭右开的开区间构成的集类产生的$\sigma$ 域。（注意并不是说博雷尔$\sigma$ 域中所有元素都是形如$[a,b)$ 的，而是说元素都是由$\{[a,b)|a,b\in R\}$ 和上面三条规则生成的）对博雷尔域，有：

    • $\{x\}=\bigcap_{n=1}^\infin[x,x+\frac{1}{n})$
    • (x,y)=[x,y)- \
    • [x,y]=[x,y)+ \
    • (x,y]=[x,y)+ \{ y \}- \

    因此，任何一维实数区间都是博雷尔域中的元素。

概率的公理化：对于样本空间的一个事件域，若对于事件域中的任何一个事件 A，都有一个实数$P(A)$ 与之对应，并且满足：

• 非负性：$P(A)\geq 0$

• 规范性：$P(\Omega)\geq 0$

• 可列可加性：对于两两互不相容的可列个事件$A_1,...,A_n,...$，有

$$P(\sum_{i=1}^\infin A_i)=\sum_{i=1}^\infin P(A_i)$$

则称$P(A)$ 为事件 A 的概率。

显然概率有可列可加，可减，单调性等等。

• 上下连续性：若有$A_1\subset A_2\subset ...\subset A_n\subset...$，则：

  $$P(\bigcup_{i=1}^\infin A_i)=\lim_{n\rightarrow\infin}P(A_n)\\$$

  若有$A_1\supset A_2\supset...\subset A_n\supset...$，则：

  $$P(\bigcap_{i=1}^\infin A_i)=\lim_{n\rightarrow\infin}P(A_n)$$

概率空间：三元组$(\Omega,\mathscr{F},P)$。

# 条件概率与事件独立性

• 事件 A 发生的前提下，事件 B 发生的概率称为条件概率，记为：$P(B|A)$。

设$(\Omega,\mathscr{F},P)$ 是一个概率空间，$A\in\mathscr{F}$，$P(A)>0$。则对任意$B\in\mathscr{F}$，记：

$$P(B|A)=\frac{P(AB)}{P(A)}$$

• 条件概率也满足：

  • 非负性：$\forall B,P(B|A)\geq 0$
  • 规范性：$P(\Omega|A)=1$
  • 可列可加性：$P(\sum_{i=1}^\infin A_i|B)=\sum_{i=1}^\infin P(A_i|B)$

• 条件概率的乘法公式：

  $$P(A_1A_2...A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)...P(A_n|A_1A_2...A_{n-1})\\ P(A_1A_2...A_{n-1})>0$$

若对概率空间中的两个事件 A，B，有：

$$P(AB)=P(A)P(B)$$

则称事件 A 与事件 B 是相互独立。否则称他们不相互独立，或相依的。

• 定理：若事件 A 与 B 相互独立，则事件$\bar{A}$ 和$B$ 也是相互独立的。

对于三个事件$A,B,C$，若有：

$$\begin{cases}P(AB)=P(A)P(B)\\P(AC)=P(A)P(C)\\P(BC)=P(B)P(C)\end{cases}$$

则称它们两两独立。若有：

$$\begin{cases}P(AB)=P(A)P(B)\\P(AC)=P(A)P(C)\\P(BC)=P(B)P(C)\\P(ABC)=P(A)P(B)P(C)\end{cases}$$

则称 A, B, C 相互独立。

• 相互独立可以推出两两独立，但两两独立无法推出相互独立。一般地，对于一个事件序列$A_1,...,A_n,...$，若其中任意有限个事件都相互独立，则称$A_1,...,A_n,...$ 是独立事件序列。

# 全概率公式与贝叶斯公式

定义：设$A_1,...,A_n$ 是一组事件，若它们两两互不相容，而且：

$$\sum_{i=1}^n A_i=\Omega$$

则称它们是样本空间的一个分割，亦称完备事件组。

全概率公式：对于$\Omega$ 的一个分割$A_1,...,A_n,P(A_i)>0$, 有：

$$\forall B\in\mathscr{F},P(B)=\sum_{i=1}^nP(B|A_i)$$

• 我愿称之为形式化的分类讨论。

贝叶斯公式：对于概率空间$(\Omega,\mathscr{F},P)$，$A_1,A_2,...,A_n$ 是样本空间的一个分割，则对任意$B\in\mathscr{F}$，$P(B)>0$，有：

$$P(A_k|B)=\frac{P(A_k)P(B|A_k)}{\sum_{j=1}^n P(A_j)P(B|A_j)},k=1,2,...,n$$

• 我愿称之为展开的概率反演。$P(A|B)=P(AB)/P(B)=P(AB)/P(A)*P(A)/P(B)=P(B|A)*P(A)/P(B)$。

# 伯努利概型

若试验$E_1$ 的任一结果（事件）都与试验$E_2$ 的任一结果（事件）相互独立，则称这两个试验相互独立。若试验$E_1,...,E_n$ 相互独立，则称其为 n 重重复试验。

若试验$E_1$ 的可能结果只有$A$ 和$\bar{A}$，则称其为伯努利试验。若将$E_1$ 重复进行 n 次，且 n 次试验都相互独立，则称为 n 重伯努利试验。

• n 重伯努利试验中，事件 A 发生 k 次的概率：

  $$P_n(k)=C_n^kp^k(1-p)^{n-k},P(A)=p$$

# 随机变量及其分布

# 随机变量与分布函数

定义：设$X(\omega)$ 是定义在概率空间$(\Omega,\mathscr{F},P)$ 上的单值实函数，即对每个$\omega\in\Omega$，都有$X(\omega)\in R$，并且对任意$x\in R$，$\{\omega|X(\omega)\leq x\}$ 都是随机事件（即其$\in\mathscr{F}$）则称$X(\omega)$ 是概率空间上的随机变量。通常简记为 X。

• 分布函数：$X\sim F(x)=P(X\leq x)$。定理：
  • 单调不减：$a<b\Rightarrow F(a)\leq F(b)$。
  • $0\leq F(x)\leq 1,\lim_{n\rightarrow +\infin}F(x)=1,\lim_{n\rightarrow-\infin}F(x)=-1$。
  • 右连续性：$F(x)$ 在任何点 x 处右连续。
    • 用$\bigcap\{X\leq x+\frac{1}{n}\}=\{X\leq x\}$ 和右极限$=\lim_{n\rightarrow\infin}F(x+\frac{1}{n})$ 来证明。
• 随机变量有离散型，非离散型（连续型，奇异型）等等分类。

# 离散型随机变量及其分布

设离散型随机变量 X 的所有可能取得值为$x_1,...,x_n$，而 X 取$x_k$ 的概率为$p_k$，即$P(X=x_k)=p_k(k=1,...,n)$。

称上式为随机变量 X 的概率分布律。

• 常见分布：

  • 退化分布：$P(X=C)=1$

  • 两点分布：$P(X=0)=p,P(X=1)=1-p$

  • 二项分布：P(X=k)=C_n^kp^k(1-p)^

    • 当$(n+1)p$ 为整数时，在$k=(n+1)p,(n+1)p-1$ 处概率取得最大值。若不为整数，则在$[(n+1)p]$ 取得最大值。于是$[(n+1)p]$ 称为二项分布$B(n,p)$ 的最可能出现次数，或称最可能值。
    • $E[X]=np,D(X)=np(1-p)$

  • 几何分布：$P(X=k)=(1-p)^{k-1}p$，记为$X\sim G(p)$。有$\sum_{i=1}^\infin P(X=k)=1$。

  • 超几何分布：N 件产品中有 M 件次品，现抽 n 件出来，其中的次品数服从超几何分布：

    $$P(X=k)=\frac{C_M^kC_{N-M}^{n-k}}{C_N^n},k=1,..,min(n,M)$$

泊松定理：设随机变量$X_n\sim B(n,p_n),(n=1,2,...)$。若有$\lim_{n\rightarrow\infin}np_n=\lambda$，则有：

$$\lim_{n\rightarrow\infin}P(X_n=k)=\frac{\lambda^k}{k!}e^{-\lambda}$$

• 泊松分布：$X\sim P(\lambda)$：

  $$P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},k=0,1,2,...$$

  自然界很多稀疏现象都服从泊松分布，故其又称为稀疏现象律。泊松分布最可能值为$\lambda,\lambda -1$ 或$[\lambda]$。

  • $E[X]=\lambda,D(X)=\lambda$

# 连续型随机变量及其分布

定义：设随机变量 X 的概率分布函数为$F(x)$，如果存在一个函数$f(x)$，对于任意实数 x，都有：

$$F(x)=\int_{-\infin}^xf(t)dt,x\in R$$

则称 X 为连续性随机变量，$f(x)$ 为 X 的概率密度函数。

• 连续型随机变量有：$P(X=a)=0,P(a\leq X\leq b)=P(a<X\leq b)=P(a\leq X<b)=P(a<X<b)$。

• 一个事件概率为零，他并不一定是不可能事件（空集）。同样，概率为 1 的也不一定是必然事件。

• 常见分布：

  • 均匀分布：$X\sim U[a,b]$：

    $$f(x)=\begin{cases}\frac{1}{b-a}&a\leq x\leq b\\0&else\end{cases}$$

  • 指数分布：$X\sim E(\lambda)$:

    $$f(x)=\begin{cases}\lambda e^{-\lambda x}&x>0\\0&x\leq 0\end{cases}$$

    • 指数分布具有无记忆性：$P(X>s+t|X>s)=P(X>t)$。

• E[X]=\frac{1}{\lambda},D(X)=\frac{1}

  • 正态分布：$X\sim N(\mu,\sigma^2)$:

    $$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},x\in R$$

    • 标准正态分布的概率函数和分布函数记为$\varphi(x),\Phi(x)$。有$\Phi(-x)=1-\Phi(x)$（关于 y 轴对称）。
    • 3$\sigma$ 原则：正态分布几何全部的取值都落在$[\mu-3\sigma,\mu+3\sigma]$ 内。

# 随机变量函数的分布

• 定理：设连续型随机变量$X$ 具有概率密度函数$f_X(x)$，其可能的取值范围为$(a,b)$（可以到无穷）。则：

  • 若函数$y=g(x)$ 在区间$(a,b)$ 上严格单调，其反函数$x=g^{-1}(y)$ 有连续的导函数，则$Y=g(X)$ 也是连续型随机变量，其概率密度函数为：

    $$f_Y(y)=\begin{cases}f_X(g^{-1}(y))|(g^{-1})'(y)|& min(g(a),g(b))<y<max(g(a),b(b))\\0&else\end{cases}$$

  • 若函数$y=g(x)$ 在区间$(a,b)$ 中不重叠的区间$I_1,...,I_n$ 上逐段严格单调，其反函数$h_1(y),...,h_n(y)$ 在段内均有连续导函数，则 Y 也是连续型随机变量：

    $$f_Y(y)=\sum_{i=1}^nf_X(h_i(y))|h_i'(y)|$$

# 多维随机变量及其分布

# 二维随机变量及其分布

定义：设$(X,Y)$ 是二位随机变量，对任意实数$x,y$，二元函数 $ F (x,y)=P (X\leq x,Y\leq y)$称为随机变量$ (X,Y)$ 的联合分布函数。

• 特别地，如果二阶偏导数$f(x,y)$ 连续（即与求偏导顺序无关），则定义$f(x,y)=\frac{\partial^2F(x,y)}{\partial x\partial y}$ 为联合密度函数。
  • 二维正态分布
  • 二维均匀分布

# 边缘分布

记二维随机变量的分布函数$F(x,y)$ 关于$X$ 和$Y$ 的边缘分布函数为$F_X(x)=F(x,+\infin),F_Y(y)=F(+\infin,y)$。同样也有边缘概率密度函数：$f_X(x)=\int_{-\infin}^{+\infin}f(x,y)dy$。

• 二维正态分布的边缘分布仍为正态分布。
• 边缘分布的理解就是不论 y 取什么，只考虑 x 的取值情况。就像对多量子比特系统中，对单一比特进行测量之后引起的系统的坍塌。

# 条件分布

条件概率分布函数的定义为：$F_{Y|X}(y|x)=\frac{F(x,y)}{f_X(x)}=\int_{-\infin}^y\frac{f(x,v)dv}{f_X(x)}$，条件概率密度函数为f_{Y|X}(y|x)=\frac{f(x,y)}

# 随机变量的独立性

若对二维随机变量$(X,Y)$，有$\forall x,y.F(x,y)=F_X(x)F_Y(y)$ 或$f(x,y)=f_X(x)f_Y(y)$（两式等价），则称 X 与 Y 相互独立。

# 二维随机变量函数的分布

令$Z=g(X,Y)$，一般会先求$Z$ 的分布函数$F_Z(z)=\iint_{g(x,y)\leq z}f(x,y)dxdy$，然后再求导得到$f_Z(z)$。

• 若$Z=X+Y$，有$f_Z(z)=\int_{-\infin}^{+\infin}f(x,z-x)dx=\int_{-\infin}^{+\infin}f(z-y,y)dy$。（令$u=x+y$）概率密度函数卷积公式
• 若$Z=\frac{X}{Y}$，有$f_Z(z)=\int_{-\infin}^{+\infin}f(yz,y)|y|dy$。
• 若$Z=max(X,Y)$，有$F_Z(z)=F_X(z)F_Y(z)$。（若 X，Y 相互独立）
• 若$Z=min(X,Y)$，有$F_Z(z)=1-[1-F_X(z)][1-F_Y(z)]$。

# 随机变量的数字特征与极限定理

# 数学期望

设连续型随机变量$X$ 的概率密度函数为$f(x)$，若积分$\int_{-\infin}^{+\infin}xf(x)dx$ 绝对收敛，则称该积分值为 X 的数学期望。

• 若积分$\int_{-\infin}^{+\infin}g(x)f(x)dx$ 绝对收敛，则有：

  $$E[g(X)]=\int_{-\infin}^{+\infin}g(x)f(x)dx$$

• 对任意随机变量 X，Y 都有$E[X+Y]=E[X]+E[Y]$，但只有当它们独立时，才有$E[XY]=E[X]E[Y]$。

• 柯西 - 施瓦泽不等式：$(E[XY])^2\leq E[X^2]E[Y^2]$。

# 方差

设 X 是随机变量，如果$E[(X-E(X))^2]$ 存在，则称之为 X 的方差，记为$D(X)$。

• $D(X)=E[(X-E[X])^2]=E[X^2]-2E[X]E[X]+E[X]^2=E[X^2]-E[X]^2$。

# 协方差与相关系数

定义$Cov(X,Y)=E[(X-E[X])(Y-E[Y])]$ 称为随机变量$X$ 和$Y$ 的协方差，$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$ 称为随机变量 X 和 Y 的相关系数。

• 常用计算协方差方法：$Cov(X,Y)=E[XY]-E[X][Y]$。

• 性质：

  • $Cov(X,Y)=Cov(Y,X)$
  • $Cov(a_1X+b_1,a_2Y+b_2)=a_1a_2Cov(X,Y)$
  • $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,y)$
  • $D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$
  • $X,Y$ 独立$\Leftrightarrow Cov(X,Y)=0$
  • $|\rho_{XY}|\leq 1$，且取等的充要条件是$X$ 和$Y$ 呈线性关系。

• 一般来说，$|\rho_{XY}|$ 越大，X 和 Y 的 “线性相关” 越强，若$\rho_{XY}=0$，则它们独立。注意，当且仅当$\rho_{XY}=0$ 时称他们不相关。

• $X$ 和$Y$ 独立$\Rightarrow Cov(X,Y)=0$，反之不一定成立。譬如$X\sim U[-1,1],Y=X^2$。

称$E[X^k]$ 为 X 的 k 阶原点矩。

称$E[(X-E[X])^2]$ 为 X 的 k 阶中心矩。

称$E[X^kY^l]$ 为 X 和 Y 的 k+l 阶混合矩。

称$E[(X-E[X])^k(Y-E[Y])^l]$ 为 X 和 Y 的 k+l 阶中心混合矩。

# 大数定律

切比雪夫不等式：

$$\forall \varepsilon>0,P(|X-E[X]|\geq\varepsilon)\leq\frac{D(X)}{\varepsilon^2}$$

• 切比雪夫大数定律：

  设随机变量$X_1,...,X_n,...$ 相互独立，且有相同的数学期望和方差，即：$E[X_k]\equiv \mu,D(X_k)\equiv \sigma^2$，则有：

  $$\forall\varepsilon >0,\lim_{n\rightarrow\infin}P(|\frac{1}{n}\sum_{k=1}^nX_k-\mu|<\varepsilon)=1$$

• 辛钦大数定律：

  设随机变量$X_1,...,X_n,...$ 独立同分布，且有相同的数学期望，即$E[X_k]\equiv\mu$，则：

  $$\forall\varepsilon>0,\lim_{n\rightarrow\infin}P(|\frac{1}{n}\sum_{k=1}^{n}X_k-\mu|<\varepsilon)=1$$

  它不要求方差的存在，但要求同分布。

• 伯努利大数定律：

  在伯努利概型中（n 次独立重复试验，k 为事件 A 发生的次数，每次试验 A 发生的概率为 p），有：

  $$\forall\varepsilon>0,\lim_{n\rightarrow\infin}P(|\frac{k_n}{n}-p|<\varepsilon)=1$$

  伯努利大数定律从理论上说明任一随机事件的频率具有稳定性。因此可以在大量试验后，将发生的频率近似作为概率。

# 中心极限定理

很多独立随机变量的极限分布是正态分布。

• 列维 - 林德伯格中心极限定理：

  设$X_1,X_2,...,X_n,...$ 是独立同分布的随机变量：$E[X_k]\equiv \mu,D(X_k)\equiv\sigma^2$，则有：

  $$\forall x,\lim_{n\rightarrow\infin}P(\frac{\sum_{i=1}^nX_k-n\mu}{\sigma\sqrt{n}}\leq x)=\Phi(x)$$

  即独立同分布的随机变量之和$\sum_{i=1}^nX_k$ 近似于正态分布$N(n\mu,n\sigma^2)$。所以$\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}$ 近似服从$N(0,1)$。

• 蒂莫夫 - 拉普拉斯中心极限定理：

  设$Y_n$ 服从二项分布$B(n,p)$，则有：

  $$\forall x,\lim_{n\rightarrow\infin}P(\frac{Y_n-np}{\sqrt{np(1-p)}}\leq x)=\Phi(x)$$

  即 n 充分大时，二项分布近似于服从$N(np,np(1-p))$。

• 不同分布的中心极限定理：
  设$X_1,...,X_n,...$ 是独立不同分布的随机变量，$D(X_i)=\sigma_i^2$。若：

  $$\begin{cases}\lim_{n\rightarrow\infin}\sum_{i=1}^n\sigma_i^2=\infin\\\lim_{n\rightarrow\infin}\frac{max(\sigma_i^2)}{n}=0\end{cases}$$

  则：

  $$Y=\lim_{n\rightarrow\infin}\frac{\sum_{i=1}^nX_i}{n}$$

  服从正态分布。它表示，由足够多的随机变量，但每个随机变量又不起决定性作用，他们的平均随机变量服从正态分布。

# 数理统计

# 数理统计基本知识

# 总体与样本

• 从整体中抽取的待测的个体组成的集合称为样本。

简单随机样本需要满足：

• 独立性：$X_1,...,X_n$ 是相互独立的随机变量。
• 代表性：$X_1,...,X_n$ 要与总体$X$ 有相同的分布。

设$X_1,...,X_n$ 为来自总体$X$ 的简单随机样本，则有：

• $X_1,...,X_n$ 的联合分布函数为：$F_{X_1,...,X_n}(x_1,...,x_n)=\prod_{i=1}^n F(x_i)$，其中$F(x)$ 是总体$X$ 的分布函数。
• $E[X_i]\equiv E[X],D(X_i)\equiv D(X)$。

# 统计量与三大分布

不含任何未知参数，只关于样本的实值函数称为样本的一个统计量。常用统计量：

• 均值：$\bar{X}=\sum_{i=1}^nX_i$

• 样本方差：$S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2=\frac{1}{n-1}(\sum_{i=1}^nX_i^2-n\bar{X})$，这里为什么是除以$n-1$ 呢，是因为要保证标准差的无偏性，在后面 “估计量的优劣评价” 中会提到。

• 样本标准差：S=\sqrt

• 样本 k 阶原点矩：$A_k=\frac{1}{n}\sum_{i=1}^nX_i^k$

• 样本 k 阶中心矩：$B_k=\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2$

• 顺序统计量：最小、最大统计量$max(X_1,...,X_n),min(X_1,...,X_n)$

二维统计量：

• 协方差：$S_{XY}^2=\frac{1}{n-1}\sum_{i=1}^n（X_i-\bar{X})(Y_i-\bar{Y})$
• 样本相关系数：\rho_{XY} = \frac{S_{XY}^2}

---

三大分布：

• $\chi^2$ 分布：

  设随机变量$X_1,...,X_n$ 独立且都服从标准正态分布，则：

  $$\chi^2=X_1^2+...+X_n^2\\ f_{\chi^2}(x)=\begin{cases}\frac{1}{2^{n/2}\Gamma(n/2)}x^{\frac{n}{2}-1}e^{-x/2}&x>0\\0&x\leq 0\end{cases}$$

  有$E[\chi^2(n)]=n,D[\chi^n(n)]=2n$。

  $\chi^2(m)+\chi^2(n)=\chi^2(m+n)$。图像：

• t 分布（学生分布）：

  设随机变量$X,Y$ 相互独立，且$X\sim N(0,1),Y\sim\chi^2(n)$，则：

  $$t=\frac{X}{\sqrt{Y/n}}\\ f_t(x)=\frac{\Gamma[(n+1)/2]}{\sqrt{n\pi}\Gamma(n/2)}(1+\frac{x^2}{n})^{-\frac{n+1}{2}}$$

  有$E[t(n)]=0(n>1),D[t(n)]=\frac{n}{n-2}(n>2)$。

  当$n\geq 30$ 时，已经可以将 t 分布近似看成标准正态分布。图像：

• F 分布：

  设随机变量$X$ 和$Y$ 相互独立，且$X\sim\chi^2(m),Y\sim\chi^2(n)$，则：

  $$F=\frac{X/m}{Y/n}\\$$

  有$E[F(m,n)]=\frac{n}{n-2},D[F(m,n)]=\frac{2n^2(m+n-2)}{m(n-2)^2(n-4)}$，且$F\sim F(m,n)\Rightarrow\frac{1}{F}\sim F(n,m)$。图图：

  这些图一个比一个丑

---

上分位数点：$P(X>x_\alpha)=1-F(x_\alpha)=\alpha$，则$x_\alpha$ 称为 X 的上$\alpha$ 分位点。

• 正态分布的上分位点记为$u_\alpha$。
• $n\geq 40$ 时，$\chi^2_\alpha(n)\approx\frac{1}{2}(u_\alpha+\sqrt{2n-1})^2$
• 由 t 分布的对称性，有$t_{1-\alpha}(n)=-t_\alpha(n)$
• F_{1-\alpha}(m,n)=\frac{1}

---

顺序统计量的分布：设总体 X 具有分布函数$F(x)$，其密度函数为$f(x)$。则：

• X_{(1)}=min(X_1,...,X_n),f_{X_{(1)}}(x) = nf(x) [1-F(x)]^
• X_{(n)}=max(X_1,...,X_n),f_{X_{(n)}}(x) = nf(x)[F(x)]^
• $f_{X_{(1)},X_{(n)}}(x,y)=n(n-1)f(x)f(y)[F(y)-F(x)]^{n-2}(x\leq y)$。
• $f_{X_{(k)}}(x)=kC_n^kF(x)^{k-1}[1-F(x)]^{n-k}f(x)$

# ☆正态总体的抽样分布

设$X_1,...,X_n$ 是来自正态总体$X\sim N(\mu,\sigma^2)$ 的一组样本，则：

• $\bar{X}\sim N(\mu,\frac{\sigma^2}{n})$
• $\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$
• $\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$
• $\bar{X}$ 与$S^2$ 相互独立

设$X_1,...,X_n$ 是来自正态总体$X\sim N(\mu_1,\sigma_1^2)$ 的一组样本，设$Y_1,...,Y_n$ 是来自正态总体$Y\sim N(\mu_2,\sigma_2^2)$ 的一组样本，且两组样本间独立。则：

• $\frac{S_X^2/\sigma_1^2}{S_Y^2/\sigma_2^2}\sim F(m-1,n-1)$
• 剩下两个分布太麻烦了

# 参数估计和假设检验

# 参数的点估计

参数估计是根据样本对总体未知参数（如均值，方差）等进行估计的一种统计推断方法。

• 参数点估计：构造一个统计量$\hat{\theta}=\hat{\theta}(X_1,...,X_n)$，直接用$\hat{\theta}$ 作为$\theta$ 的估计值。

# 矩估计

• 矩估计法是用样本的 k 阶原点矩作为总体的 **k 阶原点矩$E[X^k]$** 的估计。

考虑要估计的参数是$\theta_1,...,\theta_m$，于是可以列出方程组：

$$\begin{cases}E[X]=f_1(\theta_1,...,\theta_m)=\frac{1}{n}\sum_{i=1}^n X_i\\ E[X^2]=f_2(\theta_1,...,\theta_m)=\frac{1}{n}\sum_{i = 1}^n X_i^2\\ ...\\ E[X^m]=f_m(\theta_1,...,\theta_m)=\frac{1}{n}\sum_{i=1}^n X_i^m \end{cases}$$

然后可以解方程组得到一组解$(\hat{\theta_1},...,\hat{\theta_m})$，就可以作为参数$(\theta_1,...,\theta_m)$ 的估计。

根据大数定律，有：

$$\forall\varepsilon>0,\lim_{n\rightarrow\infin}P(|\frac{1}{n}\sum_{i=1}^nX_i^m-E[X^m]|<\varepsilon)=1$$

所以样本的 k 阶原点矩就是总体的 k 阶原点矩的一个合理估计。

[例]：已知总体 X 的一组样本$X_1,X_2,...,X_n$，试估计总体的方差和均值。（假设它们存在）

• 列出方程组：

  $$\begin{cases}\mu=E[X]=\frac{1}{n}\sum_{i=1}^n X_i=\bar{X}\\ \mu^2+\sigma^2=E[X^2]=\frac{1}{n}\sum_{i=1}^n X_i^2 \end{cases}$$

  解得：

  $$\hat{\mu}=\bar{X}\\ \hat{\sigma^2}=\frac{1}{n}\sum_{i=1}^nX_i^2-\bar{X}^2=\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2=\frac{n-1}{n}S^2$$

• 从例题中，可以看到，估计实际上就是把总体的参数用以样本为自变量的函数来表示，当我们获得了一组样本值时，我们就可以对总体进行合理猜测，这就是统计，用获得的一部分数据去估计整体。

# 最大似然估计

考虑我们有一组样本值$x_1,...,x_n$，于是事件$A=\{X_1=x_1,...,X_n=x_n\}$ 发生的概率是一个关于参数$\theta=(\theta_1,...,\theta_m)$ 的函数$L(\theta)$。我们希望取得$\theta$ 的一个最大似然估计$\hat{\theta}$，此时$L(\hat{\theta})$ 取得最大值。

• $L(\theta)$ 的确定：

  • 若总体是离散型的，则显然：$P(X_1=x_1,...,X_n=x_n)=\prod_{i=1}^nP(X_i=x_i)$，而$P(X_i=x_i)$ 是关于$\theta$ 的函数。
  • 若总体是连续型的，则要求$L(\theta)=\prod_{i=1}^n \int_{x_i}^{x_i+dx_i}f(t)dt\approx\prod_{i=1}^nf(x_i)dx_i(dx_i\rightarrow 0)$，$f(x)$ 是概率密度函数。

• $\hat{\theta}$ 的确定：

  • 因为我们不关心$L(\theta)$ 的最大值，而只关心取得最大值时$\theta$ 的值。于是我们可以对$L(\theta)$ 取自然对数再求导（不影响极值点），这也可以证明：

    $$lnL(\theta)=ln(\prod_{i=1}^nf(x_i)dx_i)=\sum_{i=1}^nln(f(x_i))+\sum_{i=1}^nln(dx_i)\\ \frac{\partial lnL(\theta)}{\partial\theta}=\sum_{i=1}^n\frac{\partial ln(f(x_i))}{\partial\theta}$$

    因为$dx_i$ 与$\theta$ 无关，因此连续型的最大似然估计也可以直接选为$L(\theta)=\prod_{i=1}^nf(x_i)$。

设$X\sim N(\mu,\sigma^2)$，已知$X$ 的一组样本观测值$x_1,...,x_n$，求$\mu,\sigma^2$ 的最大似然估计。

$$L(\mu,\sigma^2)=\prod_{i=1}^nf(x_i)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\\ lnL(\mu,\sigma^2)=-\frac{n}{2}ln(2\pi)-\frac{n}{2}ln\sigma^2-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\\ \begin{cases}\frac{\partial lnL(\mu,\sigma^2)}{\partial\mu}=0\\ \frac{\partial lnL(\mu,\sigma^2)}{\partial\sigma^2}=0 \end{cases} \Rightarrow \hat{\mu}=\bar{x},\hat{\sigma^2}=\frac{n-1}{n}s^2$$

• 注意严格来说，最大似然估计是要知道样本的观测值的，当然也可以设成字母表示$a_1,...,a_n$。但用$X_1,...,X_n$ 来表示是不合理的。

---

# 估计量优劣的评价标准

通常用均方误差$MSE(\hat{\theta})=E[(\theta-\hat{\theta})^2]$ 来评价估计量的偏离程度。

• $$MSE(\hat{\theta})=E[[(\hat{\theta}-E[\hat{\theta}])+(E[\hat{\theta}]-\theta)]^2]\\ =E[(\hat{\theta}-E[\hat{\theta}])^2]+2(E[\hat{\theta}]-\theta)E[\hat{\theta}-E[\hat{\theta}]]+E[(E[\hat{\theta}]-\theta)^2]\\ =E[(\hat{\theta}-E[\hat{\theta}])^2]+(E[\hat{\theta}]-\theta)^2\\ =D(\hat{\theta})+(E[\hat{\theta}]-\theta)^2$$

  其中，中间项为 0 是因为$E[\hat{\theta}-E[\hat{\theta}]]=E[\hat{\theta}]-E[\hat{\theta}]=0$。

  式子中将$\hat{\theta}$ 作为随机变量，而把$\theta$ 作为已知常量。我的理解是，先给出一组样本$X_1,...,X_n$，然后这些样本都是和总体同分布的随机变量，此时可以进行点估计：$\hat{\theta}=f(X_1,...,X_n)$，所以可以对$\hat{\theta}$ 取期望。然后假如已知了参数$\theta$，此时我们可以$\hat{\theta}$ 成了未知量，因为样本没有被观测。然后我们可以计算出$\hat{\theta}$ 偏离已知的$\theta$ 的距离的平方的期望。

• 当$E[\hat{\theta}]-\theta=0$ 时，即$E[\hat{\theta}]=\theta$ 时，我们称估计量是无偏的。这是好满足的。

• 但$D(\hat{\theta})=0$ 是不可满足的，因为若$\hat{\theta}$ 是一个常数而与样本无关了，那显然不太合理。通常我们在无偏的估计中，选择方差最小的，也就是最有效的，称为最小无偏估计。

若$E[\hat{\theta}]=\theta$，则称$\hat{\theta}$ 是$\theta$ 的无偏估计，若$\lim_{n\rightarrow\infin}E[\hat{\theta}]=\theta$，则称$\hat{\theta}$ 是$\theta$ 的渐进无偏估计。否则就是有偏估计。

• 这里可以解释下之前留下的问题，为什么样本方差$S^2$ 中除以的是$n-1$。我们来证明：$E[S^2]=\sigma^2$，即$S^2$ 是$\sigma^2$ 的无偏估计。

  $$E[S^2]=\frac{1}{n-1}E[\sum_{i=1}^nX_i^2-2\bar{X}\sum_{i=1}^nX_i+\sum_{i=1}^n\bar{X}^2]\\ =\frac{1}{n-1}E[\sum_{i=1}^nX_i^2-n\bar{X}^2]\\ =\frac{1}{n-1}(\sum_{i=1}^nE[X_i^2]-nE[\bar{X}^2])\\ =\frac{n}{n-1}(E[X^2]-E[\bar{X}^2])\\$$

  而

  $$E[\bar{X}]=\mu,D[\bar{X}]=\frac{\sigma^2}{n}\Rightarrow E[\bar{X}^2]=\mu^2+\frac{\sigma^2}{n}\\ E[X]=\mu,D[X]=\sigma^2\Rightarrow E[X^2]=\mu^2+\sigma^2\\ \therefore E[S^2]=\frac{n}{n-1}(\mu^2+\sigma^2-\mu^2-\frac{\sigma^2}{n})=\sigma^2$$

  因此$S^2$ 是$\sigma^2$ 的一个无偏估计。

• 事实上，样本均值和样本方差总是总体均值和总体方差的无偏估计。

若对任意的$\varepsilon>0$，有$\lim_{n\rightarrow \infin}P(|\theta-\hat{\theta_n}|\geq\varepsilon)=0$，则称$\hat{\theta}(X_1,...,X_n)$ 是$\theta$ 的一个相合（一致）估计。

• 若$\lim_{n\rightarrow\infin}E[\hat{\theta_n}]=\theta,\lim_{n\rightarrow\infin}D(\hat{\theta_n})=0$，则$\hat{\theta}_n$ 是$\theta$ 的一个相合估计。

# 参数的区间估计

设$\hat{\theta}_1,\hat{\theta}_2$ 是两个统计量，若$P(\hat{\theta}_1\leq \theta\leq\hat{\theta}_2)=1-\alpha$，则称随即区间$[\hat{\theta}_1,\hat{\theta}_2]$ 是$\theta$ 的一个区间估计或置信区间，$1-\alpha$ 称为置信水平或置信度。

• 一般来说，置信度越高，精确性（区间长度）越差（越长）。

求解置信区间的一般方法为：

• 找一个与要估计的参数$\theta$ 有关的统计量$T$，一般是$\theta$ 的一个良好的点估计$\hat{\theta}$。
• 设法找出$T$ 和$\theta$ 的某一函数$H(T,\theta)$，要求 H 的分布已知且与$T,\theta$ 无关，称为枢轴变量。
• 寻找合适的常数$c,d$ 使得$P(c\leq H\leq d)=1-\alpha$。
• 将$c\leq H\leq d$ 等价变形为$\hat{\theta}_1\leq\theta\leq\hat{\theta}_2$。

正态分布的置信区间：

评估参数	条件	枢轴变量及其分布	置信区间
$\mu$	$\sigma^2$ 已知	$\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$	$[\bar{X}-u_{\alpha/2}\frac{\sigma}{\sqrt{n}},\bar{X}+u_{\alpha/2}\frac{\sigma}{\sqrt{n}}]$
$\mu$	$\sigma^2$ 未知	$\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$	$[\bar{X}-t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}},\bar{X}+t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}]$
$\sigma^2$	$\mu$ 已知	$\sum_{i=1}^n\frac{ X_i-\mu}{\sigma}^2\sim\chi^2(n)$	$[\frac{\sum(X_i-\mu)^2}{\chi_{\alpha/2}^2(n)},\frac{\sum(X_i-\mu)^2}{\chi_{1-\alpha/2}^2(n)}]$
$\sigma^2$	$\mu$ 未知	$\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$