概率论与数理统计自学整理汇总

概率论

随机事件与概率

随机事件

随机试验(Experiment) 满足可重复进行, 结果明确且不止一个, 结果无法预测的试验, 记作$E$

样本空间 随机试验所有结果的集合, 记作$S$或$\varOmega$

样本点 样本空间中的元素, 即随机试验的每一个结果, 记作$e$或$\omega$

随机事件 随机试验样本空间的子集, 用$A,B,C,\cdots$表示

基本事件 只包含一个样本点的随机事件

不可能事件 $\varnothing$, 一个样本点都不包含的随机事件

必然事件 $S$

事件满足集合运算, 特别的, $A\cap B=AB$, 对立事件$\bar A$

概率

频率 $n$次试验中随机事件$A$发生了$n_A$次, 则其频率记作

$f_n(A)=\dfrac{n_A}{n}$

非负 $0\leq f_n(A)\leq1$

规范 $f_n(S)=1$

可加 $f_n(A_1\cup A_2\cup \cdots\cup A_n)=f_n(A_1)+f_n(A_2) +\cdots+f_n(A_n),\ (A_i两两不相容)$

概率 对$E$的每一个事件$A$赋予一个实数$P(A)$即为$A$的概率

非负 $0\leq P(A)\leq1$

规范 $P(S)=1$

可列可加 $P(A_1\cup A_2\cup \cdots\cup A_n)=P(A_1)+P(A_2) +\cdots+P(A_n),\ (A_i两两不相容)$

相关性质如下:

$P(A-B)=P(A)-P(B) \\ P(A+B)=P(A)+P(B)-P(AB) \\ P(\bar A)=1-P(A)$

古典概型 (等可能概型)

$P(A)=\dfrac{k}{n}$

其中$n$为样本点总数, $k$为$A$包含的样本数

条件概率

$P(A|B)=\dfrac{P(AB)}{P(B)}$

即$B$发生的情况下$A$的概率

全概率公式

样本空间$S$的划分$B_1,B_2,\cdots , B_n$称为样本空间的互斥完备事件组, 则有

$P(A)=\sum_{i=1}^nP(B_i)P(A|B_i)$

Polya模型 有无放回地取球概率相等

贝叶斯公式

样本空间$S$有划分$B_1,B_2,\cdots , B_n$, 则有

$P(B_i|A)=\dfrac{P(B_i)P(A|B_i)}{\sum_{j=1}^nP(B_j)P(A|B_j)}$

事件独立性

两两独立 $P(AB)=P(A)P(B)$

相互独立 三个事件两两独立的基础上$P(A)P(B)P(C)=P(ABC)$

$A,B,C$两两独立不能证明其相互独立

一维随机变量及其分布

离散型随机变量 随机变量$X$的取值是可列的或有限个的

连续型随机变量 随机变量$X$的可能取值是数轴或至少有一部分取值是某个区间

离散型随机变量

分布律 设$X$所有可能取值$x_k$, $x_k$被取到的概率$p_k$, $(k=1,2,3,\cdots)$, 则

$X$	$x_1$	$x_2$	$\cdots$	$x_n$	$\cdots$
$p_k$	$p_1$	$p_2$	$\cdots$	$p_n$	$\cdots$

非负性 $p_k\geqslant 0 $

完备性 $\sum_{i=1}^{+\inf}p_k=1$

特殊分布

(0-1)分布 也叫两点分布, 随机变量只能取0,1两个值

二项分布 由贝努利概型,若随机变量可能取值为$0, 1, 2,\cdots,n$得到的分布$X\sim B(n,p)$

贝努利概型 $n$次重复, 结果独立且只有$A$和$\bar A$两种的试验为贝努利试验, $n$为贝努里概型

贝努利定理 $p=P(A)$,$n$次试验中$A$发生$k$次的概率$P_n(k)$满足

$P_n(k)=C_n^kp^k(1-p)^{n-k}$

泊松 (Poisson) 定理 设$\lambda=n\cdot p_n$, 则

$\lim\limits_{n\to \infty}P_n(k)=\dfrac{\lambda^ke^{-\lambda}}{k!}$

泊松分布 若随机变量可能取值为$0, 1, 2,\cdots$,则根据泊松定理有泊松分布$X\sim P(\lambda)$

随机变量分布函数

设$X$为一个随机变量, 则$F(x)=P(X\leqslant x)$

单调性 $F(x)$是在实数轴上单调非减的函数

有界性 对任意$x$有$0\leqslant F(x)\leqslant 1$, $\lim\limits_{x\to-\infty}F(x)=0$, $\lim\limits_{x\to+\infty}F(x)=1$

右连续性 $\lim\limits_{x\to x_0}F(x)=F(x_0)$

连续性随机变量

概率密度函数 非负函数$f(x)$使得$F(X)=\int_{-\infty}^xf(t)dt$, 则这个函数为概率密度函数

非负性 $f(x)\geqslant0$

正则性 $\int_{-\infty}^{+\infty}f(x)dx=1$

若$F(x)$在$x$上连续则$F'(x)=f(x)$

$P(x_1\leqslant X\leqslant x_2)=F(x_2)-F(x_1)=\int_{x_1}^{x_2}f(x)dx$

均匀分布 $b$到$a$上的自由分布

f(x)=\ \begin{cases} \dfrac{1}{b-a} &a$F(x)= \begin{cases} 0 & x<a \\ \dfrac{x-a}{b-a} & a\leqslant x<b \\ 1 & x\geqslant b \end{cases}$

指数分布

$f(x)= \begin{cases} \dfrac{1}{\theta}e^{-\frac{x}{\theta}} & x>0,\text{其中}\theta\text{为常数} \\ 0 &\text{其他} \end{cases}$

$F(x)= \begin{cases} 1-e^{-\frac{x}{\theta}} & x>0\\ 0 & \text{其他} \end{cases}$

正态分布 $X\sim N(\mu,\sigma^2)$

$f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\;e^{-{\frac {\left(x-\mu \right)^{2}}{2\sigma ^{2}}}}$

$F(x) = \frac{1}{\sigma\sqrt{2\pi}} \int_{-\infty}^x \exp \left( -\frac{(t - \mu)^2}{2\sigma^2} \ \right)\, dt.$

位置参数$\mu$决定中心位置, 尺度参数$\sigma$越大曲线越矮越胖

标准正态分布 $X\sim N(0,1)$

$\mu=0$, $\sigma=1$

$\varphi(x)= f(x)= \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{t^2}{2}\right) \, dt$

$\varPhi(x)= F(x)= \frac{1}{\sqrt{2\pi}} \int_{-\infty}^x \exp\left(-\frac{t^2}{2}\right) \, dt$

相互独立的随机变量

$F(x,y)=F_X(x)\cdot F_Y(y) \\ P(x,y)=P_X(x)\cdot P_Y(y) \\ f(x,y)=f_X(x)\cdot f_Y(y)$

两个随机变量函数的分布

$Z=X+Y$分布

$F_Z(z)=P(Z\leqslant z)=\iint_{x+y\leqslant z}f(x,y)dxdy$

卷积公式 当$X\ ,Y$相互独立时

$f_X * f_Y=\int_{-\infty}^{+\infty}f_X(x)\cdot f_Y(z-x)\mathrm dx =\int_{-\infty}^{+\infty}f_X(z-y)\cdot f_Y(y)\mathrm dy$

​

$$

多维随机变量及其分布

二维随机变量 同一个样本空间中的随机变量$X,Y$组成的向量$(X,Y)$

二维随机变量分布函数

$F(x,y)=P(X\leqslant x,Y\leqslant y)$

满足单调性, 有界性, 右连续性, 非负性

二维离散型随机变量

$(x,y)$取值为有限多对或可列无限多对, 则$(X,Y)$为二维离散型随机变量

联合分布律

$X$ \ $Y$	$y_0$	$y_1$	$\cdots$	$y_j$	$\cdots$
$x_0$	$p_{00}$	$p_{01}$	$\cdots$	$p_{00}$	$\cdots$
$x_1$	$p_{10}$	$p_{11}$	$\cdots$	$p_{1j}$	$\cdots$
$\vdots$	$\vdots$	$\vdots$	$\ddots$	$\vdots$	$\ddots$
$x_i$	$p_{i0}$	$p_{i1}$	$\cdots$	$p_{ij}$	$\cdots$
$\vdots$	$\vdots$	$\vdots$	$\vdots$	$\vdots$	$\ddots$

非负性 $p_{ij}\geqslant 0$

正则性 $\sum_i\sum_jp_{ij}=1$

联合分布函数

P(X\leqslant x,Y\leqslant y)=F(x,y)= \sum_{ \begin{subarray}{1} x_i \leqslant x \\ y_j \leqslant y \end{subarray}} p_{ij}

二维连续型随机变量

联合概率密度函数 非负二元函数$f(x,y)$, 有

$F(x,y)= \int_{-\infty}^{x} \int_{-\infty}^{y} f(x,y)\mathrm{d} x\mathrm{d} y$

非负性 $f(x,y)\geqslant0$

规范性 $\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x,y)\mathrm{d} x\mathrm{d} y=1$

联合分布函数 $F(x, y)$

边缘分布

边缘分布函数

$F_X(x)=F(x,+\infty) \\ F_Y(y)=F(+\infty,y)$

条件分布

离散型随机变量 给定$X$求$Y$或给定$Y$求$X$

连续型随机变量 取极限

$F_{X|Y}(x|y)=P(X\leqslant x\ |\ Y=y )$

相互独立的随机变量

$F(x,y)=F_X(x)\cdot F_Y(y)$

离散型 直接计算

连续型

$f(x,y)=f_X(x)\cdot f_Y(y)$

两个随机变量的函数分布

$Z=X+Y$分布

$F_Z(z)=P(Z\leqslant z)=\iint_{x+y\leqslant z}f(x,y)\mathrm{d}x\mathrm{d}y$

$f_Z(z)=\int_{-\infty}^{+\infty}f(z-y,y)\mathrm{d}x=\int_{-\infty}^{+\infty}f(x,z-x)\mathrm{d}y$

当$X$与$Y$相互独立时,有卷积公式

$f_Z(z)=f_X(x)*f_Y(y)=\int_{-\infty}^{+\infty}f_X(z-y)f_Y(y)\mathrm{d}y=\int_{-\infty}^{+\infty}f_Y(z-x)f_X(x)\mathrm{d}x$

$Z=X/Y$分布

$F_Z(z)=P(Z\leqslant z)=\iint_{\frac{x}{y}\leqslant z}f(x,y)\mathrm{d}x\mathrm{d}y$

相互独立时, 有:

$f_Z(z)=\int_{-\infty}^{+\infty}|y|f_X(yz)\cdot f_Y(y)\mathrm dy$

最大最小值分布

$M=\max\{X,Y\} \\ N=\min\{X,Y\}$

则X,Y相互独立时

$F_M(m)=F_X(m)\cdot F_Y(m) \\ F_N(n)=1-[1-F_X(n)]-[1- F_Y(n)]$

随机变量的数字特征

数学期望

对于离散型随机变量$X$, 分布律$P(X=x_k)=p_k,k=1,2,\cdots$, 若级数$\sum_{k=1}^{\infty}x_kp_k$绝对收敛, 则

$E(X)=\sum_{k=1}^\infty x_kp_k$

对于连续型随机变量$X$, 概率密度$f(x)$

$E(X)=\int_{-\infty}^{+\infty}xf(x)\mathrm{d}x$

数学期望简称期望或均值

随机变量函数的数学期望

离散型 若$\sum_{k=1}^{\infty}g(x_k)p_k$绝对收敛,则

$E(Y)=E(g(x))=\sum_{k=1}^{\infty}g(x_k)p_k$

连续型 若$\int^{+\infty}_{-\infty}g(x)f(x)\mathrm dx$绝对收敛, 则

$E(Y)=E(g(x))=\int^{+\infty}_{-\infty}g(x)f(x)\mathrm dx$

$n$维度连续型

$E(X)=\int^{+\infty}_{-\infty}\int^{+\infty}_{-\infty}xf(x,y)\mathrm dx\mathrm dy \\ E[g(X,Y)]=\int^{+\infty}_{-\infty}\int^{+\infty}_{-\infty}g(x,y)f(x,y)\mathrm dx\mathrm dy$

性质

• $C$为常数则$E(C)=C$
• $E(CX)=CE(X)$
• $E(X_1+X_2+\cdots+X_n)=\sum E(X_i)$
• $E(X_1X_2\cdots X_n)=E(X_1)E(X_2)\cdots E(X_n)$

方差与矩

方差 若期望存在,则

$D(X)=E(X-E(X))^2$

标准差/均方差 $\sqrt {D(X)}$

矩 若$E(x^k)$存在, 则其$k$阶矩

$\mu_k = E(X^k)$

离散型随机变量

$D(x)=\sum_{k=1}^{\infty}[x_k-E(X)]^2p_k$

连续型随机变量

$D(x)=\int_{-\infty}^{+\infty}[x-E(X)]^2f(x)\mathrm dx$

另,

$D(X)=E(X^2)-[E(X)]^2$

正态分布$X\sim N(\mu,\sigma^2)$中, $\mu$为数学期望, $\sigma^2$为方差

性质

• 若$C$为常数, $D(C)=0$
• $D(CX)=C^2D(X)$
• $D(X_1+X_2+\cdots+X_n)=\sum D(X_i)$
• $D(X)=0 \iff P(X=E(x))=1$

切比雪夫不等式 若随机变量方差与期望均存在, 对$\forall \varepsilon>0$

$P(|X-E(X)|\geqslant\varepsilon)\leqslant\dfrac{D(X)}{\varepsilon^2}$

协方差

二维随机变量$(X,Y)$, 若存在则

$\mathrm{cov}(X,Y)=E[(X-E(X))(Y-E(Y))]$

常用公式

$\mathrm{cov}(X,Y)=E(XY)-E(X)\cdot E(Y)$

性质

• $\mathrm{cov}(X,X)=D(X)$
• $\mathrm{cov}(X,C)=0$
• $\mathrm{cov}(X,Y)=\mathrm{cov}(Y,X)$
• $\mathrm{cov}(aX,bY)=ab\mathrm{cov}(X,Y)$
• $\mathrm{cov}(X+Y,Z)=\mathrm{cov}(X,Z)+\mathrm{cov}(Y,Z)$
• $D(X+Y)=D(X)+D(Y)+2\mathrm{cov}(X,Y)$

相关系数

二维随机变量$(X,Y)$, $D(X)\neq0$且 $D(Y)\neq0$时

$\rho_{XY}=\dfrac{\mathrm{cov}(X,Y)}{\sqrt{D(X)}\cdot\sqrt{D(Y)}}$

$|\rho|\leqslant1$

线性相关系数 $|\rho|=1\iff P(Y=aX+b)=1, a\neq0$

极限定理

概率收敛 设$Y_1,Y_2,\cdots,Y_n,\cdots$是随机变量序列且对常数$a$, $\forall \varepsilon>0$有

$\lim\limits_{n\to \infty}P(|Y_n-a|\geqslant\varepsilon)=0 \\ \text{or} \\ \lim\limits_{n\to \infty}P(|Y_n-a|<\varepsilon)=1$

则随机序列概率收敛到常数$a$, 记作

$Y_n\xrightarrow P a$

大数定律

贝努利大数定律 设$X_1,X_2,\cdots,X_n,\cdots$是相互独立的随机变量序列且均服从以$p$为参数的**(0-1)分布**, 则

$\dfrac{1}{n}\sum_{k=1}^nX_k\xrightarrow{P}p$

切比雪夫大数定律特例 设$X_1,X_2,\cdots,X_n,\cdots$是相互独立的随机变量序列且数学期望与方差相同, $E(X_k)=\mu$, $D(X_k)=\sigma^2$ $(k=1,2,\cdots)$, 则

$\dfrac{1}{n}\sum_{k=1}^nX_k\xrightarrow{P}\mu$

辛钦大数定律 设$X_1,X_2,\cdots,X_n,\cdots$是相互独立的随机变量序列且服从相同的分布, 并且存在数学期望$E(X_k)=\mu$, 则

$\dfrac{1}{n}\sum_{k=1}^nX_k\xrightarrow{P}\mu$

中心极限定理

---

数理统计

数理统计相比于概率论, 研究的都是分布未知的随机变量

基本概念

总体 研究对象某个指标值得全体称为总体

个体 总体中的每个元素

抽样 按一定规则从总体中抽取若干个体的过程

样本 所抽取的个体

样本容量 样本中所包含的个体数

样本应该具有随机性, 独立性

常见统计量

统计量 样本的函数

样本均值 $\bar X$

$\bar X=\dfrac{1}{n}\sum_{i=1}^nX_i$

偏差 样本中数据与样本均值的差$X_i-\bar X$

性质 偏差和为0 $\sum (X_i-\bar X)=0$

样本均值的抽样分布 若总体分布为$N(\mu,\sigma^2)$, 则$\bar X\sim N(\mu,\dfrac{\sigma^2}{n})$; 若总体不为正态分布但期望为$\mu$,方差为$\sigma^2$则$\bar X$近似分布$ N(\mu,\dfrac{\sigma^2}{n})$

样本方差 $S^2$

$S^2=\dfrac{1}{n-1}\sum_{i=1}^n (X_i-\bar X)^2$

样本标准差 $S=\sqrt {S^2}$

四大统计量及其分布

卡方分布/$\chi^2$分布 对来自正态总体$N(0,1)$的样本$X_1, X_2,\cdots,X_n$, 统计量$\chi^2=\sum^n_{i=1} X_i^2$服从自由度为$n$的卡方分布, 记作

$\chi^2\sim\chi^2(n)$

$E(\chi^2)=n$

$D(\chi^2)=2n$

$n>45$时分位点近似公式$\chi^2_\alpha(n)\approx n+\sqrt{2n}\cdot z_\alpha$, $z_\alpha$为标准正态分布的分位点,

$P(\chi^2>\chi^2_\alpha (n))=\int^{+\infty}_{\chi^2_\alpha(n)}f(x)\mathrm d x$

$t$分布/学生分布 $X\sim N(0,1)$, $Y\sim\chi^2(n)$, $X,Y$独立, $t=\dfrac{X}{\sqrt\frac{Y}{n}}$

$t\sim t(n)$

• $n=1$ 均值不存在

• $n>1$ $E(t)=0$

• $n>2$ $D(t)=\dfrac{n}{n-2}$

分位点

$P(t>t_\alpha(n))=\int_{t_{\alpha(n)}}^{+\infty}h(t)\mathrm dt$

• $n>45$时, $t_\alpha(n)\approx z_\alpha$

• $n\leqslant45$时, 查表

$F$分布 X ~ F(n1, n2)

正态总体相关四定理 对于来自正态总体$X\sim N(\mu,\sigma^2)$的样本$X_1,X_2,\cdots,X_n$, 有

$\bar X\sim N(\mu,\dfrac{\sigma^2}{n})\ \text{or}\ \dfrac{\bar {X}-\mu}{\sigma/\sqrt n}\sim N(0,1) \\ \\ \dfrac{\bar {X}-\mu}{S/\sqrt n}\sim t(n-1) \\ \\ \dfrac{(n-1)S^2}{\sigma^2}=\dfrac{\sum_{i=1}^{n}(X_i-\bar X)^2}{\sigma^2} \sim \chi^2(n-1) \\ \\ \bar X\text{与}S^2\text{相互独立}$

参数估计

矩估计

步骤 估$k$个待估参数

1. 求前$k$阶矩,

2. 用样本矩带入$\mu_i$

   $M_i=\dfrac{1}{n}\sum_{j=1}^{n}X_j^i=\mu_i$

3. 解方程

极大似然估计

步骤 求极大似然函数的最大值

1. 写出极大似然函数
2. 利用偏导或$lnF$的偏导求最值

点估计优良性

无偏性 $E(\hat\theta)=\theta$

有效性 若$\hat\theta_1, \hat\theta_2$都是无偏估计, 若$D(\hat\theta_1-\theta)<D(\hat\theta_2-\theta)$则$\hat\theta_1$更比2有效

相合性 若$n\to\infty$, $\forall\varepsilon>0$

$\lim\limits_{n\to\infty}P(|\hat\theta_n-\theta|<\varepsilon)=1$

区间估计

$P(\underline\theta<\theta<\overline\theta)=1-\alpha$

置信区间 $(\underline\theta,\overline\theta)$

置信上限 $\overline\theta$

置信下限 $\underline\theta$

置信度/置信概率 $1-\alpha$

正态总体均值

单个正态总体 $\mu$

• $\sigma^2$已知

  $(\overline X\pm\dfrac{\sigma}{\sqrt{n}}z_{\frac{\alpha}{2}} )$

• $\sigma^2$未知

  $(\overline X\pm\dfrac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1) )$

两个正态总体 $\mu_1-\mu_2$

• $\sigma^2_1$$,\sigma_2^2$均已知

  $(\bar X-\bar Y\pm\sqrt{\dfrac{\sigma_1^2}{n_1}+\dfrac{\sigma_2^2}{n_2}}\cdot z_{\frac{\alpha}{2}})$

• $\sigma_1^2=\sigma_2^2=\sigma^2$但未知

  $(\bar X-\bar Y\pm S_w \sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}}\cdot t_{\frac{\alpha}{2}}(n_1+n_2-2))$

正态总体方差

单个正态总体

$\bigg(\dfrac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)},\dfrac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)}\bigg)$

(0-1)分布总体方差

$(n+z^2_{\frac{\alpha}{2}})p^2-(2n\bar X+z^2_{\frac{\alpha}{2}})p+n\bar X^2=0$

解方程得到

$(p_1,p_2)$

假设检验

一般步骤

1. 提出原假设$H_0$及备择假设$H_1$
2. 给定显著性水平$\alpha$及样本容量$n$
3. 提出拒绝域的形式并确定检验统计量
4. 由$P(\text{拒绝}H_0\ |\ H_0\text{为真})=\alpha$求表达式
5. 对总体抽样判断是否接受假设

单个正态总体的假设检验

$\mu$的假设检验 $H_0:\mu=\mu_0$的拒绝域

• $\sigma^2$已知

  $|\dfrac{\bar X-\mu_0}{\sigma/\sqrt n}|>z_{\frac{\alpha}{2}}$

• $\sigma^2$未知

  $|t|=|\dfrac{\bar X-\mu_0}{S/\sqrt n}|>t_{\frac{\alpha}{2}}(n-1)$

$\sigma^2$的假设检验 $H_0:\sigma^2=\sigma^2_0$的拒绝域

$\chi^2=\dfrac{(n-1)S^2}{\sigma^2_0}\in(0,\chi_{1-\frac{\alpha}{2}}^2(n-1))\cup(\chi_{\frac{\alpha}{2}}^2(n-1),+\infty)$

单边假设检验 $H_0:\mu\geqslant\mu_0$的拒绝域

$\bar x-\mu_0<-\dfrac{\sigma_0}{\sqrt{n}}\cdot z_\alpha$

两个正态总体的假设检验

方差已知均值的假设检验 $H_0:\mu_1=\mu_2$

$|U|=|\dfrac{\bar x-\bar y}{\sqrt{\dfrac{\sigma_1^2}{n_1}-\dfrac{\sigma_2^2}{n_2}}}|>z_{\frac{\alpha}{2}}$

均值未知总体方差的检验 $H_0:\sigma^2_1=\sigma^2_2$的拒绝域

$\dfrac{S_1^2}{S_2^2}\in (0,F_{1-\frac{\alpha}{2}}(n_1-1,n_2-1))\cup (F_{\frac{\alpha}{2}}(n_1-1,n_2-1),+\infty)$

分布拟合检验

当$n\geqslant50$时(充分大时),

$\delta$