大数定律与中心极限定理

2024/11/09

Note

对于一系列随机变量 \(X_1, X_2, \cdots, X_n\)，设每个随机变量都有期望。由于随机变量之和很有可能发散到无穷大，我们转而考虑随机变量的均值 \(\overline{X_n} = \frac{1}{n}\sum\limits_{i=1}^{n}X_i\) 和其期望 \(E(\overline{X_n})\) 之间的距离。若 \(\{X_n\}\) 满足一定条件，当n足够大时，这个距离会以非常大的概率接近0，这就是大数定律的主要思想。 而中心极限定理进一步研究 \(\overline{X_n}\) 服从什么分布。若 \(\{X_n\}\) 满足一定的条件，当 \(n\) 足够大时，\(\overline{X_n}\) 近似服从正态分布！

重要不等式

马尔可夫(Markov)不等式

设非负随机变量 \(X\) 的期望 \(E(X)\) 存在，则对 \(\forall \varepsilon > 0\)，\(P(x \geqslant \varepsilon ) \leqslant \frac{E(X)}{\varepsilon }\)

理解: 如果我们知道所有人的平均收入为 \(a\)，那么随机抽一个人，收入超过 \(10a\) 的概率不超过 \(10\%\)

切比雪夫(Chebyshev)不等式

设 \(X\) 的方差 \(D(X)\) 存在，则对 \(\forall \varepsilon >0\)，\(P(\left| x-E(X)\right| \geqslant \varepsilon ) \leqslant \frac{D(X)}{\varepsilon^2}\)

大数定律

切比雪夫大数定律

\(X_1,X_2, \cdots, X_n, \cdots\) 是相互独立的随机变量序列，每个 \(X_k\) 都有有限方差，且有公共上界，则有

\[ \lim\limits_{n\rightarrow \infty}D(\frac{1}{n}\sum\limits_{k=1}^{n}X_k) = 0\\ \lim\limits_{n\rightarrow \infty}P(|\frac{1}{n}\sum\limits_{k=1}^{n}X_k-\frac{1}{n}\sum\limits_{k=1}^{n}E(X_k)|\geqslant \varepsilon) =0 \]

证明:

设 \(D(X_k) \leqslant c\)，则 \(D(\frac{1}{n}\sum\limits_{k=1}^{n}X_k)=\frac{1}{n^2}\sum\limits_{k=1}^{n}D(X_k) \leqslant \frac{1}{n^2} \cdot nc\)

由切比雪夫不等式: \(P(|\sum\limits_{k=1}^{n}\frac{1}{n}X_k-E(\sum\limits_{k=1}^{n}\frac{1}{n}X_k)|\geqslant \varepsilon) \leqslant \frac{D(\frac{1}{n}\sum\limits_{k=1}^{n}X_k)}{\varepsilon^2}\)

辛钦大数定律

理解: 具有相同分布的独立随机变量 \(X_1, \cdots X_n\)，当 \(n\) 很大时，它们的算数平均值很接近于 \(\mu\)

伯努利大数定律

理解: 当 \(n\) 很大时，事件的频率 \(\frac{f_A}{n}\) 与概率 \(p\) 的偏差很小。所以，当试验次数很大时，便可以用事件的频率来代替事件的概率

中心极限定理

林德贝格-勒维/独立同分布中心极限定理

由此，\(\sum\limits_{k=1}^{n}X_k \sim N(n\mu, n\sigma ^2)\) (均值亦服从正态分布)

应用: 设 \(X_1, \cdots ,X_n\) 独立且同为二项分布，\(P(X_i = 1) = p\)，则 \(Y_n = \sum\limits_{i = 1}^{n}X_i \sim B(n,p)\) 可以近似认为 \(Y_n \sim N(np,np(1-p))\)

棣莫弗-拉普拉斯/二项分布中心极限定理

---

参考资料:

知乎｜概率论——大数定律与中心极限定理