大數法則（5）強大數法則（Law of large numbers-5. Strong law of large numbers）

大數法則（5）強大數法則（Law of large numbers-5. Strong law of large numbers）
國立高雄大學應用數學系黃文璋教授/國立高雄大學應用數學系黃文璋教授責任編輯

連結：大數法則（4）弱大數法則

摘要：延續上一篇的「弱大數法則」，本文介紹相對於機率收斂更強的「強大數法則(strong law of large numbers)」，最後以一例說明兩種不同收斂方式的差別。

對於上一節事件 \(A\) 發生的相對頻率 \(f_n(A)=n(A)/n\)，我們想知道 \(n\rightarrow\infty\) 時，其極限行為。

直觀上，由弱大數法則，會認為：\((1)~~~\lim_{n\to \infty} f_n(A)=p\)

其中 \(p=P(A)\)。但我們知道此並不正確。因極限不見得要存在，且即使存在，也不見得是 \(p\)。

對 \(n\geq 1, f_n(A)\) 有時恆為 \(0\)，有時恆為 \(1\)。前者的極限為 \(0\)，後者的極限為 \(1\)。

我們最多可以問的是：是否對『幾乎所有』(almost all)回的觀測，\((1)\) 式皆成立？

在此，一回觀測指的是第 \(1\) 次，第 \(2\) 次\(\cdots\)第 \(n\) 次，\(\cdots\)，一直無止盡地進行。

我們想知道觀測到 \((1)\) 式的機率是否為 \(1\) ？

即是否有 \((2)~~~P(\lim_{n\to \infty} f_n(A)=p)=1\)

或等價地問 \((3)~~~P(\lim_{n\to \infty} f_n(A)\ne p)=0\) 成立否？

只是 \((3)\) 式不見得好驗證。

我們得先找出 \(\lim\limits_{n\rightarrow\infty}f_n(A)\neq p\) 的觀測之集合 \(N\)，再看 \(P(N)\) 是否為 \(0\)。

除非 \(p=1\)，否則一個 \(A\) 一直發生的觀測，當然使 \(f_n(A)\nrightarrow p\)。故此觀測屬於 \(N\)。

我們知道第 \(1\) 至第 \(n\) 次觀測，\(A\) 皆發生的機率為 \(p^n, n\geq 1\)。而 \(n\rightarrow\infty\) 時，\(p^n\) 趨近至 \(0\)。

但 \(N\) 中可是包含無限多個觀測，是否可數呢？不能再說下去了，讀者大約已搞糊塗了。總之，\(N\) 中有那些元素，不是那麼容易描述，因此要驗證 \(P(N)=0\) 並非易事。

由 \((1)\) 式，後來就衍生出更一般的強大數法則。

弱大數法則與強大數法則，本質上並不是兩個不同的法則，而是描述樣本平均以不同的方式收斂至母體平均。弱大數法則是說：當樣本數無止盡地增大，樣本平均與母體平均的差距，可以小於任意正數之機率，將無止盡的接近 \(1\)。而強大數法則是說：當樣本數無止盡的增大，樣本平均的極限與母體平均相等的機率，將無止盡的接近 \(1\)。即

設對 \(\forall n\ge 1\)，\(X_1,\cdots,X_n\) 為 \(\mathrm{iid}\) 之隨機變數，且設 \(E(X_1)\) 存在，則樣本平均 \(\overline{X}_n\)，
當 \(n\to\infty\) 時，會幾乎確實地收斂(converges almost surely) 至 \(E(X_1)\)，以

\((4)~~~\displaystyle \overline{X}_n \xrightarrow[n\to\infty]{a.s.} E(X_1)\) 表之。

在此幾乎確實地收斂定義如下：

定義2. 設有一數列之隨機變數 \(\{Y_n,~~n\ge 1\}\)，及一隨機變數 \(Y\)，若

\((5)~~~P(\lim_{n\to\infty} Y_n=Y)=1\)

則稱 \(n\to\infty\) 時，\(\{Y_n,~n\ge 1\}\) 幾乎確實收斂至 \(Y\)，且以 \(\displaystyle Y_n\xrightarrow[n\to\infty]{a.s.} Y\) 表之。

\((5)\( 式等價於

\((6)~~~P(\lim_{n\to\infty} |Y_n-Y|\le \varepsilon)=1,~~~\forall \varepsilon>0\)

因此 \((4)\) 式與底下三式等價

\((7)~~~P(\lim_{n\to\infty} \overline{X}_n=E(X_1))\)

\((8)~~~P(\lim_{n\to\infty} |\overline{X}_n-E(X_1)|\le \varepsilon)=1,~~~\forall \varepsilon>0\)

\((9)~~~P(\lim_{n\to\infty} |\overline{X}_n-E(X_1)|> \varepsilon)=0,~~~\forall \varepsilon>0\)

不少初學者對於 \((5)\) 式的涵義感到困惑，我們略為說明如下：

首先不論定義1或定義2中，\(\{Y_n,n\geq 1\}\) 要機率收斂，或幾乎確實地收斂至 \(Y\)，

\(\{Y_n,n\geq 1\}\) 與 \(Y\)，皆要定義在同一機率空間。

現假設 \(\{Y_n,n\geq 1\}\) 與 \(Y\) 皆定義在同一機率空間

\((\Omega,F,P)\)

又注意到這些隨機變數皆是由 \(\Omega\) 映至 \(R\)。則 \((5)\) 式就是

\((10)~~~P({\omega|\omega\in\Omega,~\lim_{n\to\infty}Y_n(\omega)=Y(\omega)})=1\)

在這類式子中，我們常常省略「\(\omega\in\Omega\)」，即只寫成

\((11)~~~P({\omega|~\lim_{n\to\infty}Y_n(\omega)=Y(\omega)})=1\)

甚至簡單至以 \((5)\) 式表之。大家在微積分中學過函數數列。設有一數列之函數 \(f_n, n\geq 1\) 且設這些函數有相同的定義域。對每一定義域中的 \(x\)，可得一數列 \(f_n(x), n\geq 1\)。有些 \(x\) 會使 \(\lim_{n\rightarrow\infty}f_n(x)\) 存在，有些則不會。

例如：取 \(f(x)=x^n+n^2(1-x^2)+nx^{2n}+(\cos(x-0.5))^n,~~~x\in [-1,1],~n\ge 1\)

\(f(x)=0,~~~x\in [-1,1]\)

則滿足 \(\lim_{n\to\infty}f_n(x)=f(x)\) 之 \(x\) 的集合為 \([-1,1]\backslash {-1,0,0,5,1}\)。

不收斂點僅 \(-1,0,0.5,1\) 等 \(4\) 點。其勒貝格測度為 \(0\)，

故若在 \([-1,1]\) 中可數個點改變函數 \(f\) 之值，仍會有 \(f_n, n\geq 1\) 幾乎確實地收斂至 \(f\)。

例如：取 \(g(x)=1\)，若 \(x\) 為 \([-1,1]\) 中之有理數；\(g(x)=0\)，若 \(x\) 為 \([-1,1]\) 中之無理數。

則 \(f_n,~n\ge 1\) 幾乎確實地收斂至 \(g\)。

機率函數為一測度，\(\{Y_n, n\geq 1\}\) 是否幾乎確實地收斂至 \(Y\)？

就要看 \(\{\omega|\lim\limits_{n\rightarrow\infty}Y_n(\omega)=Y(\omega)\}\) 之機率是否為 \(1\)，

或等價地說不收斂的 \(\omega\) 之集合 \(\{\omega|\lim\limits_{n\rightarrow\infty}Y_n(\omega)\neq Y(\omega)\}\)，其機率是否為 \(0\)。

要注意的是，與實數系統不同，有時候一個 \(\omega\) 的機率便為正，特別是若機率空間為離散型。在機率論裡，關於幾乎確實地收斂，學生往往對其意義感到很茫然。其實只要與實數裡函數數列的收斂相對照，就不難理解了。

當 \(\mathrm{iid}\) 的 \(\{X_i, i\geq 1\}\) 以 \(\mathrm{Ber}(p)\) 為共同分佈，此時強大數法則之證明，可參考黃文璋(2010)pp. 324-326。一般分佈下的證明，見Chung(2001) Therem 5.4.2。又強大數法則亦有非 \(\mathrm{iid}\) 隨機變數的版本。在機率論裡會證明，幾乎確實地收斂會導致機率收斂。因此前者是較強的收斂，後者是較弱的收斂。這是何以會各命名為強大數法則及弱大數法則。

我們以一簡單的例子，來略為說明機率收斂與幾乎確實地收斂之別：假設科學家研究複製人技術逐漸進步，第 \(k\) 次複製時，將人體分成 \(k\) 個區域，而製出來的，皆有一個區域與原來的人體不同。其餘 \(k-1\) 個區域則一模一樣。但與原來人體不同的區域，任二複製品可能不一樣。機率收斂就對應這個情況：隨著 \(k\) 之增大，每一複製品與原來人體的差異愈來愈小。但對原來人體，不論 \(k\) 多大，任選一區域，同一批複製品中，會有很多個與此區域不同。這就對應不幾乎確實地收斂。

現在看另一情況，第 \(k\) 次複製，將人體劃分的 \(k\) 個區域，是由頭頂依序至腳底。複製的技術逐漸改善，每一批複製品皆只有一個區域與原來人體不同，而且都是最靠近腳底的那個區域不同。則隨 \(k\) 之增大，每一批複製品，與原來人體逐漸可重疊，幾乎不分軒輊。這就對應幾乎確實地收斂。

最後，強大數法則亦有隨機變數非 \(\mathrm{iid}\) 的版本，如見黃文璋(2010)定理7.8。此處只是初步的介紹，不多討論。

參考文獻

1. 黃文璋(1999)，數學欣賞。華泰文化事業股份有限公司，台北。
2. 黃文璋(2003)，隨機思考論。華泰文化事業股份有限公司，台北。
3. 黃文璋(2010)，機率論，第二版。華泰文化事業股份有限公司，台北。
4. Chung K. L. (2001). A Course  in Probability Theory, 3rd ed, Academic Press, New York
5. Diaconis, P. and Mosteller,  F. (1989). Method for studying coincidences. Journal of the AmericanStatistical Association, 84, 853-861
6. Littlewood J.E.(1953). A Mathematican’s  Misscellany. Methuen, London.
7. Renyi, A.(1970). Foundations of Probability . Holden-Day, Inc., San Francisco.
8. Shermer, M.(2003). Co dified claptrap. Scientific American , June ,288(6), 35.
9. Shermer, M.(2004). Miracle on probability street. Scientific American , August, 291(2), 32.