初等的機率論（7）獨立事件的概念（The Concept of Independent Events）

初等的機率論（7）獨立事件的概念
（Elementary Probability Theory -7. The Concept of Independent Events）
國立臺灣大學數學系蔡聰明副教授/國立臺灣大學數學系蔡聰明副教授責任編輯

連結：初等的機率論（6）條件機率與Bayes公式

摘要：本篇從兩個事件「獨立」的概念談起，給出兩個事件及 $$n$$ 個事件獨立的定義，並與排列組合的「乘法原理」連結。最後以兩個反例說明三個事件獨立所需滿足的條件。

機率空間是測度空間的特例，因此有人說機率論是測度論一章。不過，機率論卻有獨特的獨立性（independence）概念，它扮演著關鍵性的角色，從而得到豐富而美麗的機率結果，這使得機率論有別於測度論。

獨立性是機率論的核心概念，探索機率法則（laws of chance）時，我們經常會遇到如下的狀況：將一個銅板獨立地丟 $$n$$ 次，或一個隨機實驗獨立地作 $$n$$ 次。機率法則包括大數法則、Poisson小數法則與中央極限定理，這些都是機率論的重要結果。

在排列與組合中，有一個點算（counting）的基本原理：

【例11】若甲地到乙地有 $$3$$ 條路可走，乙地到丙地有 $$4$$ 條路可走，若兩者選擇互不相影響（具有獨立性），那麼由甲地經過乙地再到丙地有 $$3\times 4 = 12$$ 條路可走。

【乘法原理】

作兩個實驗：實驗 $$E_1$$ 有 $$m$$ 種結果，實驗 $$E_2$$ 有 $$n$$ 種結果，並且兩者互不相影響（具有獨立性），那麼接續完成這兩個實驗，總共有 $$m\cdot n$$ 種結果。

【註】若兩個實驗有瓜葛，例如實驗 $$E_1$$ 出現第一種結果時，實驗 $$E_2$$ 受到侷限必然就會出現第二種結果，那麼總共的結果點算起來就不會是單純的 $$m\cdot n$$ 種。

反過來，假設實驗 $$E_1$$ 有 $$m$$ 種結果，實驗 $$E_2$$ 有 $$n$$ 種結果，如果接續完成這兩個實驗，總共有 $$m\cdot n$$ 種結果，那麼我們就可斷定，實驗 $$E_1$$ 與實驗 $$E_2$$ 是互相獨立的。因此，乘法原理與獨立性是緊密互相依存。

以下我們回到機率論來，在初等機率空間 $$(\Omega,\mathfrak{A},P)$$ 中討論，這通常是由接續幾個隨機實驗所產生的初等機率空間。

假設 $$A$$ 與 $$B$$ 為兩個事件，我們說 $$A$$ 與 $$B$$ 是不互相影響的兩個事件，這是什麼意思呢？如果知道 $$B$$ 發生時，對 $$A$$ 的機率沒有影響，我們就說「$$\bf{A}$$ 獨立於 $$\bf{B}$$」（$$A$$ is independent of $$B$$）。

換言之，如果 $$P(A|B)=P(A)~~~~~~~~~(1)$$

上述我們假設了 $$P(B)>0$$。

因為 $$\displaystyle P(A|B)=\frac{P(A\cap B)}{P(B)}$$，所以由 $$(1)$$ 得到 $$P(A\cap B)=P(A)\cdot P(B)~~~~~~~~~(2)$$

同理，若 $$P(A)>0$$，如果 $$P(B|A)=P(B)~~~~~~~~~(3)$$

我們自然就說「$$\bf{B}$$ 獨立於 $$\bf{A}$$」。從而我們仍然得到 $$(2)$$ 式。

注意到：$$(2)$$ 式對於 $$A,B$$是對稱的，而且當 $$P(A)=0$$ 或 $$P(B)=0$$ 時仍然成立。

因此，$$(2)$$ 式是一個恰到好處的式子，它將排列組合的乘法原理類推到機率論裡，這就是獨立性的概念：

【定義 3】假設 $$A,B$$ 為兩事件。如果下列條件成立：

$$P(A\cap B)=P(A)P(B)$$

則稱 $$A$$ 與 $$B$$ 是互相獨立的（independent）。

若 $$P(B)>0$$，則利用條件機率來看獨立性就是：

$$P(A|B)=P(A)\Longleftrightarrow P(A\cap B)=P(A)P(B)$$

$$P(A|B)=P(A)$$ 表示事件 $$B$$ 的發生並不影響事件 $$A$$ 發生的機率，這就是獨立的意思。同理，若 $$P(A)>0$$，也有相同的解釋。總之，我們要了解 $$P(A{\cap}B)=P(A)P(B)$$ 恰好表達出我們心目中直觀的獨立性概念。獨立性讓機率演算變成單純而容易。

【定義 4】設 $$A_1,A_2,\cdots,A_n$$ 為有限的 $$n$$ 個事件，

若對任何 $$2\le j\le n$$ 與任何的 $$1\le k_1<k_2<\cdots<k_j\le n$$，都有：

$$P(A_{k_1}\cap\cdots\cap A_{k_j})=P(A_{k_1})\cdots P(A_{k_j})~~~~~~~~~(4)$$

則稱事件 $$A_1,A_2,\cdots,A_n$$ 是獨立的。

【註】$$(4)$$ 式總共有 $$\sum\limits_{j=2}^{n} C_j^{n}=2^{n}-n-1$$ 個式子。

【問題】有位男生對他的女朋友說：妳是“十億中選一”，因為妳有酒窩，機率是 $$\frac{1}{100}$$；有水汪汪的眼睛，機率是 $$\frac{1}{1000}$$；對數學絕對的狂熱，機率是$$\frac{1}{10000}$$。

1. 請問這三個事件是獨立或相依？
2. 證明這位女生是“十億中選一”。

【例12】三個事件兩兩獨立並不意味著三個事件是獨立的：

例如，考慮 $$\Omega=\{\omega_1,\omega_2,\omega_3,\omega_4\}$$ 假設每一樣本點出現的機率均等。

令 $$A=\{\omega_1,\omega_2\}$$，$$B=\{\omega_1,\omega_3\}$$，$$C=\{\omega_1,\omega_4\}$$

則易驗知它們是兩兩獨立，但是 $$P(A{\cap}B{\cap}C)=\frac{1}{4}\neq(\frac{1}{2})^{3}=P(A)P(B)P(C)$$

亦即三個事件是不獨立的。

【例13】只有 $$P(A{\cap}B{\cap}C)=P(A)P(B)P(C)$$ 也不保證 $$A,B,C$$ 互相獨立。

考慮丟兩個骰子的樣本空間 $$\Omega=\{(1,2),(1,2),\cdots,(6,6)\}$$（每一樣本點的機率均等）

令 $$\begin{array}{l}A=\{(i,j):i=1,2,5\}\\B=\{(i,j):i=4,5,6\}\\C=\{(i,j):i+j=9\}\end{array}$$

則 $$\begin{array}{l}\displaystyle P(A\cap B)=\frac{1}{6}\ne\frac{1}{4}=P(A)P(B)\\ \displaystyle P(A\cap C)=\frac{1}{36}\ne\frac{1}{18}=P(A)P(C)\\ \displaystyle P(B\cap C)=\frac{1}{12}\ne\frac{1}{18}=P(B)P(C)\\ \displaystyle P(A\cap B\cap C)=\frac{1}{36}=P(A)P(B)P(C)~~~~~~\Box\end{array}$$

連結：初等的機率論（8）隨機變數及其種種性質

參考書目：

1. William Feller: An Introduction to Probability Theory and its Applications. Vol.1 John-Wiley & Sons, INC. Third Edition, 1967.
2. Sheldon M. Ross: A First Course in Probability. 8th Edition, Prentice Hall, 2009.
   （這兩本是公認的機率論入門絕佳的書。第一本是經典；第二本是比較晚近寫成的書，經常被拿來當作大學部「初等機率論」這門課的教科書。）
3. Kai Lai Chung: Elementary Probability Theory. Springer, 2004.
4. Hugh Gordon: Discrete Probability. Springer, 1997.
5. Eugene Lukacs: Probability and Mathematical Statistics. Academic Press, 1972.
6. David Stirzaker: Elementary Probability. Cambridge University Press, 1994.
7. Jim Pitman: Probability. Springer-Verlag, 1993.
8. Janos Galambos: Introductory Probability Theory. Marcel Dekker, INC. 1984.

註：通常要講述機率論必須用到「測度積分論」的數學工具，或至少要用到微積分。因此要為一般讀者介紹機率論的讀物誠屬不容易。上述八本書盡量壓低要用到的數學工具，大部分只需排列與組合，只有少部份要用到一點兒微積分。

從科學方法論的觀點來看，機率論與統計學是一體的兩面，機率論是「演繹法」，統計學是「歸納法」。因此，本文的主題雖然是機率論，但是也順便介紹一點點統計學的概念。