初等的機率論（5）有限機率空間（Finite Probability Space）

初等的機率論（5）有限機率空間
（Elementary Probability Theory-5. Finite Probability Space）
國立臺灣大學數學系蔡聰明副教授/國立臺灣大學數學系蔡聰明副教授責任編輯

連結：初等的機率論（4）機率論的甕模型

摘要：這裡針對隨機實驗所有可能出現結果為有限個的情形，探討其機率模型，並給出古典機率的定義，根據此定義及其衍伸的演算規則，舉出四個例子略作說明。

機率論研究的是隨機現象，例如丟銅板、骰子、量子力學、天氣、統計物理、命運、股票之漲跌、經濟的波動、…等等。機率論又是數理統計學與統計物理學與量子力學的基礎。

面對一個隨機現象，首先是對一個隨機現象作隨機實驗，可能是真的做實驗，也可能只是作個觀察（如天氣現象）。隨機實驗會發生什麼結果，事前說不準（uncertainty）。一個事件的發生與否也說不準，於是採用機率的語言來描述事件發生的可能性之大小，例如我們常聽說：明天下雨的機率是 $$30{\%}$$（$$= 0.3$$）；丟一個公正銅板出現正面的機率是 $$1/2$$；丟一個骰子出現三點的機率是 $$1/6$$。

我們要探討隨機實驗的機率模型，這是由三個要件組成的：樣本空間、事件以及機率測度。我們只研究隨機實驗的所有可能出現結果（outcomes）為有限個的情形，這些結果合成一個集合：

$$\Omega=\{\omega_1,\omega_2,\dots,\omega_N\}$$

叫做樣本空間（sample space），其元素叫做樣本點（sample point）。對於每一個樣本點 $$\omega_k$$ 都指定有機率 $$p_k$$，用來衡量 $$\omega_k$$ 出現的機會之大小。我們自然要假設：

1. $$0\le p_k\le 1,~~~k=1,2,\cdots,N$$
2. $$\sum\limits^N_{k=1}p_k=1$$

【註】機率論真正深奧且有趣的情況是樣本空間 $$\Omega$$ 為無窮集、甚至是連續統（continuum）$$[0, 1]$$ 的情形。此時必需用到高等的數學──測度積分論。

樣本空間 $$\Omega$$ 的任何子集合都叫做事件（event），所有事件的全體記為 $$\mathfrak{A}$$。對於事件 $$ A\in\mathfrak{A}$$，如果隨機實驗的結果 $$\omega\in A$$，則稱事件 $$A$$ 發生了，否則就是不發生。事件 $$\omega$$ 必然發生，叫做鐵定事件（sure event），空集 $$\varnothing$$ 永不發生，叫做不可能事件（impossible event）。兩事件 $$A,B$$，若具有 $$A\cap B=\varnothing$$，則稱它們為互斥事件（disjoint）。$$A\cup B$$ 叫做 $$A$$ 發生或 $$B$$ 發生的事件，$$A\cap B$$ 叫做 $$A$$ 與 $$B$$同時都發生的事件。補集 $$A^c\equiv\Omega\backslash A$$ 叫做 $$A$$ 不發生的事件。

最後還有機率測度 $$P$$ 的概念，用來衡量事件發生的機會之大小：

$$P:\mathfrak{A}\rightarrow [0,1]$$

對於任何事件 $$A\in\mathfrak{A}$$，定義其機率為

$$P(A)=\sum\limits_{k\ge 1:\omega_k\in A} p_k$$

值得特別關照的是，當每個樣本點發生的機會均等時（Laplace的古典假設）

$$p_1=p_2=\dots =p_N=\frac{1}{N}$$

此時我們有 $$\displaystyle P(A)=\frac{|A|}{|\Omega|} =\frac{|A|}{N}$$，其中$$|\dots|$$表示集合的元素個數。

在這種情形之下，機率的計算通常就是根據排列與組合的點算原則。

三合一空間是指一個初等機率空間$$(\Omega,\mathfrak{A},P)$$，由三個要件組成，這是隨機實驗的機率模型，是探討有關此隨機實驗的所有機率問題之根據地。

根據上述的定義，我們可以直接驗證下列常用的機率演算規則。

【定理 3】機率測度 $$P$$ 具有下列性質：

1. $$P(\Omega)=1,~~~P(\varnothing)=0$$
2. $$P(A^c)=1-P(A)$$，其中 $$A^c$$ 表示 $$A$$ 的補集，即 $$A^c=\Omega\backslash A$$
3. 若 $$A\subseteq B$$，則 $$P(A)\le P(B)$$
4. $$P(A\cup B)=P(A)+P(B)-P(A\cap B)$$
   特別地，若 $$A,B$$ 互斥，則有 $$P(A\cup B)=P(A)+P(B)$$
5. （Boole 不等式）：對於任意 $$n$$ 個事件 $$A_1,A_2,\cdots,A_n$$，
   恆有 $$\displaystyle P\left(\bigcup^n_{k=1}A_k\right)\le\sum^{n}_{k=1}P(A_k)$$
6. （有窮加性）：進一步，若 $$A_1,A_2,\cdots,A_n$$ 兩兩互斥，則有 $$\displaystyle P\left(\bigcup^n_{k=1}A_k\right)=\sum^{n}_{k=1}P(A_k)$$
7. （取捨原理，Inclusion-Exclusion Principle）：
   $$\displaystyle P\left(\bigcup^n_{k=1}A_k\right)=\sum^{n}_{k=1}P(A_k)-\sum_{1\le k_1<k_2\le n}P(A_{k_1}\cap A_{k_2})+\sum_{1\le k_1<k_2<k_3\le n}P(A_{k_1}\cap A_{k_2}\cap A_{k_3})-\cdots+(-1)^{n+1}P(A_1 \cap A_2 \cap \cdots \cap A_n)$$

【例3】考慮丟一個公正銅板一次的隨機實驗。樣本空間為 $$\Omega =\{H,T\}$$，其中 $$H$$ 代表「正面」（heads），$$T$$ 代表「反面」（tails）。

由於銅板是公正的，所以 $$\displaystyle p_1=p_2=\frac{1}{2}$$

從而有  $$(\mathrm{a})~~~P(\varnothing)=0\\ (\mathrm{b})~~~P(\{H\})=\frac{1}{2}\\ (\mathrm{c})~~~P(\{T\})=\frac{1}{2}\\ (\mathrm{d})~~~P(\Omega)=P(\{H,T\})=(1/2)+(1/2)=1$$

【例4】考慮丟兩個公正骰子一次的隨機實驗（或一個公正骰子獨立丟兩次）。

樣本空間為 $$\Omega=\{(1,1), (1,2),\dots, (6,6)\}$$（一共有 $$36$$ 個元素）

其中 $$(i,j)$$ 表示丟出第一個骰子為 $$i$$ 點，第二個骰子為 $$j$$ 點。

由於骰子是公正的，所以 $$p_1=p_2=\dots =p_{36}=\frac{1}{36}$$

集合 $$A= \{(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)\}$$ 表示丟出兩骰具有相同的點數之事件，其機率為$$P(A)=\frac{6}{36}=\frac{1}{6}$$。

【例5】考慮 $$n$$ 個人，求至少有兩人的生日是同一天的機率。

【解答】這是 $$n$$ 個球置於 $$365$$ 個袋子的模型（假設一年有 $$365$$ 天）。

設 $$A$$ 表示至少有兩人的生日是同一天的事件，我們要來計算機率$$P(A)$$。

首先，注意到如果 $$n>365$$，那麼顯然 $$P(A)=1$$，這是排列與組合學中鴿洞原理的結論。

假設 $$n\leq365$$，則置球的總方法數為 $$365^n$$ 種。

令 $$A$$ 表示至少有兩人的生日是同一天的事件，欲求算機率 $$P(A)$$。

但是這不易算，我們改算反面事件 $$A^c$$ 的機率。

$$ A^c$$ 表示沒有兩球置於同一個袋子裡，因此易知

$$\displaystyle P(A^c)=\frac{365\times 364\times\cdots\times(365-n+1)}{365^n}$$

從而 $$\displaystyle P(A)=1-P(A^c)=1-\frac{365\times 364\times\cdots\times(365-n+1)}{365^n}$$

值得注意的是，當 $$n=23$$ 時，$$P(A) > 0.5 $$。因此，一個 $$50$$ 人的班級，發現有兩人的生日是同一天，這並不稀奇，因為機率很高。

【例6】（隨機配對問題，Random Matching Problem）
糊塗女秘書，將 $$n$$ 封信裝入 $$n$$ 個信封，問全部都裝錯的機率是多少？

【解答】

令 $$A_k$$ 表示第 $$k$$ 封信裝對的事件，則 $$A_1\cup{A_2}\cup{\dots}\cup{A_n}$$表示至少有一封信裝對的事件。

今因 $$\displaystyle P(A_k)=\frac{(n-1)!\ }{n!\ }=\frac{1}{n},~~~P(A_i\cap A_j)=\frac{(n-2)!\ }{n!\ }=\frac{1}{n(n-1)},\cdots$$

由取捨原理，全部都裝錯的機率為

$$1-P(A_1\cup A_2\cup\cdots\cup A_n)$$

$$\begin{multline*}=1-\sum\limits^n_{k=1}P(A_k)+\sum\limits^n_{i<j}P(A_i\cap A_j)-\sum\limits^n_{i<j<k}P(A_i\cap A_j\cap A_k)\\+\cdots+(-1)^{n+1}P(A_1\cap A_2\cap \cdots \cap A_n)\end{multline*}$$

$$=\displaystyle 1-1+\frac{1}{2!\ }-\frac{1}{3!\ }+\cdots+(-1)^n\frac{1}{n!\ }$$

注意：由微積分知，當 $$n\to\infty$$ 時，此機率趨近於 $$e^{-1}\fallingdotseq{0.3679}$$。

連結：初等的機率論（6）條件機率與Bayes公式

參考書目：

1. William Feller: An Introduction to Probability Theory and its Applications. Vol.1 John-Wiley & Sons, INC. Third Edition, 1967.
2. Sheldon M. Ross: A First Course in Probability. 8th Edition, Prentice Hall, 2009.
   （這兩本是公認的機率論入門絕佳的書。第一本是經典；第二本是比較晚近寫成的書，經常被拿來當作大學部「初等機率論」這門課的教科書。）
3. Kai Lai Chung: Elementary Probability Theory. Springer, 2004.
4. Hugh Gordon: Discrete Probability. Springer, 1997.
5. Eugene Lukacs: Probability and Mathematical Statistics. Academic Press, 1972.
6. David Stirzaker: Elementary Probability. Cambridge University Press, 1994.
7. Jim Pitman: Probability. Springer-Verlag, 1993.
8. Janos Galambos: Introductory Probability Theory. Marcel Dekker, INC. 1984.

註：通常要講述機率論必須用到「測度積分論」的數學工具，或至少要用到微積分。因此要為一般讀者介紹機率論的讀物誠屬不容易。上述八本書盡量壓低要用到的數學工具，大部分只需排列與組合，只有少部份要用到一點兒微積分。

從科學方法論的觀點來看，機率論與統計學是一體的兩面，機率論是「演繹法」，統計學是「歸納法」。因此，本文的主題雖然是機率論，但是也順便介紹一點點統計學的概念。