初等的機率論（6）條件機率與Bayes公式

初等的機率論（6）條件機率與Bayes公式
（Elementary Probability Theory-6. Conditional Probability and Bayes Formula）
國立臺灣大學數學系蔡聰明副教授/國立臺灣大學數學系蔡聰明副教授責任編輯

連結：初等的機率論（5）有限機率空間

摘要：本篇介紹何謂「條件機率(conditional probability)」，從而導出「機率的乘法公式」、「全機率公式(the total probability formula)」、以及「Bayes公式」，並分別舉例闡述其內涵。

在機率論中，條件式的思考是非常重要的一種思考方法。本節我們只介紹較簡單的條件機率（conditional probability）之概念。事件 $$A$$ 的機率 $$P(A)$$ 是在 $$\Omega$$ 鐵定發生的條件下，描述 $$A$$ 發生的機率。現在作推廣，假設已經知道事件 $$B$$ 發生了，要問事件 $$A$$ 發生的機率。照理說此時可能會跟 $$P(A)$$ 不一樣。我們先觀察一個例子。

【例7】考慮某個家庭有 $$5$$ 男 $$7$$ 女，其中男生有$$3$$人就業，女生有$$5$$人就業。今從這個家庭任取一個人，那麼樣本空間 $$\Omega$$ 為由這 $$12$$ 人組成，假設取到每個人的機會均等。令 $$W$$ 表示女生的集合， $$E$$ 表示就業者的集合。任取一個人為女生的機率是 $$P(W)=7/12$$。

假設我們知道此人是就業的，那麼樣本空間已改變成為 $$E$$，此人為女生的機率是 $$5/8$$。這就是條件機率（conditional probability）的概念。我們注意到，若還原到原來的樣本空間，計算方法就是

$$\displaystyle\frac{P(W\cap E)}{P(E)}=\frac{5/12}{8/12}=\frac{5}{8}$$

這就是條件機率，是很自然而重要的機率思考方法，值得我們另創一個新記號 $$P(W|E)$$ 來表達它，亦即：

$$\displaystyle P(W|E)=\frac{P(W\cap E)}{P(E)}=\frac{5}{8}$$

一般而言，我們有如下的定義。

【定義 1】

在初等機率空間 $$(\Omega,\mathfrak{A},P)$$ 中，假設 $$A,B$$ 為兩個事件，並且 $$P(B)>0$$，則在給定 $$B$$ 發生的條件下，$$A$$ 的條件機率 $$P(A|B)$$ 就定義為

$$\displaystyle P(A|B)=\frac{P(A\cap B)}{P(B)}~~~~~~~~~(1)$$

注意到，$$P(A)$$ 是條件機率的特例：$$P(A)=P(A|\Omega)$$。因此，相對地，我們稱 $$P(A)$$ 為絕對機率（absolute probability）。另外，映射 $$P($$●$$|B):\mathfrak{A}\rightarrow [0,1]$$ 也是一個機率測度。

由 $$(1)$$ 式立得機率的乘法公式：

$$P(A\cap B)=P(B)\cdot P(A|B)~~~~~~~~~(2)$$

此式表示事件 $$A$$ 與 $$B$$ 同時都發生的機率，等於 $$B$$ 發生的機率乘以給 $$B$$ 的條件之下 $$A$$ 的條件機率。如果 $$P(A)>0$$，$$(2)$$ 式可進一步寫成

$$P(A\cap B)=P(B)\cdot P(A|B)=P(A)\cdot P(B|A)~~~~~~~~~(3)$$

【例8】一個甕中裝有 $$8$$ 個紅球與 $$13$$ 個白球，我們接續抽出兩個球，抽出的第一球不再放回。假設抽到每一個球的機率相等。求兩球都抽到紅色的機率。

【解答】令 $$R_1$$ 與 $$R_2$$ 分別表示第一次與第二次抽到紅色的事件，則 $$P(R_1)=\frac{8}{21}$$。當第一次抽到紅色 $$R_1$$ 的條件下，甕中剩下 $$7$$ 個紅球與 $$13$$ 個白球，故第二次抽到紅色 $$R_2$$ 的條件機率為 $$P(R_2|R_1)=\frac{7}{20}$$。因此兩球都抽到紅色的機率為

$$\displaystyle P(R_1\cap R_2)=P(R_1)\cdot P(R_2|R_1)=\frac{8}{21}\times\frac{7}{20}=\frac{2}{15}$$

【定義 2】

如果 $$n$$ 個事件 $$B_1,B_2,\cdots,B_n$$ 具有兩兩互斥且 $$\Omega=B_1\cup B_2\cup\cdots\cup B_n$$

則我們稱 $$\{B_1,B_2,\cdots,B_n\}$$ 為 $$\Omega$$ 的一個可測分割（a partition）。

【定理 4】（全機率公式，the total probability formula）

假設 $$\{B_1,B_2,\cdots,B_n\}$$ 為 $$\Omega$$ 的一個可測分割，$$P(B_k)>0,~k=1,2,\cdots,n$$，

並且 $$A\in\mathfrak{A}$$，則

$$P(A)=\displaystyle\sum^n_{k=1}P(A|B_k)P(B_k)~~~~~~~~~(4)$$

特別地，若 $$0<P(B)<1$$，則我們有 $$P(A)=P(A|B)P(B)+P(A|B^c)P(B^c)$$

【註】$$(4)$$ 式叫做「全機率公式」，有化整為零的意味。

【例9】（摸彩問題）
假設甕中有 $$n$$ 個球，其中有 $$m$$ 個球有獎（$$3<m<n$$）。今有甲乙丙三人按序各抽出一個球，不再放回，問三人中獎的機率各為多少？

【解答】這是全機率公式的應用。首先，甲中獎的機率為 $$m/n$$。乙的中獎是在甲中獎與不中獎的分割之下進行思考，即甲中獎後乙又中獎，加上甲不中獎後乙又中獎，故乙中獎的機率為：

$$\displaystyle\frac{m}{n}\cdot\frac{m-1}{n-1}+(1-\frac{m}{n})\cdot\frac{m}{n-1}=\frac{m}{n}$$

同理，丙的中獎是在：甲中獎且乙中獎，甲中獎且乙不中獎，甲不中獎且乙中獎，甲不中獎且乙不中獎，這個分割之下進行思考。從而，丙中獎的機率為：

$$\frac{m}{n}\frac{m-1}{n-1}\frac{m-2}{n-2}+\frac{m}{n}\frac{n-m}{n-1}\frac{m-1}{n-2}+\frac{n-m}{n}\frac{m}{n-1}\frac{m-1}{n-2}+\frac{n-m}{n}\frac{n-m-1}{n-1}\frac{m}{n-2}=\frac{m}{n}$$

因此，理性論述告訴我們，三人中獎的機率都相等，跟抽球的順序無關，但是一般常識卻讓我們錯覺為先抽球者比較有利。

假設 $$H$$ 與 $$A$$ 為兩個事件，並且 $$P(H)> 0$$，$$P(A)>0$$。由條件機率的定義與乘法公式得到：

$$\displaystyle P(A|H)=\frac{P(A\cap H)}{P(H)}=\frac{P(A)P(H|A)}{P(H)}~~~~~~~~~(5)$$

$$P(H)P(A|H)=P(A)P(H|A)$$

因此 $$\displaystyle P(H|A)=\frac{P(H)P(A|H)}{P(A)}~~~~~~~~~(6)$$

由 $$(5)$$ 式的 $$P(A|H)$$ 到 $$(6)$$ 式的 $$P(H|A)$$，在科學方法論上有重大意義。

在科學研究中，探求事物的因果關係是一個的核心課題。有因必有果，有果必有因，我們要「由因推果」，並且「由果追因」。

我們對 $$(6)$$ 式作如下的解釋：在一個因 $$H$$ 之下，可能產生各種的果，而產生果 $$A$$ 的條件機率為 $$P(A|H)$$。今已知 $$A$$ 發生了，我們要反過來追究它是由因 $$H$$ 產生的條件機率 $$P(H|A)=?$$ 答案就是 $$(6)$$ 式。

推而廣之，假設 $$\mathcal{H}=\{H_1,H_2,\dots,H_n\}$$ 為 $$\Omega$$ 的一個分割，$$A\in\mathfrak{A}$$ ，我們將 $$\{H_1,H_2,\dots,H_n\}$$ 想像成是產生 $$A$$ 的 $$n$$ 種因，並且假設知道 $$P(A|H_k)$$ 與 $$P(H_k)$$。現在已知事件 $$A$$ 發生了，我們要反過來追究 $$A$$ 是由因 $$H_k$$ 促成的條件機率 $$P(H_k|A)$$。

答案就是下列的Bayes公式：

【定理 6】（Bayes 公式）

$$\displaystyle P(H_k|A)=\frac{P(H_k)P(A|H_k)}{\sum\limits^n_{i=1}P(H_i)P(A|H_i)},~~k=1,2,\cdots,n~~~~~~~~~(7)$$

【註】此式是Bayes統計的發源地。$$P(H_i)$$ 叫做 $$H_i$$ 的先驗機率（a priori probability of $$H_i$$）；$$P(H_i|A)$$ 叫做 $$A$$ 發生後，$$H_i$$ 的後驗機率（a posteriori probability of $$H_i$$ after the occurrence of event $$A$$）。先驗機率 $$P(H_i)$$，在 $$A$$ 發生的資訊下，修正為後驗機率 $$P(H_i|A)$$。因此Bayes公式甚有從經驗中學習、不斷修正的意味。

【例10】有一個甕裝有兩個硬幣： $$A_1$$ 為公正硬幣，擲出 $$H$$ 的機率為 $$1/2$$；另一個 $$A_2$$ 為不公正硬幣，擲出 $$H$$ 的機率為 $$1/3$$。今我們從甕中任意取出一個硬幣（機會均等），再擲此硬幣，得到正面 $$H$$。求此硬幣為公正硬幣 $$A_1$$ 的機率。

【解答】讓我們先建構相應的機率模型。取樣本空間為 $$\Omega=\{A_{1}H, A_{1}T,A_{2}H, A_{2}T\}$$

這描述著從甕中任意取出一個硬幣，再擲此硬幣的隨機實驗之所有結果（$$A_{1}H$$表示取到公正硬幣$$A_1$$，再擲出正面$$H$$）。

根據假設條件得知 $$P(A_1)=P(A_2)=\frac{1}{2}$$ 並且 $$P(H|A_1)=\frac{1}{2}$$ ，$$ P(H|A_2)=\frac{1}{3}$$

由此可唯一得到樣本點的機率測度 $$\displaystyle P(A_{1}H)=P(A_1)P(H|A_1)=\frac{1}{2}\cdot\frac{1}{2}=\frac{1}{4}$$

同理 $$\displaystyle P(A_{1}T)=\frac{1}{4}$$，$$\displaystyle P(A_{2}H)=\frac{1}{6}$$，$$\displaystyle P(A_{2}T)=\frac{1}{3}$$

現在由Bayes公式得到所要的答案

$$\displaystyle P(A_1|H)=\frac{P(A_1)P(H|A_1)}{P(A_1)P(H|A_1)+P(A_2)P(H|A_2)}=\frac{3}{5}$$

從而又有 $$\displaystyle P(A_2|H)=\frac{2}{5}$$

連結：初等的機率論（7）獨立事件的概念

參考書目：

1. William Feller: An Introduction to Probability Theory and its Applications. Vol.1 John-Wiley & Sons, INC. Third Edition, 1967.
2. Sheldon M. Ross: A First Course in Probability. 8th Edition, Prentice Hall, 2009.
   （這兩本是公認的機率論入門絕佳的書。第一本是經典；第二本是比較晚近寫成的書，經常被拿來當作大學部「初等機率論」這門課的教科書。）
3. Kai Lai Chung: Elementary Probability Theory. Springer, 2004.
4. Hugh Gordon: Discrete Probability. Springer, 1997.
5. Eugene Lukacs: Probability and Mathematical Statistics. Academic Press, 1972.
6. David Stirzaker: Elementary Probability. Cambridge University Press, 1994.
7. Jim Pitman: Probability. Springer-Verlag, 1993.
8. Janos Galambos: Introductory Probability Theory. Marcel Dekker, INC. 1984.

註：通常要講述機率論必須用到「測度積分論」的數學工具，或至少要用到微積分。因此要為一般讀者介紹機率論的讀物誠屬不容易。上述八本書盡量壓低要用到的數學工具，大部分只需排列與組合，只有少部份要用到一點兒微積分。

從科學方法論的觀點來看，機率論與統計學是一體的兩面，機率論是「演繹法」，統計學是「歸納法」。因此，本文的主題雖然是機率論，但是也順便介紹一點點統計學的概念。