概率論 Cheat Sheet 18:條件分佈

1. 離散情形下的條件分佈

對於兩個事件 $E$ 和 $F$,給定 $F$ 發生的條件下 $E$ 的條件概率為(假設 $P(F) > 0$)

\begin{equation}

P(E|F) = \frac{P(EF)}{P(F)}

\end{equation}

如果 $X$ 和 $Y$ 都是離散型隨機變量,那麼在已知 $Y = y$ 的條件下,定義 $X$ 的分佈列如下:對於所有滿足 $p_Y(y) > 0$ 的 $y$,均有

\begin{equation}

p_{X|Y}(x|y) = P\{X = x | Y = y\} = \frac{P\{X = x, Y = y\}}{P\{Y = y\}} = \frac{p(x, y)}{p_Y(y)} \tag{1}

\end{equation}

類似地,也可以定義在已知 $Y = y$ 的條件下 $X$ 的條件分佈函數,對所有滿足 $p_Y(y) > 0$ 的 $y$,有

\begin{equation}

F_{X|Y}(x|y) = P\{X \leq x | Y = y\} = \sum_{a \leq x} p_{X|Y}(a|y) \tag{2}

\end{equation}

條件分佈與普通分佈在概念上是完全一樣的,所涉及的事件都是在 $Y = y$ 的條件下的事件。如果 $X$ 和 $Y$ 獨立,那麼

\begin{equation}

p_{X|Y}(x|y) = P\{X = x | Y = y\} = \frac{P\{X = x, Y = y\}}{P\{Y = y\}} = \frac{P\{X = x\} P\{Y = y\}}{P\{Y = y\}} = P\{X = x\} \tag{3}

\end{equation}

即如果 $X$ 和 $Y$ 獨立,那麼條件分佈列和條件分佈函數和通常的分佈列和分佈函數是一樣的。

2. 連續情形下的條件分佈

如果 $X$ 和 $Y$ 具有聯合密度函數 $f(x, y)$,那麼在給定 $Y = y$ 的條件下,$X$ 的條件密度函數定義為:對於任意滿足 $f_Y(y) > 0$ 的 $y$ 值,有

\begin{equation}

f_{X|Y}(x|y) = \frac{f(x, y)}{f_Y(y)} \tag{4}

\end{equation}

在上式左邊乘以 $\mathrm{d}x$,右邊乘以 $\frac{\mathrm{d}x \mathrm{d}y}{\mathrm{d}y}$,得

\begin{align}

f_{X|Y}(x|y) \mathrm{d}x &= \frac{f(x, y) \mathrm{d}x \mathrm{d}y}{f_Y(y) \mathrm{d}y} \\

& \approx \frac{P\{x \leq X \leq x + \mathrm{d}x, y \leq Y \leq y + \mathrm{d}y\}}{P\{y \leq Y \leq y + \mathrm{d}y\}} \\

&= P\{x \leq X \leq x + \mathrm{d}x | y \leq Y \leq y + \mathrm{d}y\}

\end{align}

對於很小的 $\mathrm{d}x$ 和 $\mathrm{d}y$,$f_{X|Y}(x|y) \mathrm{d}x$ 表示在 $Y$ 取值為 $y$ 和 $y + \mathrm{d}y$ 之間的條件下,$X$ 取值於 $x$ 和 $x + \mathrm{d}x$ 之間的條件概率。

條件密度還可以定義為已知一個隨機變量的取值的條件下,關於另一個隨機變量的事件地條件概率。即如果 $X$ 和 $Y$ 聯合連續,那麼對於任一集合 $A$,有

\begin{equation}

P\{X \in A | Y = y\} = \int_A f(X|Y)(x|y) \mathrm{d}x

\end{equation}

特別地,令 $A = (-\infty, a)$,那麼已知 $Y = y$ 的條件下 $X$ 的條件分佈函數為

\begin{equation}

F_{X|Y}(a|y) = P\{X \leq a | Y = y\} = \int_{-\infty}^a f(X|Y)(x|y) \mathrm{d}x \tag{5}

\end{equation}

在上述定義中,即使條件事件 $\{Y = y\}$ 的概率為 $0$,相應條件概率也有明確的含義。

如果 $X$ 和 $Y$ 為獨立連續型隨機變量,那麼給定 $Y = y$ 的條件下,$X$ 的條件密度和非條件密度是一樣的,即

\begin{equation}

f_{X|Y}(x|y) = \frac{f(x, y)}{f_Y(y)} = \frac{f_X(x) f_Y(y)}{f_Y(y)} = f_X(x) \tag{6}

\end{equation}

$t$ 分佈如果 $Z$ 和 $Y$ 相互獨立,且 $Z$ 服從標準正態分佈,$Y$ 服從自由度為 $n$ 的卡方分佈,那麼定義隨機變量 $T$

\begin{equation}

T = \frac{Z}{\sqrt{Y / n}} = \sqrt{n} \frac{Z}{\sqrt{Y}} \tag{7}

\end{equation}

稱為自由度為 $n$ 的 $t$ 分佈。$t$ 分佈在統計推斷中起着重要作用。

二元正態分佈如果對於常數 $\mu_x, \mu_y, \sigma_x > 0, \sigma_y > 0, -1 < \rho < 1$,以及所有 $-\infty < x, y < \infty$,隨機變量 $X$ 和 $Y$ 的聯合密度函數具有如下形式

\begin{equation}

f(x, y) = \frac{1}{2\pi\sigma_x\sigma_y\sqrt{1 – \rho^2}} \exp\Big\{-\frac{1}{2(1 – \rho^2)} \Big[ \big(\frac{x – \mu_x}{\sigma_x}\big)^2 + \big(\frac{y – \mu_y}{\sigma_y}\big)^2 \Big] – 2\rho\frac{(x – \mu_x)(y – \mu_y)}{\sigma_x \sigma_y} \Big\} \tag{8}

\end{equation}

則稱 $X$ 和 $Y$ 服從二元正態分佈。其中 $X$ 和 $Y$ 分別服從參數為 $(\mu_x, \sigma_x^2)$ 和 $(\mu_y, \sigma_y^2)$ 的正態分佈。對於聯合正態的隨機變量 $X$ 和 $Y$,它們相互獨立的充要條件是 $X$ 和 $Y$ 的相關係數 $\rho = 0$,此時 $f(x, y)$ 可以分解成兩個因子,一個只與 $x$ 有關,一個只與 $y$ 有關。

當隨機變量即非聯合連續,也非聯合離散,也可以考慮相應的條件分佈。假設 $X$ 是一個密度函數為 $f$ 的連續型隨機變量,$N$ 是一個離散型隨機變量,考慮 $N = n$ 的條件下的 $X$ 的條件分佈,有

\begin{equation}

\frac{P\{x < X < x + \mathrm{d}x | N = n\}}{\mathrm{d}x} = \frac{P\{N = n | x < X < x + \mathrm{d}x\}}{P\{N = n\}} \frac{P\{x < X < x + \mathrm{d}x\}}{\mathrm{d}x}

\end{equation}

令 $\mathrm{d}x \rightarrow 0$,可得

\begin{equation}

\lim_{\mathrm{d}x \rightarrow 0} = \frac{P\{x < X < x + \mathrm{d}x | N = n\}}{\mathrm{d}x} = \frac{P\{N = n | X = x\}}{P\{N = n\}} f(x)

\end{equation}

上式説明在給定 $N = n$ 的條件下,$X$ 的條件密度為

\begin{equation}

f_{X|N}(x|n) = \frac{P\{N = n | X = x\}}{P\{N = n\}} f(x) \tag{9}

\end{equation}