1. 누적분포함수 (Cumulative Distribution Function, CDF)
정의
누적분포함수(cdf) $F_X(x)$는 랜덤 변수 $X$가 $x$보다 작은 값을 가질 확률 $P(X \leq x)$로 정의됩니다.
$$F_X(x) = P \{ X \leq x \}$$
성질
누적분포함수 $F_X(x)$는 다음과 같은 성질을 가집니다.
1. $F_X(x)$는 단조증가함수(monotonically non-decreasing function)이다.
누적분포함수는 $X$가 $x$ 이하일 확률을 누적해서 표현합니다. 따라서 $x$가 커질수록 더 많은 값이 포함되므로 $F_{X}(x)$는 감소하지 않고, 일정하게 유지되거나 증가합니다.
2. $\lim\limits_{x \to \infty} = 1$
$x$가 무한대로 커지면 $X$가 가질 수 있는 모든 결과가 $x$ 이하에 포함됩니다. 이는 표본 공간 전체에 해당하므로 확률의 합은 항상 1이 됩니다.
3. $\lim\limits_{x \to - \infty} = 0$
누적분포함수 $F_{X}(x)$는 $X \leq x$일 확률을 의미합니다. $x$가 아주 작은 값으로 가면 가능한 결과가 거의 포함되지 않으므로 누적 확률은 0이 됩니다.
🐤 단조증가함수는 $x \leq x$이면 $f(x) \leq f(y)$인 함수를 말합니다.
2. 확률밀도함수 (Probability Density Function, PDF)
정의
연속 랜덤 변수 $X$의 확률 밀도 함수 $p_{X}(x)$는 실수 구간 $I = (\infty, x]$에 대해서 아래를 만족하는 실수 함수로 정의합니다.
$$\int^{x}_{- \infty} p_{X}(x)dx = P \{ X \leq x \} = F_X(x)$$
구간 확률
랜덤 변수 $X$가 임의의 실수 구간 $(a, b]$에 속할 확률은 확률밀도함수를 사용해 다음과 같이 계산할 수 있습니다.
$$P \{ a < X \leq b \} = F_{X}(X \leq b) - F_{X}(X \leq a) = \int^{b}_{a} p_{X}(x)dx $$
즉, 랜덤 변수 $X$가 임의의 실수 구간 $(a, b]$에 속할 확률은 다음 그림과 같이 구간 $(a, b]$ 사이의 확률밀도함수 곡선 아래의 면적입니다.
성질
확률밀도함수 $p_{X}(x)$는 다음과 같은 성질을 가집니다.
1. $p_{X}(x) \geq 0$
확률은 절대 음수가 될 수 없으므로 확률밀도함수의 값도 항상 0 이상입니다.
2. $\int^{\infty}_{- \infty} p_{X}(x)dx = 1$
확률 변수 $X$가 가질 수 있는 모든 가능한 값에 대한 확률의 총합은 항상 1이어야 합니다.
3. 확률질량함수(Probability Mass Function, PMF)
정의
이산 랜덤 변수 $X$에서는 특정 값에 대한 확률을 나타내는 함수입니다.
$$w_{X} = P \{ X=x_i \}, \; i = 1, \dots, n$$
디랙 델타(Direc delta) 함수를 이용한 표현
디렉 델타 함수 $\delta(x)$를 이용하면 확률질량함수를 확률밀도함수의 형태로 표시할 수 있습니다.
$$p_{X}(x) = \sum\limits^{n}_{i=1}w_{X}(x_i) \delta(x - x_i)$$
🐤 디랙 델타 함수 $\delta(x - a)$는 다음과 같은 두 가지 성질을 만족하는 함수로 정의됩니다.
$$ \delta(x - x_0) = \begin{cases} \infty & \text{if } x = x_0, \\ 0 & \text{if } x \neq x_0, \end{cases}$$
$$\int_{-\infty}^{\infty} \delta(x - x_0) \, dx = 1$$
디랙 델타 함수는 $x = a$에서만 무한대의 크기를 갖고 그 외에는 모두 0의 값을 가지지만 함수의 면적은 1로 고정되어 있습니다.
4. 결합 누적분포함수 (Joint Cumulative Distribution Function)
정의
랜덤 변수 $X$와 $Y$의 결합 누적분포함수 $F_{XY}(x, y)$는 다음과 같이 정의됩니다.
$$ F_{X, Y}(x, y) = P(X \leq x, Y \leq y) $$
여기서 $F_{XY}(x, y)$는 두 랜덤 변수 $X$와 $Y$가 각각 $x$ 이하, $y$ 이하의 값을 가질 확률을 나타냅니다.
결합 누적분포함수 $F_{XY}(x, y)$는 $(x, y)$를 기준으로 왼쪽 아래 영역에 해당하는 확률입니다.
성질
결합 누적분포함수 $F_{XY}(x, y)$는 다음과 같은 성질을 가집니다.
1. $0 \leq F_{XY}(x, y) \leq 1$
결합 누적분포함수는 항상 0 이상 1 이하의 값을 가집니다.
2. $F_{XY}(\infty, \infty)$
$X$, $Y$가 각각 무한대로 갈 때 결합 누적분포함수는 전체 확률인 1에 수렴합니다.
3. $F_{XY}(- \infty, y) = F_{XY}(x, -\infty) = 0$
$X$ 또는 $Y$가 $- \infty$로 갈 때 결합 누적분포함수는 0이 됩니다.
4. $F_{XY}(x, \infty) = F_{X}(x)$
$Y$가 무한대로 갈 때 결합 누적분포함수는 $X$의 누적분포함수 $F_{X}(x)$와 같습니다.
5. $F_{XY}(\infty, y) = F_{Y}(y)$
$X$가 무한대로 갈 때 결합 누적분포함수는 $Y$의 누적분포함수 $F_{Y}(y)$와 같습니다.
5. 결합 확률밀도함수 (Joint Probability Mass Function)
정의
결합 확률밀도함수 $p_{XY}(x, y)$는 결합 누적분포함수로부터 다음과 같이 정의됩니다.
$$F_{X,Y}(x, y) = \int_{-\infty}^x \int_{-\infty}^y p_{X,Y}(u, v) \, dv \, du$$
성질
결합 확률밀도함수 $p_{XY}(x, y)$는 다음과 같은 성질을 가집니다.
1. $p_{XY}(x,y) \geq 0$
결합 확률밀도함수는 항상 0 이상입니다.
2. $\int_{-\infty}^{\infty} \int_{-\infty}^ {\infty} p_{X,Y}(x, y) \, dx \, dy = 1$
두 랜덤 변수 $X$와 $Y$가 가질 수 있는 모든 가능한 값에 대한 확률의 총합은 1입니다.
한계밀도함수 (Marginal Density Function)
결합확률밀도함수로부터 특정 랜덤 변수의 확률밀도함수를 구할 때 사용됩니다.
정의
두 랜덤 변수 $X$와 $Y$의 결합확률밀도함수 $p_{XY}(x,y)$가 주어졌을 때
1. $X$에 대한 한계밀도함수 $p_{X}(x)$
$$p_{X}(x) = \int_{-\infty}^\infty f_{X,Y}(x, y) \, dy$$
2. $Y$에 대한 한계밀도함수 $p_{Y}(y)$
$$p_{Y}(y)= \int_{-\infty}^\infty f_{X,Y}(x, y) \, dx$$
참고 자료
- Monotonic function
- Application of Monotonic Constraints in Machine Learning Models
- Probability Density Function : Meaning, Formula, and Graph
- 5.1.2 Joint Cumulative Distributive Function (CDF)
'수학' 카테고리의 다른 글
[강화학습] 확률과 랜덤 변수(1) (1) | 2024.12.16 |
---|