Bayesian MMSE (Bayesian Minimum Mean Squared Error) Estimator, 베이지안 최소제곱 오차 추정기

베이지안 MMSE estimator 에 대해 알아봅시다. Bayesian MMSE는 풀네임으로 Bayesian Minimum Mean Square Error estimator 입니다. Bayesian MMSE Estimator Bayesian MMMSE estimator 를 알려면, Bayesian MSE를 알아야 합니다.  Bayesian MSE는 아래와 같이 표현됩니다. $$BMSE = E[ (\hat{\theta}(X) – \theta)^2] = \int \int (\hat{\theta}(X) – \theta)^2 p(x \mid \theta) dx p(\theta)d\theta$$ 위의 식을 최소로 하는 추정치 … Read more

(조건부 평균)Conditional Expectation 의 엄밀한 정의

확률론에서 Conditional Expectation 은 굉장히 중요한 개념이다. 한국말로 하면은 조건부 평균 정도로 번역가능하다. 어떤 조건이 주어졌을 때 평균을 구한다는 의미라고 보면 되겠다. 계산을 위해 사용하는 Conditional Expectation 의 정의는 널리 알려져 있으니 생략하고 수학적으로 엄밀한 정의를 알아보자.   Conditional Expectation 의 정의 $X : \Omega \to \mathbb{R}$를 랜덤변수(Random Variable)이라고 하자. $\mathcal{F}$를 $\Omega$의 subset들로 구성된 $\sigma$-field … Read more

랜덤 프로세스 Expected Average Power, Expected Instaneous Power 의 정의와 의미

랜덤 프로세스 $X_t$는 하나의 신호(signal)이다. 이 신호를 보내거나 받거나 할때 이 신호가 가진 전력(Power)이 중요한 요소이다. 전력이 크다는 것은 신호를 보낼 때 단위시간 당 더 많은 에너지가 필요하다고 해석할 수 있다. 신호의 Power를 구하는 방법에는 두가지가 있는데 그 정의를 소개하겠다.   Expected Average Power의 정의 $X_t$의 Expected Average Power(평균 기대 전력)은 다음과 같다. $$P_X = … Read more

WSS(Wide Sense Stationary)Process 의 정의와 의미

랜덤프로세스 $X_t$가 있을 때 WSS(Wide Sense Stationary) Process의 정의와 의미를 알아보도록 하자. Wide Sense Stationary 를 번역해보면 넓은 의미의 Stationary 라는 뜻이다. 그러면 Stationary Process의 의미는 무엇일까? 랜덤프로세스 $X_t$가 어느 시간에 놓여있던 간에 distribution 이 같다는 의미이다. 정의는 아래와 같다.   (Strict Sense) Stationary Process [SSS Process] 랜덤프로세스 $X_t$의 분포가 다음과 같을 때 $X_t$를 (Strict … Read more

stationary distribution(정상분포)의 정의

$X_n$가 markov process라고 하자. 그리고 $X_n$이 가질 수 있는 값은 이산적이라고 하자. 그러면 $X_n$의 움직임을 볼 수 있는 전이행렬 $P$이 존재한다. 이 전이행렬을 가지고 $X_n$에서 $X_{n+1}$로 변할 확률을 구할 수 있다.  $$P_{ij} = P(X_{n+1} = j | X_{n} = i)$$   이렇듯 마코브 프로세스는 전이행렬을 가지고 표현이 가능하다. 그런데! $P(X_n =j)$처럼 $X_n$의 분포는 어떻게 구할 … Read more

다차원 가우시안 분포에 대한 이해

다차원 가우시안 분포의 개념 다차원 가우시안 분포는 여러 변수들이 서로 상호작용하며 이루는 분포를 설명합니다. 예를 들어, 확률벡터 X= (X1,…,Xn)가 다차원 가우시안 분포를 따른다고 할 때, 이는 X의 모든 부분 집합이 가우시안 분포를 따른다는 의미입니다. 특징과 중요성 다차원 가우시안 분포의 이해는 복잡한 데이터 구조를 분석하고 이해하는 데 매우 중요합니다. 예를 들어, 금융 시장에서 다양한 자산의 수익률은 … Read more

랜덤 프로세스 이해하기: 연속시간과 이산시간 확률과정의 기초

안녕하세요, 오늘은 랜덤 프로세스에 대해 알아보는 시간을 갖도록 하겠습니다. 랜덤 프로세스, 또는 확률과정은 수학과 통계학에서 매우 중요한 개념입니다. 이 개념은 다양한 분야에서, 특히 금융, 엔지니어링, 과학 연구에서 중요한 역할을 합니다. 랜덤 프로세스의 개념 랜덤 프로세스(확률과정)는 시간에 따라 변화하는 랜덤한 변수들의 집합을 의미합니다. 쉽게 말해, 시간이 흐름에 따라 그 결과가 불확실한 어떤 과정을 말합니다. 예를 들어, … Read more

정규분포와 평균의 이해와 평균의 중요성

가우시안 분포, 더 널리 알려진 정규분포는 통계학의 근간을 이루는 중요한 개념입니다. 이 분포는 자연 현상, 사회 현상, 심지어 금융 시장에서도 흔히 관찰될 수 있습니다. 그 중요성으로 인해, 정규분포의 확률밀도함수(pdf)는 기본적인 통계 지식으로 여겨집니다. 정규분포의 특징은 그 형태가 평균(mean)과 분산(variance)에 의해 결정된다는 점입니다. 이 글에서는 정규분포의 평균을 구하는 방법에 초점을 맞추겠습니다. 표준정규분포의 평균 구하기 정규분포의 평균을 … Read more

Convergence in Distribution: 확률변수 수열의 분포 수렴 이해하기

서론: 확률변수와 그 수열의 중요성 확률변수는 불확실한 사건의 결과를 수치적으로 표현하는데 사용됩니다. 이러한 확률변수들의 수열, 즉 Xn,는 많은 과학적 및 엔지니어링 분야에서 발견되며, 이들의 행동을 이해하는 것은 예측 모델링과 의사결정 과정에서 중요합니다. 분포수렴(Convergence in Distribution)의 정의 분포수렴은 확률변수 수열 Xn이 어떻게 변화하는지를 나타내는 통계적 개념입니다. 구체적으로, 분포수렴은 이러한 수열이 다른 확률변수의 분포에 점점 가까워질 때 … Read more

입력이 WSS(Wide sense stationary) 프로세스인 LTI 시스템의 출력이 WSS 임을 증명

    랜덤프로세스가 Wide Sense Stationary(WSS)라는 것의 의미는 이 글에서 알 수 있다.(Wide Sense Stationary(WSS) process, 넓은 의미의 안정성 프로세스의 의미) 랜덤프로세스는 어떤 신호의 입력이기도 하고 출력이기도 한데, 어떤 시스템의 입력이 WSS 프로세스면 출력은 어떻게 될까? 그 시스템이 LTI 시스템이라면? 이번 글에서는 LTI 시스템의 입력이 WSS 프로세스일 때 출력또한 WSS 프로세스임을 보이도록 하겠다. LTI 시스템의 … Read more