확률변수 함수의 분포를 알아보자 - Delta method에 대하여 (1) 이 포스팅의 내용은 A. W. van der Vaart의 Asymptotic Staticstis 3장의 예제 내용임을 밝힙니다.이번 포스팅에서는 수리통계에 배우는 여러 도구 중 필자가 생각하기에 가장 유용한 도구라고 생각하고 있는 Delta method에 대하여 이야기해보도록 하자. 이 방법은 우리가 어떤 확률 변수열의 점근 분포(asymptotic)를 알고있을때 이를 이용하여 다른 좀 더 복잡한 형태의 확률변수의 분포를 알아내는데에 사용된다. Delta method theorem Delta method 정리는 다음과 같다. \(\theta\)에 대하여 미분 가능한 함수 \(g\)의 정의역이 \(k\)차원에 속하고, 정의역의 원소..
집합들의 lim sup과 lim inf에 대하여 오늘은 집합들의 lim sup과 lim inf에 대하여 알아보도록 하자. 확률변수의 수렴을 이야기하기 위하여 꼭 필요한 개념이라서 고급 통계학 강의를 들으면 매번 나오는 개념이고, 그와 동시에 매번 까먹는 개념이 바로 이 집합열에 대한 limit supremum과 limit infimum에 대한 내용이다. 이번 포스팅의 내용은 필자가 숙제를 하면서 찾아보았던 자료 중 stack exchange 웹사이트에서 집합열의 lim sup과 lim inf의 개념에 대한 아주 재미있는 이야기를 발견하여, 포스팅을 하게 되었다. 원글은 다음의 링크를 참고하자. lim sup과 lim inf의 재미있는 이야기 본격적인 통계 이야기를 하기 전에 lim sup과 lim inf..
감마(Gamma) 분포 MLE 추정 with R - 4. MOME vs. MLE 의 비교 Bias와 MSE에 대하여 이번 포스팅에서 사용될 R 패키지는 다음과 같다. library(magrittr) 이전 세 편의 연재를 통하여 우리는 기대값 매칭을 통하여 모수를 찾는 적률법(Method of moments)과 데이터의 가능도 함수를 최대화 시키는 모수를 찾는 최대 가능도법(Maximum likelihood )에 대하여 알아보았다. 오늘은 이 방법을 통하여 찾은 추정량이 얼마나 좋은지, 즉 두 방법의 성능을 비교해보는 포스팅이 되겠다. 추정량(estimator)은 확률변수 통계 공부를 하는 많은 사람들이 처음에 추정량(estimator)과 추정값(estimate)을 구분하는데 어려움을 겪는다. 대부분의 경..
감마(Gamma) 분포 MLE 추정 with R - 2. 적률법(MOM)을 통한 모수 추정 이번 포스팅에서 사용될 R 패키지는 다음과 같다. library(tidyverse) library(RColorBrewer) 감마 분포(Gamma distribution)의 MOME와 MLE 우리가 이전 포스팅에서 우리는 감마분포의 모수들이 어떠한 의미를 가지고 있는지에 대하여 알아보았다. 오늘은 데이터가 감마분포에서 나왔다는 전제하에(사실 이 부분은 중요한 부분이다. “주어진 데이터를 가지고 감마분포의 MLE로 모수를 추정했습니다.” 라고 말하기 전에 사실 우리가 가진 데이터가 감마분포를 따르고 있는지에 대하여부터 판단을 해야한다. 하지만 실제 수리 통계 시간에 배우는 순서는 좀 더 근본적인 개념인 추정량을 먼저 ..
감마(Gamma) 분포 최대우도추정 with R - 1. 감마 분포의 pdf에 관하여 이번 포스팅에서 사용될 R 패키지는 다음과 같다. library(tidyverse) library(RColorBrewer) 감마 분포(Gamma distribution)에 대하여 감마분포는 통계시간에 한번쯤 들어는 봤을 법한 분포이면서, 약간은 만만치 않은 분포일 것이다(하지만 가장 만만한 지수 분포에서 비롯되었다.). 오늘은 이 감마 분포의 모수를 최대우도 추정법을 사용해서 구해보는 것의 첫 걸음으로 pdf에 대하여 알아보도록 하겠다. 먼저 감마분포의 pdf는 두가지 버젼이 있는데, 이 글에서 사용할 확률밀도함수(pdf)의 형태는 다음과 같다. \[ f(x;k,\theta) = {\frac {1}{\Gamma (k)\..
다변량 정규분포의 최대우도추정량(MLE) 유도하기 2 지난 시간에 이어서 오늘은 \(\Sigma\)에 대한 MLE유도를 이어가도록 하겠다. \(\Sigma\)에 대한 MLE를 구하기 위해서는 아래에 주어진 로그우도(Log-likelihood)함수를 매트릭스인 \(\Sigma\)로 미분을 해야한다. \[ \mathit{l}\left(\underline{x};\underline{\mu},\Sigma\right) \propto-\frac{n}{2}log\left|\Sigma\right|-\frac{1}{2}\sum_{i=1}^{n}\left(\underline{x}_{i}-\underline{\mu}\right)^{T}\Sigma^{-1}\left(\underline{x}_{i}-\underline{\mu}\..
오늘은 다변수 정규분포(Multivariate Normal distribution-이하 MVN)에서 최대우도추정량(Maximum Likelihood Estimator-이하 MLE)를 유도하는 것을 알아보도록 하겠다. 필자가 MLE에 대한 포스팅은 하지 않았으나 독자가 MLE에 대한 기본지식이 있다는 전제하에 다변수 정규분포의 모수인 \(\mu\)와 \(\Sigma\)에 대한 MLE를 유도하는 초점을 맞춰서 포스팅 하도록 하겠다. MLE의 개념에 대한 포스팅은 추후에 업데이트 하도록 하겠다. 사진출처: http://blogs.sas.com/content/iml/2012/07/05/compute-multivariate-normal-denstity.html#prettyPhoto/0/ 다변량 정규분포(MVN) ..
