능선회귀(Ridge regression)에 대하여 2 - λ 와 β 의 관계 다변량 정규분포의 최대우도추정량(MLE) 유도하기 2 \(\lambda\)와 솔루션 \(\beta\)의 관계 \[ L\left(\beta\right)=\frac{1}{2}\left(y-X\beta\right)^{T}\left(y-X\beta\right)+\frac{\lambda}{2}\left|\left|\beta\right|\right|_{2}^{2} \]지난 포스팅에서는 위와 같은 능선회귀(Ridge regre.. Statistics/Linear models 2017.05.23 23:36
능선 회귀(Ridge regression)에 대하여 1 - 해(solution) 유도하기 Ridge regression에 대하여 1 Ridge regression에 대하여 한국 통계학회 용어집에 따르면 Ridge regression의 경우 능선회귀, 능형회귀로 번역이 되어 있는데, 필자는 능선 회귀가 좀 더 원래 용어를 잘 나타낸다고 생각하므로 이 포스팅에서는 Ridge regression을 능선 회귀로 번역하여 사용하도록 하겠다.사진출처: https://onlinecourses.s.. Statistics/Linear models 2017.05.23 23:34
다변량 정규분포의 최대우도추정량(MLE) 유도하기 2 다변량 정규분포의 최대우도추정량(MLE) 유도하기 2 지난 시간에 이어서 오늘은 \(\Sigma\)에 대한 MLE유도를 이어가도록 하겠다. \(\Sigma\)에 대한 MLE를 구하기 위해서는 아래에 주어진 로그우도(Log-likelihood)함수를 매트릭스인 \(\Sigma\)로 미분을 해야한다. \[ \mathit{l}\left(\underline{x};\underline{\mu},\Sigma\right) \propto-\frac{.. Statistics/Inference 2017.05.23 23:32
다변수 정규분포의 최대우도추정량(MLE) 유도하기 1 오늘은 다변수 정규분포(Multivariate Normal distribution-이하 MVN)에서 최대우도추정량(Maximum Likelihood Estimator-이하 MLE)를 유도하는 것을 알아보도록 하겠다. 필자가 MLE에 대한 포스팅은 하지 않았으나 독자가 MLE에 대한 기본지식이 있다는 전제하에 다변수 정규분포의 모수인 \(\mu\)와 \(\Sigma\)에 대한 MLE를 유도하는 초점을 맞춰서 포스팅 하도록 하겠다. MLE의 .. Statistics/Inference 2017.01.25 00:07
