Anyone can learn anything.

EM 알고리즘의 ascent property에 대하여 - Optimization with R

EM 알고리즘의 ascent property에 대하여 - Optimization with R 이전 포스팅에서는 EM 알고리즘에 대하여 간략한 예제를 통하여 알아보았다. 이번 포스팅에서는 EM 알고리즘이 작동하는 원리에 대하여 살짝 이해해보는 시간을 갖도록 하자. 전 포스팅에서 알아보았듯, 결국 EM 알고리즘은 E step과 M step을 반복 함으로써 우도함수를 최대화 시키는 방법이다. 자연스럽게 떠오르는..

EM 알고리즘에 대하여(1) - Optimization with R

EM 알고리즘에 대하여(1) - Optimization with R 이번 포스팅에서는 머신러닝(machine learning) 분야에서 많이 등장하는 EM 알고리즘(Expectation–Maximization algorithm)에 대하여 알아보도록 하겠다. 요즘 머신러닝이 유행하면서 EM 알고리즘이 뭔가 새롭게 등장한 것 같지만, EM 알고리즘은 어찌보면 전통 통계기법이라 할 만큼 그 역사가 길다. Ar..

Optimization with R - 5. 뉴턴 방법을 사용한 로지스틱 회귀분석 모수 추정하기

Optimization with R - 5. 뉴턴 방법을 사용한 로지스틱 회귀분석 모수 추정하기 Multivariate Newton’s method with R 지난 포스팅에서 우리는 입력변수가 2개 이상인 함수에 대하여 뉴턴법을 적용하여 보았다. 오늘은 이에 관한 실제 R코드를 짜고 이를 가상의 데이터를 만들어 적용하여 보도록 하자. 좀 더 쉬운 코드를 위하여 우리가 사용하는 최적화 방법은 ..

Optimization with R - 4. 다변수 함수 최적화, 뉴턴법(Newton’s method) 적용 예제

Optimization with R - 3. 2차 근사로서의 뉴턴 방법에 대하여(테일러 정리의 활용)

Optimization with R - 3. 2차 근사로서의 뉴턴 방법에 대하여 1차 근사를 이용한 뉴턴 방법의 해찾기 지난 포스팅에서 우리는 newton method를 이용한 최소값을 만드는 \(x\)값을 찾는 방법에 대하여 알아보았다. 이 방법의 핵심은 해를 찾는 방법이었던 뉴턴 방법을 최소값을 찾고 싶은 함수의 1차 도함수에 적용하는 것이라고 할 수 있다. 필자가 첫번째 포스팅에서 링크했던 아래의 ..