Log Likelihood Function of REML(restricted maximum likelihood)

지난 글에서 ML의 log likelihood function에 대해서 살펴봤다. 이제 REML의 log likelihood function에 대해서 살펴볼 차례이다. ML과 REML. 이렇게 보면 ML이 나오고 REML이 나온 것이겠지 하겠지만, AI에게 물보면 그런 것 같지 않다. 이제와서 이해하기에 ML 이해하고, REML 이해하는 것이 편한 것 같아서 그렇게 공부하지만 역사적으로는 그런 것 같지 않다. ML과 REML의 역사에 대해서는 AI에 물어보시길. 

ML과 REML의 차이점은 고정 효과를 추정할 때 감소한 자유도를 고려하느냐이다. REML에서는 고정효과의 영향을 제거하기 위하여 K'X = 0 을 만족시키는 K'를 이용하여 K'y를 만들고 이에 대한 likelihood function을 만드는 것으로 시작한다. 중간에 수식을 전개하는 데 필요한 설명은 이전 글에서 설명한 적이 있고, 간단한 수식은 이번 글에서 설명했다.

 

 

다양한 변형의 우도 함수가 있음을 알 수 있다. 이 우도 함수를 최대화하는 분산 성분을 찾는 것이 목적이다. 우도 함수를 최대화하는 분산 성분을 찾는 방법에는 세 가지가 있다.

1) Derivative Free approach : 그냥 이 분산 성분 값, 저 분산 성분 값을 넣어 보면서 우도 함수가 최대가 되는지 살펴 보고, 더 이상 최대가 되는 분산 성분 값이 없을 때까지 찾는다. 

2) First Derivatives and EM : ML 에서와 마찬가지로 b와 분산 성분에 대해서 미분을 하고, 0과 같다고 놓는다. 미분한 수식을 0으로 만드는 b와 분산 성분값을 찾는다. 여기서 한 방에 찾아지지 않으므로 구한 분산 성분으로 다시 육종가를 구하고, 다시 분산 성분을 구하는 과정을 반복해서 값이 변하지 않을때까지 한다.

3) Second Derivatives : 2차 미분. observed information matrix를 포함하는 Newton-Raphson과 expected information matrix를 포함하는 Fishers Method of Scoring 이용. observed 와 expected information matrix의 평균을 이용하는 average information algorithm을 이용하여 계산을 줄일 수 있다.(잘 이해가 안감. 나중에 이해하면 이해할 수 있는 언어로 다시 설명)