[Mixed Model 1.5.2] Introduction to the Theory of General Linear Mixed Models

[#1]

[Mixed Model 1.5.2] Introduction to the Theory of General Linear Mixed Models

안녕하세요^^

지난 시간에 이어 General linear mixed model에 대해 알아보겠습니다.

▶ 목차

▷ General linear models 과 General linear mixed model 에 대한 기본 이론

▷ Toy 예제로 보는 정의

▷ ML 방법과 REML 방법 비교

▷ fixed effects(고정효과)에 대한 GLS 추정 방법

▶ Estimation methods for the covariance parameters

▷ ML vs REML

Maximum likelihood(ML) estimate method 와 Restricted/residual maximum likelihood(REML) estimate method를 비교하여 보겠습니다. 기본적으로 두 방법의 차이는 우도 함수의 구조에 있습니다.

	ML	REML
정의	maximum likelihood(최대 우도) 추정 방법	restricted/residual maximum likelihood 추정 방법
편향 (bias)	낮게 편향되는 경향	일반적으로 REML 추정에 의한 분산은 unbiased(비편향)
모델 비교	ML을 기반으로하여 적합된 통계량은 동일한 공분산 모델을 기반으로 한 서로 다른 평균 모델을 비교하는 데 사용될 수 있음.	REML을 기반으로 적합된 통계량은 동일한 평균 모델을 기반으로 한 서로 다른 공분산 모델을 비교하는 데 사용될 수 있음
		잔차를 기반으로 우도를 생성하고 이 restricted/residual likelihood function으로부터 분산들의 최대우도 추정량을 얻음
		일반적으로 REML의 해는 balanced data의ANOVA추정량
공통성	likelihood-based이고, 따라서 consistent(일치성), asymptotically normal(점근적 정규성), efficient(충분성)을 만족

일반적으로 ML과 REML 추정 간의 차이는 모델에서 fixed effects의 수가 증가함에 따라 증가합니다.

공분산 추정치를 얻는 방법으로 ML보다 REML에 대한 선호도가 증가하는 것으로 보입니다. (McCulloch and Searle 2001)

또한, REML이 ML보다 데이터의 이상치에 덜 민감합니다.

▶ The Estimation Method for Fixed Effects

▷ Generalized least squares(GLS) method

공분산 행렬 G 또는 R이 알려지지 않았을 경우, 추정된 GLS 해를 계산합니다.

GLS 추정치로 공분산 행렬 G와 R을 설명할 수 있는데, 이는 G와 R의 합리적인 추정치에 의존합니다.

MIXED 프로시저에서는 fixed effects 에 대한 GLS의 해를 계산합니다.

GLS 추정치를 계산할 때, V의 참값은 보통 알 수 없고(unknown), 추정량으로 계산된 V를 대입하여 계산합니다.

Mixed model:  

위의 식에서 데이터의 분산 행렬 V는 이고,

의 GLS 해는 식 을 최소화 하여 구해지는  추정량인  입니다.

Random effects 에 대한 추정된 GLS 해는  입니다.

참고로, Fixed effect model인  을 위한 Ordinary least squares (OLS) 의 해는  이고, 이는 GLS로 구한 해에서 행렬 V가 인 경우에 해당됩니다.

▷ GLS vs OLS

GLS (Generalized least squares)	OLS (Ordinary least squares)
error는 다양한 형태를 갖는 G와 R 행렬을 기반으로 함	error가 공통 분산, 즉   를 갖는 정규분포를 독립적으로 따른다고 가정
Balanced data의 경우, OLS와 GLS의 추정치가 일반적으로 일치하지만, mixed models의 standard errors은 그렇지 않음.
OLS는 GLS의 special case.   ()
공분산을 잘못 지정하게 되면 GLS보다 OLS가 더 좋은 결과를 나타내기도 함.

▷ Inferences about the Fixed Effects

GLS fixed effect 추정량인  의 분산-공분산 행렬은 아래와 같이 계산됩니다.

그러나 보통 행렬 V는 알려지지 않는(unknown) 경우가 많기 때문에 fixed effects의 분산-공분산 행렬은 추정된 GLS fixed effect의 분산-공분산 행렬로 구해지며 아래와 같이 계산됩니다.

비교를 위해, OLS 추정량의 분산-공분산 행렬의 계산은 아래와 같습니다.

[출처]

- ‘Applied Mixed Models for Processors Course Notes’