[Mixed Model 1.5.1] Introduction to the Theory of General Linear Mixed Models

[#1]

[Mixed Model 1.5.1] Introduction to the Theory of General Linear Mixed Models

안녕하세요^^

이번 시간부터는 General linear mixed model에 대해 알아볼텐데요,

우선, 일반적으로 알고 있는 general linear models과 general linear mixed model에 대한 비교와 기본적인 이론에 대해 알아보도록 하겠습니다.

▶ 목차

▷ General linear models 과 General linear mixed model 에 대한 기본 이론

▷ Toy 예제로 보는 정의

▷ ML 방법과 REML 방법 비교

▷ 고정효과에 대한 GLS 추정 방법

▶ GLM vs GLMM

▷ GLM Procedure Model

 

는 평균 0과 분산 을 갖는 정규분포를 따르며 독립적이라고 가정합니다.

그러므로 general linear model의 경우,

 and  이며, 는  단위행렬  입니다.

또한,  and 이며,  는  단위행렬입니다.

▷ MIXED Procedure Model

와  는 독립적이고, 아래와 같은 평균과 분산을 갖는 정규분포를 따른다.

PROC MIXED를 사용하면 G, R행렬에 대해 다양한 공분산 구조를 지정할 수 있습니다.

앞서 사용하였던 Toy 예제에서는, 와 이고 분산은 default값으로 사용되는 기본 구조가 사용되었습니다.

또한, 반응변수 y에 대해서는  and 입니다.

▷ MIXED Procedure Model

PROC MIXED에서 MODEL문을 사용하여 fixed effects를 지정하고

RANDOM문을 사용하여 특정 random effects를,

REPEATED문을 사용하여 특정 분산-공분산 행렬을 가진 errors을 지정할 수 있습니다.

PROC MIXED에서 RANDOM 및 REPEATED 문을 지정할 때 주의할 점은

경우에 따라 특정 분산-공분산 행렬구조와 함께 쓰인 statements(예를 들면, REPEATED statement)는 사용된 데이터의 모든 분산을 포함하여, 또 다른 statements(예를 들면, RANDOM statement)가 필요하지 않게 될 때가 있습니다.

▷ Linear Mixed Model Assumption

Linear mixed model에 대한 가정은 다음과 같습니다.

▪ Random effects와 잔차는 평균이 0이고 공분산 행렬은 각각 G 와 R을 갖는 정규분포를 따른다.

▪ Random effects와 잔차는 서로 독립이다.

▪ 반응변수의 평균(기대값)은 독립변수와 선형관계이다.

▶ Toy 예시

▷ Define the Mixed Model

앞에서 사용되었던 Toy 예시의 mixed model 구조에 대해 살펴보겠습니다.

이 예제에서 사용된 fixed effects(고정효과) 매개변수는 총 4개 입니다. (전체 평균 + 3종류 접착제)

또한 random effects 매개변수는 7개 (7개의 장난감(blocks)) 이므로, 총 3x7=21개의 관측치가 사용되고,

각 관측치에 해당하는 21개의 random errors가 존재합니다.

따라서 fixed effects(X)와 random effects(Z)에 대한 mixed model은 아래와 같은 벡터 및 행렬 구조를 갖게 됩니다.

▷ Covariance Matrices

Random effect 벡터와 random error 벡터의 분산-공분산 행렬과 그에 따른 y에 대한 분산-공분산행렬은 아래와 같이 정의 됩니다.

위의 각 행렬은 아래와 같이 구성되어 있습니다.

[출처]

- ‘Applied Mixed Models for Processors Course Notes’