조건부 무작위장(CRF)은 패턴 인식 및 기계 학습에서 구조적 예측에 사용되는 통계적 모델링 방법의 한 부류이다. 이웃 샘플을 고려하지 않고 단일 샘플에 대한 레이블을 예측하는 분류기와 달리, CRF는 예측 간의 의존성을 나타내는 그래픽 모델로 예측을 모델링하여 문맥을 고려할 수 있다. 그래프 구조는 응용 분야에 따라 달라진다. 예를 들어, 자연어 처리에서는 선형 사슬 CRF가 널리 사용되며, 여기서 각 예측은 바로 인접한 이웃에만 의존한다. 이미지 처리에서는 그래프가 일반적으로 위치를 인접하거나 유사한 위치에 연결하여 일관된 예측을 강제한다.
CRF는 판별적 비방향성 확률 그래픽 모델이다. 공식적으로, 관측값 \(\boldsymbol{X}\)와 그래프 \(G=(V,E)\)의 정점 \(V\)에 의해 인덱싱된 확률 변수 \(\boldsymbol{Y}\)가 주어졌을 때, 각 변수 \(\boldsymbol{Y}_v\)가 \(\boldsymbol{X}\)에 조건화되어 그래프에 대해 마르코프 성질을 따르면, 즉 그 확률이 \(G\)에서 이웃에만 의존하고 다른 변수에는 의존하지 않으면, 쌍 \((\boldsymbol{X},\boldsymbol{Y})\)는 조건부 무작위장이다. 이는 노드가 관측 변수 \(\boldsymbol{X}\)와 출력 변수 \(\boldsymbol{Y}\)라는 두 개의 분리된 집합으로 나뉘며, 조건부 분포 \(p(\boldsymbol{Y}|\boldsymbol{X})\)가 모델링됨을 의미한다.
응용
CRF는 자연어 처리 및 생물학적 서열에서 순차 데이터의 레이블링이나 구문 분석에 널리 사용된다. 일반적인 작업에는 품사 태깅, 얕은 구문 분석, 개체명 인식, 유전자 발견, 펩타이드 중요 기능 영역 발견이 포함된다. 컴퓨터 비전에서 CRF는 객체 인식 및 이미지 분할에 적용되며, 공간적 문맥이 일관된 레이블을 생성하는 데 도움을 준다. 예를 들어, 이미지 분할에서 CRF는 유사한 색상을 가진 인접 픽셀이 동일한 레이블을 받도록 강제할 수 있다.
추론
일반 그래프의 경우, CRF에서의 정확한 추론은 마르코프 무작위장과 유사하게 다루기 어렵다. 그러나 특수한 경우에는 정확한 해가 가능하다. 그래프가 사슬 또는 트리인 경우, 메시지 전달 알고리즘은 은닉 마르코프 모델에 사용되는 전향-후향 및 비터비 알고리즘과 유사하게 정확한 결과를 제공한다. CRF가 쌍별 포텐셜만 포함하고 에너지가 준모듈러인 경우, 조합적 최대 흐름 최소 절단 알고리즘이 정확한 해를 제공한다. 정확한 추론이 불가능한 경우, 근사 방법에는 루프 신뢰 전파, 알파 확장, 평균장 추론, 선형 계획법 완화가 포함된다.
매개변수 학습
매개변수 \(\theta\)를 학습하는 것은 일반적으로 \(p(Y_i|X_i;\theta)\)의 최대 우도 추정을 통해 수행된다. 모든 노드가 지수족 분포를 가지며 훈련 중에 모든 노드가 관측되면, 최적화 문제는 볼록하며 경사 하강법이나 L-BFGS와 같은 준뉴턴 방법으로 해결할 수 있다. 일부 변수가 관측되지 않으면 해당 변수에 대한 추론을 수행해야 하며, 일반 그래프에서 정확한 추론이 다루기 어렵기 때문에 근사가 사용된다.
다른 모델과의 관계
CRF는 은닉 마르코프 모델(HMM)과 관련이 있지만 판별적이며, 결합 분포가 아닌 조건부 분포를 직접 모델링한다. 이를 통해 CRF는 독립성 가정 없이 관측값의 임의적이고 중첩되는 특징을 통합할 수 있다. 시퀀스 모델링에서 선형 사슬 CRF는 그래프가 사슬인 특수한 경우로, 추론이 효율적이다. CRF는 Natural language processing 및 Computer vision에 영향을 미쳤으며, 현대 Machine learning 파이프라인에서도 여전히 관련성이 있지만, 딥러닝 방법이 많은 응용 분야에서 이를 대체했다. 그러나 CRF는 때때로 Neural network 모델과 결합되기도 하며, 예를 들어 시퀀스 레이블링을 위한 신경 CRF에서 신경망이 특징을 계산하고 CRF 계층이 의존성을 모델링한다.