파라메트릭 모델은 고정된 유한한 수의 매개변수로 특징지어지는 통계 및 기계 학습 모델의 한 부류이다. 이는 모델의 복잡성이 훈련 전에 결정되며, 훈련 데이터의 양과 관계없이 변하지 않는다는 것을 의미한다. 매개변수는 데이터로부터 학습되며, 훈련이 완료되면 모델은 원래 데이터셋을 보유하지 않고도 예측을 수행할 수 있다. 이는 훈련 데이터의 크기에 따라 매개변수 수가 증가할 수 있는 비파라메트릭 모델과 대조된다.
이 개념은 기계 학습의 기초이며, 파라메트릭 접근법과 비파라메트릭 접근법 사이의 선택은 모델 유연성, 계산 요구 사항, 일반화에 영향을 미친다. 파라메트릭 모델은 선형 관계와 같은 특정 함수 형태를 가정하므로 훈련과 해석이 더 간단하지만, 복잡한 패턴에는 덜 유연할 수 있다.
역사적 배경
파라메트릭 방법과 비파라메트릭 방법의 구분은 고전 통계학에 뿌리를 두고 있다. 앨런 펄리스와 같은 통계학자들의 초기 연구(비록 컴퓨터 과학으로 더 잘 알려져 있지만)와 다른 학자들은 모델 기반 추론의 토대를 마련했다. 1960년대와 1970년대에는 계산 통계학의 부상으로 선형 회귀와 로지스틱 회귀와 같은 파라메트릭 모델이 대중화되었다. "파라메트릭"이라는 용어는 1980년대까지 교과서에서 표준이 되었으며, 크리스토퍼 비숍의 이후 패턴 인식 연구는 기계 학습에서 이 용어의 사용을 공고히 했다.
유형 및 예시
일반적인 파라메트릭 모델에는 선형 회귀, 로지스틱 회귀, 선형 판별 분석이 포함된다. 딥 러닝에서 많은 아키텍처는 고정된 수의 가중치와 편향을 가진 신경망과 같은 파라메트릭 모델이다. 예를 들어, 트랜스포머 모델은 아키텍처(예: 레이어 크기, 어텐션 헤드)에 따라 미리 결정된 매개변수 수를 가진다. 오픈AI와 앤트로픽의 대규모 언어 모델은 설계 시점에 고정된 수십억 개의 매개변수를 가진 파라메트릭 모델이다.
k-최근접 이웃 및 결정 트리와 같은 비파라메트릭 모델은 고정된 매개변수 수를 가지지 않으며, 훈련 데이터를 저장하거나 복잡성이 증가한다. 그러나 가우시안 프로세스와 같은 일부 모델은 경계가 모호하며, 비파라메트릭이지만 파라메트릭 방식으로 근사될 수 있다.
장점과 단점
파라메트릭 모델은 여러 장점을 제공한다: 계산 효율적이고, 메모리를 덜 요구하며, 해석이 더 쉽다. 또한 가정된 함수 형태가 실제 데이터 분포와 일치할 때 잘 일반화된다. 그러나 형태가 너무 단순하면 과소적합이 발생할 수 있으며, 복잡한 패턴을 포착하려면 매개변수를 늘려야 하는데, 이는 데이터가 제한된 경우 과적합으로 이어질 수 있다.
실제로 파라메트릭 모델은 소규모 데이터셋이나 의료 및 금융 응용과 같이 해석 가능성이 중요한 경우에 종종 선호된다. 예를 들어, 인튜이티브 서지컬은 위험 평가에 파라메트릭 모델을 사용할 수 있고, 웨이모는 인식에 더 유연한 비파라메트릭 접근법을 사용할 수 있다.
현대 AI에서의 역할
현대 인공 지능에서 파라메트릭 모델은 딥 러닝의 성공으로 인해 지배적이다. 고정된 매개변수 수는 AWS 트레이니엄이나 세레브라스 시스템과 같은 특수 하드웨어에서 효율적인 훈련을 가능하게 한다. 구글 딥마인드와 아마존 웹 서비스 같은 기업은 파라메트릭 모델을 대규모로 배포한다. 모델 크기와 성능 간의 균형은 핵심 연구 분야이며, 정확도를 잃지 않고 모델을 압축하려는 노력이 진행 중이다.
그러나 고정된 매개변수 수는 데이터가 풍부하고 패턴이 복잡한 경우 한계가 될 수 있다. 이는 적응형 모델에 대한 연구로 이어졌지만, 파라메트릭 모델은 대부분의 응용에서 여전히 표준으로 남아 있다.