귀납적 편향(Inductive bias)은 기계 학습 알고리즘이 관찰된 훈련 데이터에서 보지 못한 사례까지 일반화하기 위해 사용하는 가정의 집합이다. 기계 학습에서 학습은 근본적으로 과소결정된 문제이다. 어떤 주어진 유한한 예제 집합에도 많은 서로 다른 함수가 적합할 수 있기 때문이다. 귀납적 편향은 가능한 가설 공간을 좁혀 일부 가설을 다른 가설보다 우선하게 하며, 이를 통해 알고리즘이 새로운 입력에 대한 예측을 생성할 수 있게 한다. 이러한 편향이 없으면 모델은 무한히 많은 일관된 함수 중 하나를 선택할 합리적 근거가 없어져 일반화가 불가능해진다.
이 개념은 고전 철학과 통계학에 뿌리를 두지만, 1980년대 컴퓨터 과학에서 공식화되었다. 이 용어는 개념 학습과 의사결정 나무에 관한 연구를 통해 주목받게 되었는데, 연구자들은 모든 학습자가 암기를 넘어서기 위해 선험적 가정을 반드시 포함해야 함을 지적했다. 현대 실무에서 귀납적 편향은 단일한 명시적 규칙이 아니라 구조적 선택의 집합으로, 신경망의 구조, 손실 함수의 형태, 최적화 절차, 적용되는 정규화 기법 등을 포함한다.
귀납적 편향의 유형
귀납적 편향은 그 기원에 따라 분류할 수 있다. 구조적 편향은 모델의 구조에서 발생한다. 예를 들어 합성곱 신경망(이미지 작업에 자주 사용됨)은 국소적 공간 상관성과 병진 불변성을 가정하며, 이는 한 위치에서 학습된 특징이 다른 위치에서도 유용함을 의미한다. 트랜스포머 구조는 많은 대규모 언어 모델에서 사용되며, 토큰 간 관계가 주의 메커니즘을 통해 포착되고 위치 정보는 별도로 인코딩된다고 가정한다. 순환 네트워크는 순차적 의존성을 가정하는 반면, 잔차 네트워크는 항등 매핑이 유용한 기준선임을 가정하여 최적화를 용이하게 한다.
알고리즘 편향은 학습 절차 자체에서 비롯된다. 특히 SGD 변형과 같은 Adam 옵티마이저 계열의 경사 하강법은 실증적으로 실제로 더 잘 일반화되는 국소 최저점으로 이동하므로 더 매끄러운 함수를암시적으로 선호한다. 가중치 초기화, 배치 정규화, 층 정규화와 같은 기법은 활성화의 스케일과 분포에 대한 가정을 도입한다. 드롭아웃과 데이터 증강은 훈련 분포를 사실상 확장하면서 견고성에 대한 편향을 부여한다.
사전 기반 편향은 명시적이며, 예를 들어 복잡성에 페널티를 주는 손실 함수(예: L1 또는 L2 정규화) 또는 커리큘럼어를 사용하여 훈련 예제를 쉬운 것에서 어려운 것 순으로 배치함으로써 이러한 순서가 수렴과 일반화에 도움을 준다고 가정하는 경우를 포함한다.
일반화의 역할
귀납적 편향의 중심 역할은 일반화를 가능하게 하는 것이다. 통계 학습 이론에서 편향-분산 트레이드오프는 더 강한 가정(더 높은 편향)이 분산을 줄이지만 가정이 틀리다면 오류가 증가할 수 있음을 설명한다. 편향이 너무 적은 모델, 즉 매개변수가 많은 매우 깊은 네트워크는 과대적합되어 노이즈를 암기할 수 있다. 반대로, 비선형 데이터에 대한 선형 모델과 같은 과도한 편향은 과소적합으로 이어진다.
딥 러닝에서의 실증 연구는 현대 구조가 훈련 예제보다 훨씬 더 많은 매개변수를 가짐에도 불구하고 종종 잘 일반화된다는 것을 보여 주었다. 때때로 "로티 티켓 가설"이나 "단순성 편향"이라 불리는 이 현상은 경사도 기반 최적화가 낮은 복잡성의 함수를는 내재적으로 선호한다는 것을 시사한다. Aleksander Madry와 같은 연구자들이 공격 이미지를 연구하여 귀납적 편향이 취약할 수 있음을 밝혀냈는데, 모델의사용을 사용한 작은 변형은 오분류를 일으킬 수 있으며, 이는 편향이 인간 지각과 일치하지 않음을 나타낸다.
역사적 발달
체스 컴퓨터 프로그램과 같은 초기 인공지능 시스템은 수식으로 된 규칙에 의존했으며, 이는 극단적인 귀종적 편향의 한 형태다. 1980년대 기계 학습으로의 전환과 함께 Tom Mitchell 같은 연구자의 작업(제공된 목록에는 없지만 개념은 그의저작물과 연관됨)은 귀납적 편향을 어떤 학습 알고리즘의 필수 구성 요소로 공식화했다. 자주 인용되는 미첼의 정의는 학습자의 귀납적 편향이 훈련 데이터와 결합하여 해당 학습자의 예측을 결정하는 가정의 집합이라고 말한다.
1990년대와 2000년대에는 서포트 벡터 머신과 커널 기법이 마진 최대화와 커널 함수에 기반한 편향을 도입했다. 2012년 이후 딥러닝의 재정착은 그래프코어와 다른 종류의 하드웨어에 의해 주도되었으며, 이미지 분할을 위한 U-Net과 언어를 위한 시퀀스-시퀀스 모델 같은 구조적혁신을 가져왔다. 다중 헤드 주의와 위치 인코딩이 있는 트랜스포머(자코브 우스코레이트와 구글 딥마인드 동료들이 도입, 원래 트랜스포머 논문은 구글 브레인 출신)의 개발은 구조적 편향이 특정 데이터 유형에 맞게 설계될 수 있음을 예시한다.
현대적 응용
현대 Generative AI에서 귀납적 편향은 핵심이다. OpenAI와 Anthropic의 대규모 언어 모델은 수십억 개의 매개변수를 가진 트랜스포머를 사용하면서도 다양한 작업에 일반화한다. 그들의 편향에는 시퀀스 내 어디서든 관련 맥락을 찾을 수 있다는 주의 메커니즘의 가정과 다음 토큰 예측 목표를 통해 일관된 로컬 텍스트를 생성하는 편향이 포함된다. ## AI 피드백 강화 학습와 top-k 샘플링 또는 top-p 샘플링 같은 기법은 생성의 확률성과 다양성 편향을 도입한다.
컴퓨터 비전에서는 데이터 증강(예: random Crop, random Rotation)이 변동을 반영하고 변환에 대한 불변성을 인코딩하여 견성을 향상시키는 편향을 만든다. 강화 학습에서는 Waymo 또는 Tesla Autopilot 같은 에이전트가 시간차 학습을 가지는 마르코프 상태 전이를 가정하는 귀납적 편향을 사용한다.
하드웨어도 편향에 영향을미친다. AWS Trainium이나 Groq 같은 칩은 특정 연산에 맞게 최적화되어 특정 모델 구조를 우대할 수 있다. 예를 들어, Graphcore의 IPU는 냉소적 및 병렬 연산에 맞게 설계되어 존재하지 않는 것을 활용하는 모델에 편향을 줄 수 있다.
한계와 논의
귀납적 편향은 항상 유용한 것은 아니다. 가정이 실제 데이터 분류와 일치하지 않으면 성능이 저하된다. 예를 들어 컨벌루션 네트워크는 병진 불변성을 가정하지만, 스케일이 중요한 일부 의료 이미지에서는 잘못될 수 있다. 무황 점심 없음 정리(제공된 목록에는 없음)는 본질적으로 모든 알고리즘에 만점이 없으며, 모든 귀납적 편향에 비용이 있음을 의미한다.
귀납적 편향이 "학습" 되어야 하는가 "내재적"이어야 하는가에 대한 논의가 계속되고 있다. 메타 학습과 커리큘럼 학습은 데이터에서 편향을 학습하려 을 시도하지만, 더 높은 수준의 가정에 여전히 의존한다. Brendan Lake와 Joshua Tenenbaum 같은 국자는 인지 과학에서 영감을 얻원에 중요한 구조적 귀납적 편향(인과 추론 및 조합성 등)을 주장해 인간과 같은 일반화를 추구한다. Melanie Mitchell 같은 다른 학자는 인자 시스템이자신의 편향을 명시적으로 나타내고 추론하는 필요성을 강조한다.
실무에서는 실무자가 하이퍼파라미터 선택, 구조 탐색, 정규화를 통해 귀납적 편향을 조정하는 경우가 많다. 이 분야는 여전히 활발하며, 모델 조과 경사도 클리핑 등 새로운 방법이 최저화의 암시적 편향에 영향을미친다. 모델이 거대해질에 따라 편향 이해와 제어는 의료부터 자율 주행까지 다양한 응용의 안정성과 안전성에 더욱 중요해지고 있다.