머신 러닝과 패턴 인식에서 특성(feature)은 관찰되는 현상의 개별적으로 측정 가능한 속성 또는 특성이다. 특성은 알고리즘이 패턴을 학습하고 예측을 수행하거나 데이터를 분류하는 데 사용하는 입력 변수 역할을 한다. 이 개념은 인공지능과 머신 러닝 전반에 걸쳐 기초적이며, 특성의 품질과 관련성은 모델 성능에 직접적인 영향을 미친다.
특성은 수치형, 범주형 또는 구조적일 수 있다. 예를 들어, 이미지에서 특성은 픽셀 강도, 가장자리 방향 또는 질감을 포함할 수 있고, 텍스트에서는 단어 빈도 또는 문장 길이가 될 수 있으며, 표 형식 데이터에서는 나이, 소득 또는 온도와 같은 속성을 나타내는 열이 된다. 특성을 선택, 변환 및 설계하는 과정은 흔히 특성 공학(feature engineering)이라고 하며, 딥 러닝과 신경망 접근법이 자동으로 표현을 학습할 수 있게 된 이후에도 효과적인 모델을 구축하는 데 중요한 단계로 남아 있다.
특성 유형과 표현
특성은 일반적으로 데이터 유형에 따라 분류된다. 수치형 특성은 키나 개수와 같은 연속적 또는 이산적 값이다. 범주형 특성은 색상이나 국가와 같은 이산적 클래스를 나타내며, 원-핫 인코딩이나 레이블 인코딩과 같은 방식으로 수치 형태로 변환해야 하는 경우가 많다. 순서형 특성은 교육 수준과 같은 자연스러운 순서를 가지며, 이진 특성은 참 또는 거짓과 같은 두 값만 취한다.
현대의 트랜스포머 기반 시스템에서 특성은 종종 데이터에서 학습된 고차원 벡터 또는 임베딩으로 표현된다. 이러한 임베딩은 의미적 유사성을 포착하여 모델이 보지 못한 입력에 대해 일반화할 수 있게 한다. 예를 들어, 대규모 언어 모델에서 각 토큰은 그 의미와 맥락을 인코딩하는 특성 벡터에 매핑되어 모델이 언어를 효과적으로 처리할 수 있게 한다.
특성 공학과 선택
특성 공학은 모델 정확도를 향상시키기 위해 원시 데이터에서 새로운 특성을 생성하는 것을 포함한다. 기법에는 스케일링, 정규화, 구간화 및 다항식 확장이 있다. 예를 들어, 배치 정규화와 층 정규화는 훈련 중 특성 분포를 표준화하여 수렴을 안정화하고 가속화하는 방법이다. 특성 선택은 가장 정보가 풍부한 특성만 유지하여 차원을 줄이는 것을 목표로 하며, 이는 과적합과 계산 비용을 줄일 수 있다. 방법에는 필터, 래퍼 및 임베디드 접근법이 있으며, 훈련된 네트워크에서 덜 중요한 특성을 제거하기 위해 모델 가지치기를 사용하는 것도 포함된다.
역사적으로 특성 공학은 수동적이고 도메인 전문가 주도의 작업이었다. 컴퓨터 비전 분야에서 연구자들은 SIFT나 HOG와 같은 수작업 특성을 설계했다. 그러나 딥 러닝의 등장으로 잔차 네트워크와 U-Net 같은 모델은 원시 픽셀에서 계층적 특성을 자동으로 학습하여 수동 공학의 필요성을 줄였다. 이러한 변화는 이미지 인식, 음성 처리 및 자연어 이해에서 최첨단 결과를 달성하는 데 중추적인 역할을 했다.
모델 훈련에서의 역할
훈련 중에 특성은 지도 학습에서는 레이블과 함께, 비지도 학습에서는 레이블 없이 모델에 입력된다. 모델은 손실을 최소화하기 위해 내부 매개변수를 조정하여 특성을 출력에 매핑하며, 손실 함수를 사용한다. Adam 옵티마이저와 SGD 변형 같은 최적화 알고리즘은 특성 기울기에 따라 가중치를 업데이트한다. 특성 선택은 손실 표면과 모델이 새 데이터에 일반화하는 능력에 영향을 미친다.
시퀀스-투-시퀀스 모델에서 특성은 인코더-디코더 아키텍처를 통해 처리되며, 인코더는 입력 시퀀스에서 특성을 추출하고 디코더는 출력을 생성한다. 위치 인코딩 같은 기법은 토큰 순서에 대한 정보를 추가하고, 멀티-헤드 어텐션과 크로스-어텐션은 모델이 입력의 관련 부분에 집중할 수 있게 한다. 이러한 메커니즘은 특성 표현에 의존하여 의존성과 관계를 포착한다.
도전 과제와 현대적 관점
한 가지 도전 과제는 차원의 저주이다. 특성 수가 증가함에 따라 데이터가 희소해져 모델을 효과적으로 훈련하기 어려워진다. 드롭아웃과 기울기 클리핑 같은 정규화 기법은 과적합을 방지하여 이를 완화하는 데 도움이 된다. 또 다른 문제는 특성 누출(feature leakage)로, 특성이 우연히 목표에 대한 정보를 포함하여 성능 추정치가 지나치게 낙관적이게 되는 경우이다.
현대 AI 연구에서 수작업 특성과 학습된 특성의 구분은 흐려졌다. 생성형 AI 모델, 예를 들어 OpenAI, Anthropic, Google DeepMind가 개발한 모델은 대규모 데이터셋에서 풍부한 특성 표현을 학습하여 텍스트 생성과 이미지 합성 같은 능력을 가능하게 한다. 이러한 모델은 종종 커리큘럼 학습을 사용하여 모델을 점진적으로 더 복잡한 특성에 노출시켜 훈련 안정성을 개선한다.
진보에도 불구하고 특성 해석 가능성은 여전히 활발한 연구 분야이다. 멜라니 미첼과 브라이언 크리스천 같은 연구자들은 모델이 학습하는 특성을 이해하는 방법을 탐구하며, 이는 신뢰와 안전에 중요하다. RLAIF 같은 도구는 인간 선호도를 특성 학습에 통합하여 모델을 원하는 행동에 맞춘다.
결론
특성은 머신 러닝 시스템의 구성 요소이다. 수동으로 설계되든 자동으로 학습되든, 특성은 모델이 접근할 수 있는 정보와 작업을 얼마나 효과적으로 해결할 수 있는지를 결정한다. AI가 계속 진화함에 따라 특성의 개념은 중심적 위치를 유지하며, 헬스케어에서 자율 주행에 이르기까지 다양한 산업의 새로운 아키텍처와 응용에 적응하고 있다.