확장 신경망(ENN)은 2003년 M. H. Wang과 C. P. Hung이 처음 제안한 패턴 인식 방법이다. 이는 인공 신경망의 빠르고 적응적인 학습 능력과, 1983년 Cai가 모순 문제 해결을 위해 개발한 수학적 프레임워크인 확장 이론의 상관 추정 속성을 결합한다. 이 네트워크는 확장 거리(extension distance)를 계산하여 인스턴스를 분류하는데, 확장 거리는 입력이 학습 데이터에서 얻은 클래스 기반 범위 표현과 얼마나 밀접하게 일치하는지를 측정하는 지표이다. ENN은 기계 고장 감지, MRI를 통한 조직 분류, 자동차 엔진 결함 인식, 납축전지의 충전 상태 추정, 불완전한 설문 데이터 분류와 같은 작업에 적용되어 왔다.
연결된 노드 사이에 단일 가중치 값을 사용하는 일반적인 신경망과 달리, ENN은 연결마다 두 개의 가중치 값을 저장하며, 이는 특정 클래스에 대한 특성의 하한과 상한을 나타낸다. 이러한 설계로 네트워크는 점 추정이 아닌 구간으로 클래스 범주를 모델링할 수 있으며, 확장론의 사물원소(物元) 모델을 활용한다. 이 방법은 패턴 인식 문헌에서 신경의 적응성과 집합론적 추론을 모두 활용하는 하이브리드 접근 방식으로 인용되어 왔다.
확장론 기반
확장론은 1983년 Cai가 제안한 것으로, ENN의 기수 이론적 기반을 제공한다. 이는 객체를 물원소 R = (N, C, V)로 모델링하며, 여기서 N은 객체의 이름이나 유형, C는 특성, V는 대응하는 값이다. 예를 들어, 사람의 신장과 몸무게는 값 범위를 가진 특성으로 표현되어 확장 집합을 형성할 수 있다. 이론은 객체 공간의 요소를 소속 구간 [-∞, ∞]으로 매핑하는 확장 상관 함수 K(x)를 정의한다. 양수 값은 클래스에 속함을, 음수 값은 비소속을 나타내며, [0, 1]의 값은 퍼지 집합론과 유사하다. 상관 함수은 관심 도메인 X_in = (a, b)와 이웃 도메인 X_out = (c, d)를 사용하여 계산되며, 여기서 a와 c는 하한, b와 d는 상한이다. 이 함수는 요소 x가 이상적인 범위에서 얼마나 떨어져 있는지 측정하여 등급화된 소속을 제공하며, 이는 ENN이 분류에 활용하는 것이다.
구조와 분류
ENN 구조는 입력 노드와 출력 노드로 구성되며, 사이에 가중치 벡터가 위치한다. 입력 노드의 수 n은 데이터의 특성 수에 해당하며, 출력 노드의 수 n_c는 클래스 수에 해당한다. 각 입력 인스턴스에 대해 네트워크는 상관 함수에서 파생된 거리 메트릭인 확장 거리 공식을 사용하여 각 클래스 k에 대한 출력 o_ik를 계산한다. 추정된 클래스는 모든 클래스에서 최소 거리를 가진 클래스를 선택함으로써 결정된다. 이 과정은 계산 효율적이어서 ENN을 실시간 응용에 적합하게 만든다.
학습 알고리즘
ENN의 학습 알고리즘은 직관적이며 초기화와 조정의 두 가지 주요 단계를 포함한다. 초기 여러 단계에서 가중치는 훈련 데이터에서 각 클래스의 각 특성의 최대값을 식별하여 설정된다. 이 단계 훈련된 데이터에 기반한 초기 클래스 범위를 설정한다. 초기화 후 그 네트워크가 분류기를 줄이기 위해 가중치를 반복적으로 조정한다. 각 훈련 인스턴스에 대해 알고리즘은 현재 클래스 추정치와 진정한 클래스를 비교하고, 오분류가 발생하면 가중치 범위를 올바른 클래스를 향해 이동하도록 갱신하여 판별력을 향상시킨다가 조정된다. 이 과정은 오류 수정과 유사하지만 구간 기반 표현에 적합하다.초기화는 극단 값만에 의존하기 때문에 덕에 학습 과정은 빠르고 적응적이며, 이는 신경 학습과 확장 이론의 상관 추정을 결합한 방법의 목표와 일치한다. 이 알고리즘에는 기울기 계산이 필요 없어 깊은 신경망에서 사용되는 역전파보다 더 간단하다.
응용 및 한계
ENN은 여러 분야에 적용되어 왔다. 산업 환경에서는 진동 또는 성능 데이터가 잠재적 문제를 나타내는 기계/설비의 고장 감지에 사용되었다. 의료 영상에서 ENN은 MRI 스캔을 사용한 조직 분류 진단 과정을 돕는데 적용되었다. 자동차 산업에서는 엔진 고장 인식에 ENN을 사용하여 센서 데이터에서 오작동을 식별했다. 또한 ENN은 배터리 관리 시스템에서 중요한 납축 전지의 전량 잔량 추정 및 누락 값이 흔한 불완전한 설문 데이터 분류에 적용되었다. 이러한응용은 다양한 데이터 유형 및 문제 영역에서 방법의 다재다능함을 보여준다.
이러한 성공에도 불구하고 ENN에는 한계가 있다. 범위 기반 표현은 초기화 중에 극단값이 클래스 경계를 크게 영향으로 인해 이상치에 민감할 수 있다. 범위로 분리가 불가능하고, 이는 복잡한 비선형 데이터에는 적용되지 않을 수 있다. 또한 ENN은 고차원 데이터에 대해 현대 딥 러닝 접근 방식만큼 확장성이 높지 않으며, 딥 러닝 모델과 같은 대규모 언어 모델 또는 트랜스포머의 표현 능력을 가질 없다. 결과적으로 ENN은 이상적인 해석 가능성과 단순성이 중요한 애플리케이 중합성에서 주로 사용된다.
관련 접근법
ENN은 인공 등 신경 연산을 통합하는 신경-상징 또는 신경-수학 방식의 계열에 속한다. 예를 들어, 퍼지 시스템은 뉴런 신경망을 결합하고, 서포트 벡더 머신은 커널 기반 분리 사용한다. ENN은 특히 일반에서 널리 채택되지 않은 확장 이론과 밀접한 관련이 있다. 기계 학습에서 대부분의 최신중방법은 딥러닝 프레임워크에서 볼 수 있는 그래디언트 기반 최적화에 의존하며, GPU와 하드웨어를 사용하여 대규모 데이터 세셋으로 훈련된다. 이에 반해 ENN은 최소한의 컴퓨팅 자원만 요zi 경량 대안을 제공하여 임베디드 시스템이나 데이터가 제한된 시나리오에 매력적이다.
요약하자면, Wang과 Hung이 2003년에 소개한 확장 신옥 네트워크는 신경 학습과 확장 이론을 결합한 2000년대 초의 시도이다. 확장 거리와 범주 가중치를 사용한 독특한 분류이지만, 바야한 인공지능 분야에서 더 강력한 접근 방식에 크게 대체되고 있다. 그럼에도 불구라고, ENN은 고전적인 수학 이론이 신경망 설계에 정보를 제공할 수 있는 예를 남아 있는다