LeNet-5는 1998년에 발표된 합성곱 신경망 아키텍처로, 얀 르쿤을 중심으로 한 AT&T 벨 연구소의 연구 그룹이 개발했다. LeNet 시리즈 중 가장 잘 알려진 버전으로, 손으로 쓴 숫자와 문자의 작은 회색조 이미지를 읽도록 설계되었다. LeNet-5는 초기 합성곱 신경망 중 하나이자 딥러닝 발전에 기초적인 기여를 한 역사적으로 중요한 모델로, 많은 현대 아키텍처에 영향을 주었다.
합성곱 신경망은 인공 뉴런이 커버리지 범위 내의 주변 셀 일부에 반응할 수 있는 피드포워드 신경망의 한 종류로, 대규모 이미지 처리에서 우수한 성능을 보인다. LeNet-5는 합성곱 층을 사용하여 공간 특징을 추출하고, 풀링 층으로 서브샘플링하며, 완전 연결 층으로 분류하는 방식을 통해 이를 잘 보여준다. 하루에 수백만 장의 수표를 읽는 실제 응용에서의 성공은 신경망이 실제 작업에서 유용함을 입증했다.
개발 역사
LeNet의 기원은 1988년으로 거슬러 올라간다. 당시 얀 르쿤은 뉴저지주 홈델에 있는 AT&T 벨 연구소의 적응 시스템 연구 부서에 합류했으며, 이 부서는 로렌스 D. 재켈이 이끌었다. 1988년 11월 말, 존 S. 덴커와 동료들은 손으로 쓴 우편번호를 인식하는 신경망 설계를 발표했지만, 초기 층은 수동으로 조정되었다. 1989년, 르쿤과 그의 팀은 역전파 알고리즘을 실제 응용에 처음 적용하여 합성곱 신경망과 역전파를 결합해 손으로 쓴 숫자를 읽었다. 이후 LeNet-1이라고 불린 이 프로토타입은 미국 우정청의 손으로 쓴 우편번호를 식별하는 데 성공적으로 적용되었으며, 약 9%의 거부율과 함께 단 1%의 오류율을 달성했다.
이후 4년간 연구가 계속되었고, 1994년에는 MNIST 데이터베이스가 개발되었다. LeNet-1은 이 새로운 데이터셋에 비해 너무 작아서 LeNet-4가 만들어졌다. 1998년, 얀 르쿤, 레온 보투, 요슈아 벤지오, 패트릭 해프너는 LeNet-5를 논문에서 설명했으며, 이 논문은 손으로 쓴 문자를 인식하는 시스템과 하루에 수백만 장의 수표를 읽을 수 있는 모델을 포함한 실제 응용 사례도 소개했다. 이 작업은 신경망 연구에 대한 광범위한 관심을 불러일으켰으며, 현대 아키텍처는 다르지만 LeNet은 이후 많은 설계의 출발점이 되었다.
아키텍처
LeNet-5는 합성곱 층, 풀링 층, 완전 연결 층을 포함하여 현대 합성곱 신경망에서 흔히 볼 수 있는 여러 모티프를 통합한다. 각 합성곱 층은 합성곱, 풀링, 비선형 활성화 함수(일반적으로 tanh 함수)의 세 부분으로 구성된다. 네트워크는 수용 영역의 개념과 함께 합성곱을 사용하여 공간 특징을 추출하고, 서브샘플링에는 평균 풀링을 사용한다. 마지막 층은 분류를 위한 완전 연결 층이며, 층 간 희소 연결은 계산 복잡성을 줄인다.
1989년 르쿤 등의 보고서는 Net-1부터 Net-5까지의 네트워크를 소개했으며, 다양한 개선을 거쳐 1998년 LeNet-5가 탄생했다. 명명 방식은 일관되지 않으며 LeNet-2와 LeNet-3이 무엇을 가리키는지는 불분명하다. LeNet-1, LeNet-4, LeNet-5는 잘 문서화되어 있지만 중간 버전은 그렇지 않다.
초기 프로토타입
1988년 르쿤 그룹이 발표한 최초의 신경망은 하이브리드 접근 방식이었다. 첫 번째 단계는 입력 이미지를 스케일링, 기울기 보정, 골격화했다. 두 번째 단계는 18개의 수동 설계 커널을 가진 합성곱 층을 사용했고, 세 번째 단계는 은닉 층이 하나인 완전 연결 네트워크였다. 데이터셋은 실제 미국 우편물에서 추출한 손으로 쓴 숫자 이미지로 구성되었으며, 이는 유명한 1989년 보고서에서 사용된 것과 동일한 데이터셋이었다.
Net-1에서 Net-5까지
1989년 보고서는 모두 완전 연결된 마지막 층을 가진 Net-1부터 Net-5까지를 자세히 설명했다. 원래 논문은 패딩 전략을 설명하지 않았으며, 모든 셀은 합성곱 층의 출력 셀을 포함하여 독립적인 편향을 가진다.
- Net-1: 은닉 층이 없고 완전 연결되어 (16×16)을 10개의 출력으로 매핑한다.
- Net-2: 12개의 은닉 유닛을 가진 하나의 완전 연결 은닉 층으로, (16×16)을 12로, 다시 10으로 매핑한다.
- Net-3: 두 개의 합성곱 은닉 층으로, (16×16)을 (8×8)로, 다시 (4×4)로, 마지막으로 10으로 매핑하며, 3×3 입력 형태와 스트라이드 2를 사용하는 지역 연결 층을 가진다.
- Net-4: 두 개의 은닉 층으로, 첫 번째는 합성곱 층이고 두 번째는 지역 연결 층이며, (16×16)을 (8×8×2)로, 다시 (4×4)로, 마지막으로 10으로 매핑한다. 합성곱 층은 형태 3×3과 스트라이드 2를 가진 2개의 커널을 사용한다.
- Net-5: 최종 버전인 LeNet-5는 이러한 개념을 여러 합성곱 층과 풀링 층을 가진 더 깊은 아키텍처로 정제했으며, 분류를 위한 완전 연결 층으로 마무리된다.
영향과 유산
합성곱 특징 추출과 서브샘플링과 같은 LeNet-5의 설계 원칙은 딥러닝의 기초가 되었다. 이는 신경망의 자유 매개변수 수를 최소화하면 일반화를 향상시킬 수 있음을 입증했으며, 이는 이후 아키텍처에 중요한 통찰력을 제공했다. ATM과 우편번호에서 손으로 쓴 수표를 읽는 네트워크의 성공은 학술 연구와 상업 응용 모두에 영향을 미쳤다. 현대 신경망은 크게 발전했지만, LeNet-5는 여전히 역사적 이정표로 남아 있으며, 현대 Deep learning 모델의 선구자이자 Machine learning 및 Artificial intelligence 분야에서 Neural network 접근 방식의 광범위한 채택을 촉진한 촉매제로 자주 인용된다.