효율적으로 업데이트 가능한 신경망은 훈련된 모델을 새로운 데이터, 작업 또는 환경에 적응시키는 데 필요한 계산 비용과 시간을 최소화하도록 설계된 신경망 아키텍처 및 훈련 방법의 한 부류입니다. 처음부터 전체를 다시 훈련해야 하는 경우가 많은 기존 모델과 달리, 이러한 네트워크는 매개변수의 작은 하위 집합을 미세 조정하거나, 업데이트 오버헤드를 줄이기 위해 모델 가지치기를 사용하거나, 더 빠른 수렴을 위해 데이터 제시를 구조화하는 커리큘럼 학습을 사용하는 등 증분 업데이트를 지원합니다. 목표는 엣지 장치나 실시간 서비스에 배포된 인공 지능 시스템과 같이 데이터 스트림이 자주 도착하는 동적 환경에서 지속적인 학습을 가능하게 하는 것입니다.
이 개념은 모델 용량과 업데이트 효율성 사이의 균형이 핵심 관심사인 머신 러닝 및 딥 러닝의 광범위한 분야와 밀접하게 연관되어 있습니다. 효율적인 업데이트 가능성은 재훈련 비용이 많이 드는 대규모 언어 모델 및 트랜스포머와 특히 관련이 있습니다. 매개변수 효율적 미세 조정(PEFT) 및 어댑터 계층과 같은 기술은 전체 네트워크를 수정하지 않고도 빠른 적응을 가능하게 합니다. 이 접근 방식은 훈련 후 모델이 고정되는 기존의 배치 학습과 대조됩니다.
역사적 배경 및 동기
효율적으로 업데이트 가능한 신경망의 필요성은 딥 러닝 모델의 확장과 함께 대두되었습니다. 1980년대와 1990년대에 개발된 초기 신경망은 빠르게 재훈련할 수 있을 만큼 작았습니다. 그러나 2015년에 도입된 ResNet 아키텍처와 2017년의 트랜스포머 아키텍처에서 볼 수 있듯이 모델의 크기와 복잡성이 증가하면서 전체 재훈련은 엄청나게 비용이 많이 들게 되었습니다. 예를 들어, 최첨단 대규모 언어 모델을 훈련하려면 수천 시간의 GPU 작업이 필요할 수 있어 빈번한 업데이트가 비현실적입니다.
2010년대와 2020년대의 연구는 이러한 부담을 줄이는 방법에 초점을 맞췄습니다. 배치 정규화와 계층 정규화는 훈련 안정성을 개선했지만 업데이트 효율성을 직접적으로 해결하지는 못했습니다. 드롭아웃 및 가중치 초기화 기술의 도입은 모델이 더 빨리 수렴하도록 도왔지만 새로운 작업에는 여전히 전체 재훈련이 필요했습니다. 많은 작업에 대해 모델 매개변수의 극히 일부만 업데이트하면 된다는 사실이 밝혀지면서 희소 업데이트 방법과 어댑터 모듈 개발로 이어지는 돌파구가 마련되었습니다.
주요 기술 및 방법
효율적인 업데이트를 가능하게 하는 몇 가지 접근 방식이 있습니다. 매개변수 효율적 미세 조정(PEFT) 방법(예: 저랭크 적응(LoRA))은 네트워크의 대부분 가중치를 고정하고 소수의 새 매개변수만 훈련합니다. 이는 메모리와 계산 요구 사항을 수 배에서 수십 배까지 줄여줍니다. 어댑터 계층은 기존 계층 사이에 작은 훈련 가능한 모듈을 삽입하여 원래 가중치를 변경하지 않고 작업별 적응을 가능하게 합니다.
모델 가지치기도 또 다른 중요한 기술입니다. 중복 연결이나 뉴런을 제거하면 네트워크가 더 작아지고 업데이트 속도가 빨라집니다. 가지치기는 반복적으로 수행될 수 있으며, 모델이 가지치기된 후 미세 조정되는데, 이 과정을 반복적 가지치기라고 합니다. 이는 미세 조정 중 업데이트를 안정화하기 위해 그래디언트 클리핑과 결합되는 경우가 많습니다.
지속적 학습 방법(예: 탄성 가중치 통합(EWC))은 새 데이터로 업데이트할 때 파괴적 망각을 방지합니다. EWC는 중요한 가중치가 크게 변하지 않도록 보호하는 손실 함수에 페널티 항을 추가합니다. 다른 접근 방식으로는 훈련 중에 이전 데이터를 재생하는 리플레이 버퍼와 더 작은 학생 모델이 더 큰 교사 모델을 모방하도록 훈련되는 지식 증류가 있습니다.
최적화 알고리즘도 역할을 합니다. Adam 및 모멘텀을 사용한 SGD와 같은 변형은 빠르게 수렴하도록 설계되었지만 여전히 전체 그래디언트 계산이 필요합니다. 효율적인 업데이트를 위해 훈련 가능한 매개변수에 대한 그래디언트만 계산하는 부분 그래디언트 계산을 사용할 수 있습니다. 높게 시작하여 시간이 지남에 따라 감소하는 학습률 스케줄은 미세 조정 시나리오에 도움이 됩니다.
응용 분야 및 사용 사례
효율적으로 업데이트 가능한 신경망은 여러 영역에서 필수적입니다. 엣지 컴퓨팅에서 스마트폰과 IoT 센서와 같은 장치는 계산 리소스가 제한적입니다. 이러한 장치에 배포된 모델은 중앙 서버에 연결하지 않고도 새 사용자 데이터로 업데이트되어야 합니다. 예를 들어, 애플과 삼성전자는 키보드 예측 및 사진 분류를 개인화하기 위해 온디바이스 학습을 사용합니다.
자율 주행 차량(예: 웨이모 및 테슬라 오토파일럿이 개발한 차량)에서 모델은 새로운 도로 상황과 사용자 선호도에 적응해야 합니다. 안전과 성능을 위해 빈번한 업데이트가 중요합니다. 마찬가지로 의료 분야에서 의료 영상에 사용되는 모델은 인튜이티브 서지컬의 시스템에서 볼 수 있듯이 진단 정확도를 개선하기 위해 새 환자 데이터로 업데이트될 수 있습니다.
자연어 처리 응용 프로그램, 특히 오픈AI 및 앤트로픽의 대규모 언어 모델은 새로운 지식을 통합하거나 사용자 피드백에 맞추기 위해 효율적인 업데이트의 이점을 얻습니다. RLHF(인간 피드백 기반 강화 학습)와 같은 기술은 모델을 미세 조정하는 데 사용되지만 업데이트 비용을 신중하게 관리해야 합니다.
과제 및 한계
진전에도 불구하고 효율적으로 업데이트 가능한 신경망은 몇 가지 과제에 직면합니다. 파괴적 망각은 여전히 주요 문제입니다. 모델이 새 데이터로 업데이트되면 이전에 학습한 작업에 대한 성능을 잃을 수 있습니다. EWC 및 리플레이 버퍼와 같은 기술은 이를 완화하지만 복잡성과 메모리 오버헤드를 추가합니다.
확장성도 또 다른 우려 사항입니다. PEFT 방법은 훈련 가능한 매개변수의 수를 줄이지만 전체 네트워크를 통한 순방향 전달은 여전히 필요하므로 매우 큰 모델의 경우 느릴 수 있습니다. 하드웨어 제약도 업데이트 효율성을 제한합니다. 그래프코어와 그록은 추론을 위한 특수 하드웨어를 개발했지만 훈련과 미세 조정은 여전히 엔비디아 또는 AMD 및 인텔의 GPU에 의존합니다.
데이터 분포 변화는 업데이트를 무효화할 수 있습니다. 새 데이터가 기본 분포를 대표하지 않으면 모델이 새 데이터에 과적합되어 전반적인 성능이 저하될 수 있습니다. 이는 금융 시장이나 소셜 미디어 트렌드와 같은 비정상 환경에서 특히 문제가 됩니다.
향후 방향
업데이트 효율성을 개선하기 위한 연구가 진행 중입니다. 메타 러닝(학습 방법 학습)은 매우 적은 그래디언트 업데이트로 새 작업에 적응할 수 있는 모델을 훈련하는 것을 목표로 합니다. 버클리 AI 연구소와 스탠포드 AI 연구소가 이 분야에서 활발히 활동하고 있습니다. 신경 아키텍처 탐색(NAS)은 용량과 적응성의 균형을 맞추는 본질적으로 더 업데이트 가능한 아키텍처를 발견할 수 있습니다.
연합 학습은 또 다른 유망한 방향으로, 데이터를 중앙 집중화하지 않고 분산 장치에서 모델을 업데이트합니다. 이는 개인 정보 보호에 민감한 응용 분야에 특히 관련이 있습니다. 구글 클라우드 및 아마존 웹 서비스와 같은 회사는 연합 학습 서비스를 제공합니다.
마지막으로, 효율적으로 업데이트 가능한 네트워크와 구글 딥마인드 및 AI21 랩스의 생성형 AI 시스템의 통합은 추가 혁신을 주도할 것입니다. 모델이 더욱 강력해짐에 따라 빠르고 저렴하게 업데이트하는 능력은 인공 지능의 경쟁 환경에서 핵심적인 차별화 요소가 될 것입니다.
같이 보기
참고 문헌
이 문서는 머신 러닝 분야의 일반적인 지식을 기반으로 하며 특정 출처를 인용하지 않습니다. 자세한 내용은 매개변수 효율적 미세 조정 및 지속적 학습에 관한 학술 논문을 참조하십시오.