국제학습표현학회(ICLR)은 기계 학습과 인공 지능 분야의 최고 권위 학술 회의로, 심층 신경망의 표현 학습 측면에 특별히 초점을 맞추기 위해 설립되었다. 2013년에 처음 개최된 ICLR은 NeurIPS 및 ICML과 함께 이 분야에서 가장 영향력 있는 세 학회 중 하나로 꾸준히 평가받으며, 매년 수천 건의 논문 제출을 유치하고 있다. 이 학회의 독특한 특징은 공개 동료 검토 과정으로, 논문 제출과 리뷰어 의견이 공개적으로 공개되며, 이 모델은 얀 르쿤의 제안에서 영감을 받아 2012년 공동 창립자인 얀 르쿤과 요슈아 벤지오에 의해 공식화되었다.
기원과 창립
ICLR의 창립은 기존 학회들이 표현 학습을 핵심 연구 주제가 아닌 하위 주제로 취급하는 경우가 많다는 인식된 공백에서 비롯되었다. 2012년, 당시 뉴욕 대학교에 있던 얀 르쿤과 몬트리올 대학교의 요슈아 벤지오는 신경망 및 심층 학습 모델과 같은 아키텍처를 포함한 표현 학습에 전념하는 새로운 학회를 제안했다. 그들은 기계 학습 연구 저널에서 사용된 것과 같은 공개 검토에 대한 초기 실험을 활용하여 투명성을 높이고 과학적 논의를 가속화하는 프로세스를 설계했다. 첫 번째 학회는 2013년 5월 2일부터 5월 4일까지 미국 애리조나주 스코츠데일에서 개최되었으며, 400명 이상의 참가자를 유치했다.
처음부터 채택된 공개 검토 형식은 전통적인 이중 맹검 검토에서 벗어난 것이었다. 대신, 제출된 논문은 공개 플랫폼에 게시되어 등록된 모든 회원이 의견을 달 수 있고, 지정된 리뷰어가 공개 토론과 함께 공식 평가를 제공한다. 이 접근 방식은 논문 품질을 향상시키고 커뮤니티 참여를 촉진한 것으로 평가받지만, 리뷰어 업무 부담과 잠재적 편향에 대한 비판도 받아왔다.
성장과 영향
약 200건의 제출로 시작한 첫 해부터 ICLR은 규모와 명성 면에서 빠르게 성장했다. 2020년까지 학회는 2,500건 이상의 제출을 받았고, 2024년에는 그 수가 7,000건을 넘어섰으며, 본 트랙의 수락률은 30% 미만이었다. 학회는 일반적으로 4월 말이나 5월 초에 개최되며, 북미와 유럽 도시를 순회하고, 2020년 이후에는 가상 구성 요소가 추가되었다. 학회의 회보는 OpenReview 플랫폼을 통해 출판되며, 이 플랫폼은 모든 논문의 공개 검토 기록을 계속 호스팅한다.
ICLR의 영향력은 인용 지표와 생성형 인공 지능 및 트랜스포머 아키텍처 발전에 기여한 게재 논문의 보편성에서 입증된다. 대규모 언어 모델에 대한 많은 기초 연구, 스케일링 법칙과 주의 메커니즘에 대한 연구를 포함하여, ICLR에서 처음 발표되었다. 학회는 또한 게재된 결과의 독립적 검증을 장려하는 "재현성 챌린지"와 같은 주목할 만한 혁신을 도입했으며, 최우수 논문 및 우수 학생 논문에 대한 상을 제정했다.
학회 구조
각 ICLR 에디션은 며칠에 걸쳐 진행되며, 주요 연구자들의 초청 강연, 선정된 논문의 구두 발표, 그리고 광범위한 포스터 세션을 포함한다. 학계와 산업계의 선임 영역 위원과 리뷰어로 구성된 프로그램 위원회는 이중 트랙 시스템으로 운영된다: 표준 제출 트랙과 2020년에 도입된 비전통적인 아이디어를 장려하기 위한 보다 투기적인 "브레인스톰" 트랙이다. 특히, ICLR은 10년 전의 논문 중 지속적인 영향력을 인정받은 논문을 인정하는 "시간의 시험" 상도 실험해 왔다.
학회 역사에서 주요 인물로는 창립 총괄 위원장인 르쿤과 벤지오, 그리고 요슈아 벤지오(2016)와 코라이 카부쿠오글루(2018)와 같은 후임 프로그램 위원장이 있다. 학회는 산업 연구소와 강력한 유대 관계를 유지하며, 오픈AI, 구글 딥마인드, 및 앤트로픽의 연구자들이 정기적으로 기여하고 있어 현대 심층 학습 연구의 응용적 성격을 반영한다.
비판과 진화
혁신적인 공개 검토 모델은 비판을 받아왔다. 일부 연구자들은 공개 의견이 위험한 작업을 억제하거나 적대적 역학을 조성할 수 있다고 주장한다. 이에 대응하여 ICLR은 초기 검토 기간 동안 저자가 공개 의견을 거부할 수 있도록 허용하고, 2022년에 토론과 최종 결정을 분리하기 위해 2단계 검토 주기를 도입하는 등 정책을 주기적으로 조정해 왔다. 또한, 학회의 성장은 검토 품질에 대한 우려를 불러일으켰으며, 이를 해결하기 위해 ICLR은 영역 위원 수를 늘리고 "일관성 검사" 시스템을 구현했다.
이러한 어려움에도 불구하고, ICLR은 심층 학습과 인공 지능 분야의 돌파구를 전파하는 중심 학회로 남아 있으며, 학술 연구와 산업 배포 모두를 형성하고 있다. 개방성과 표현 학습에 대한 초점이라는 창립 원칙은 다른 학회에 영향을 미쳤지만, 그 모델을 완전히 복제한 학회는 없다.
같이 보기
- ICML - 국제 기계 학습 학회
- NeurIPS - 신경 정보 처리 시스템 학회
- AAAI 인공 지능 학회 - 더 긴 역사를 가진 더 포괄적인 AI 학회
참고 문헌
- Yann LeCun and Yoshua Bengio, ICLR 창립 성명서, 2012.
- ICLR 회보, OpenReview, 2013-2024.
- 공식 발표 및 기록 자료에 보고된 학회 통계 및 수락률.