Stanford AI Index는 스탠퍼드 인간 중심 인공지능 연구소(HAI)가 발행하는 연례 보고서로, 인공지능 분야의 발전에 대한 포괄적이고 데이터 기반의 개요를 제공한다. 2017년 처음 발간된 이 보고서는 기술 연구, 산업 투자, 교육, 정책, 여론 등 다양한 지표를 추적하며, 정책 입안자, 연구자, 일반 대중을 위한 중립적 참고 자료로 활용되는 것을 목표로 한다. 학계와 언론의 논의에서 AI 동향 데이터의 주요 출처로 널리 인용된다.
이 지수는 학술 간행물, 산업 보고서, 정부 데이터 등 다양한 출처의 정보를 통합한다. AI 연구 진행 상황, 특허 출원, 민간 투자, 노동 시장 역학, 글로벌 입법 등 분야를 다룬다. 보고서는 매년 업데이트되며, 각 판은 생성형 AI와 대규모 언어 모델 배포와 같은 새로운 주제를 반영하여 범위를 확장한다.
역사와 기원
AI 지수는 2014년에 시작되어 AI가 사회에 미치는 장기적 영향을 모니터링하기 위한 이니셔티브인 스탠퍼드 AI 100년 연구(AI100) 내 프로젝트로 2017년에 구상되었다. 2017년에 발간된 첫 번째 판은 요아브 쇼함(Yoav Shoham)과 레이먼드 페로(Raymond Perrault)를 포함한 학자 위원회가 주도했다. 2019년에는 프로젝트가 새로 설립된 스탠퍼드 HAI 산하로 이관되었으며, 이후 그곳에서 제작을 총괄하고 있다. 2021년 판은 증가하는 사회적 우려를 반영하여 AI 윤리와 거버넌스에 관한 전용 장을 도입했다.
주요 지표와 방법론
보고서는 정량적 지표와 정성적 분석의 혼합에 의존한다. 연구 지표에는 AI 간행물 수, 인용 수, 학회 제출 건수가 포함되며, 특히 머신러닝과 딥러닝 하위 분야에 중점을 둔다. 산업 데이터는 기업 투자, 인수합병, 기업의 AI 기술 채택을 추적한다. 지수는 또한 이미지 인식 및 자연어 처리 작업과 같은 표준화된 벤치마크에서 AI 성능을 측정하며, 종종 트랜스포머 아키텍처의 돌파구를 강조한다.
방법론적 엄격성은 명시된 우선순위이다. 저자들은 arXiv, GitHub, 국가 통계 기관과 같은 공개 데이터 세트를 사용한다. AI의 환경 영향과 같이 데이터가 제한적인 분야의 경우, 보고서는 동료 검토 연구의 추정치를 통합한다. 각 판에는 데이터 수집 및 한계를 설명하는 상세한 부록이 포함되어 있으며, 특정 지표가 AI 개발의 전체 복잡성을 포착하지 못할 수 있음을 인정한다.
주요 발견과 동향
최근 판에서 반복되는 주제는 대규모 언어 모델 역량의 급속한 확장, 오픈AI, 앤트로픽, 구글 딥마인드와 같은 민간 기업으로의 AI 연구 집중 증가, 미국과 중국 간의 글로벌 경쟁 심화이다. 2023년 판은 산업계가 학계의 15개에 비해 51개의 주목할 만한 머신러닝 모델을 생산했으며, 이는 학계 기여가 지배적이던 초기와는 다른 변화라고 지적했다. 또한 전 세계적으로 AI 관련 입법이 급증하여 AI를 언급하는 법안 수가 2016년 1건에서 2022년 127개국에서 37건 이상으로 증가했음을 기록했다.
지수는 최첨단 모델 훈련 비용의 상승을 추적하며, 일부 대규모 모델이 수백만 달러의 컴퓨팅 자원을 필요로 한다고 추정한다. 또한 일자리 대체 우려, 알고리즘 시스템의 편향, 공공 신뢰 수준 등 AI의 사회적 영향을 보고한다. 예를 들어, 2023년 판은 미국인의 35%만이 AI 혜택이 위험보다 크다고 믿는 것으로 나타났으며, 이는 2018년의 48%에서 감소한 수치이다.
수용과 영향
AI 지수는 언론인, 투자자, 정부 기관의 표준 참고 자료가 되었다. 그 데이터는 유엔과 유럽 위원회의 보고서를 포함한 정책 문서에서 자주 인용된다. 일부 비평가들은 지수가 AI의 실제 영향에 대한 정성적 평가를 희생하면서 정량적 지표를 과도하게 강조한다고 주장한다. 다른 이들은 산업계 보고 수치에 의존하면 편향이 발생할 수 있다고 지적하지만, 저자들은 여러 출처를 교차 참조하면 이 문제가 완화된다고 주장한다.
이러한 비판에도 불구하고 보고서의 영향력은 계속 성장하고 있다. 스탠퍼드 HAI는 지수를 오픈 액세스 문서로 공개하며, 관련 웹사이트는 대화형 데이터 시각화를 제공한다. 2024년 판은 기술의 적용 범위 확대를 반영하여 의료 및 교육 분야의 AI를 포함하도록 범위를 확장했다. 2025년 현재, AI 지수는 AI 동향을 이해하기 위한 가장 포괄적인 공공 자원 중 하나로 남아 있으며, 오픈소스 모델과 배포 패턴에 대한 더 세분화된 데이터를 통합할 계획을 가지고 있다.
향후 방향
향후 판은 AI 생성 허위 정보의 사회적 비용 측정과 대규모 모델 훈련의 환경 발자국과 같은 새로운 과제를 다룰 것으로 예상된다. 지수 팀은 또한 전통적인 정확도 지표를 넘어 생성형 AI 시스템을 평가하기 위한 새로운 벤치마크 개발에 관심을 표명했다. 투명성과 엄격성에 대한 약속을 유지함으로써, 스탠퍼드 AI 지수는 AI가 진화함에 따라 신뢰할 수 있는 출처로 남는 것을 목표로 한다.