2025년, 안드레이 카르파시(Andrej Karpathy)는 스탠퍼드 대학에서 AI 엔지니어링을 주제로 한 시간짜리 강연을 진행했다. 이 강연은 딥러닝과 인공지능 분야에서의 그의 폭넓은 경험을 바탕으로, 대규모 언어 모델(LLM), 프롬프트 전략, 그리고 떠오르는 AI 에이전트 패러다임에 대한 기술적 개요를 제공했다. 핵심 주제 중 하나는 복잡한 AI 시스템을 구조화하고 추론하기 위한 그래프 기반 접근 방식의 중요성이었으며, 이러한 관점은 이후 해당 분야의 논의에 영향을 미쳤다.
슬로바키아계 캐나다인 연구자인 카르파시는 컴퓨터 비전과 자연어 처리 분야에 기여한 것으로 알려져 있다. 그는 OpenAI를 공동 창립했고, 테슬라에서 AI 디렉터로 재직했으며, 이후 AI 교육 플랫폼인 유레카 랩스(Eureka Labs)를 설립했다. 그의 스탠퍼드 강연은 학생과 실무자로 구성된 폭넓은 청중에게 고급 개념을 쉽게 전달하는 것을 목표로 한 그의 교육적 초점을 반영했다.
배경 및 맥락
카르파시의 강연은 트랜스포머 기반 모델의 광범위한 채택 이후, 생성형 AI가 급속도로 발전하던 시기에 이루어졌다. 그의 이전 작업에는 스탠퍼드의 CS 231n 과정을 가르친 일이 포함되며, 이 과정은 대학에서 가장 큰 수업 중 하나가 되었고, 신경망에 관한 인기 있는 교육 콘텐츠를 제작하기도 했다. 2025년 강연은 이러한 전통을 이어받아 AI 시스템의 실용적 엔지니어링에 대한 체계적인 소개를 제공했다.
이 강연은 또한 접근 가능한 AI 교육을 위한 카르파시의 공개적인 옹호 활동을 배경으로 이루어졌다. 2024년에 그는 AI 네이티브 학교를 만드는 것을 목표로 유레카 랩스를 출범시켰고, "제로 투 히어로(Zero to Hero)" 튜토리얼을 포함한 그의 강연 시리즈는 학습자들 사이에서 널리 사용되었다. 스탠퍼드 강연은 이러한 노력의 축약 버전으로, 학계 청중을 대상으로 했다.
핵심 주제: LLM, 프롬프트, 에이전트
이 강연은 현대 AI 엔지니어링의 세 가지 상호 연결된 축을 다루었다. 첫째, 카르파시는 대규모 언어 모델의 아키텍처와 훈련 과정을 설명하며, Transformer (architecture) 아키텍처와 Multi-Head Attention과 같은 기술의 역할을 강조했다. 그는 이러한 모델이 Supervised learning 및 RLHF와 같은 방법을 사용하여 방대한 텍스트 말뭉치에서 훈련되고, 출력을 인간의 기대에 맞추는 방법에 대해 논의했다.
둘째, 그는 LLM에서 원하는 응답을 이끌어내기 위해 입력을 설계하는 관행인 프롬프팅을 다루었다. 카르파시는 명확한 지침, 맥락, 반복적 개선의 중요성을 강조했으며, 효과적인 프롬프팅은 종종 모델의 Tokenization 및 temperature 매개변수를 이해해야 한다고 언급했다. 그는 또한 모델이 단계별로 추론하도록 장려하는 Chain-of-thought 프롬프팅과 같은 고급 기술도 다루었다.
셋째, 강연은 LLM을 사용하여 자율적으로 작업을 수행하는 시스템인 AI 에이전트를 소개했다. 카르파시는 에이전트가 LLM을 도구, 메모리, 계획 메커니즘과 결합하여 구축될 수 있다고 설명했다. 그는 에이전트가 종종 여러 구성 요소의 세심한 조정을 필요로 하며, 이러한 상호 작용을 표현하고 관리하는 방법으로 그래프 기반 모델을 제안했다.
그래프 기반 접근 방식
이 강연의 독특한 기여는 AI 엔지니어링에서 그래프 기반 접근 방식에 대한 카르파시의 옹호였다. 그는 신경망에서 에이전트 파이프라인에 이르기까지 많은 AI 시스템이 노드가 구성 요소에 해당하고 엣지가 데이터 흐름이나 종속성에 해당하는 그래프로 자연스럽게 표현될 수 있다고 주장했다. 이러한 관점은 디버깅, 최적화 및 확장성을 용이하게 한다고 그는 제안했다.
예를 들어, 카르파시는 딥러닝 프레임워크에서 자동 미분과 효율적인 훈련을 가능하게 하기 위해 computation-graphs가 어떻게 사용되는지 논의했다. 그는 이 아이디어를 더 높은 수준의 시스템으로 확장하여, 에이전트 워크플로우가 각 노드가 Information retrieval 또는 Tool use (function calling)와 같은 단계를 나타내는 방향성 비순환 그래프로 모델링될 수 있다고 제안했다. 이러한 접근 방식은 모듈성과 명확한 인터페이스가 핵심인 소프트웨어 엔지니어링 관행과 일치한다고 그는 언급했다.
카르파시는 또한 OpenAI 및 Tesla에서의 자신의 경험을 언급하며, 그래프 기반 사고가 복잡한 실제 AI 배포를 관리하는 데 도움이 되었다고 말했다. 그는 청중이 자신의 시스템을 설계할 때 이러한 정신 모델을 채택하도록 권장했다.
반응 및 영향
이 강연은 스탠퍼드 커뮤니티와 더 넓은 AI 연구 커뮤니티에서 좋은 반응을 얻었다. 참석자들은 복잡한 주제를 직관적인 설명으로 압축하는 카르파시의 능력이 그의 교육 스타일의 특징이라고 칭찬하며 강연의 명확성과 깊이를 높이 평가했다. 이 강연은 녹화되어 이후 온라인에 공유되었으며, 상당한 조회수를 기록하며 그 영향력을 더욱 확장했다.
강연 이후, AI 에이전트 설계를 위한 그래프 기반 접근 방식의 유용성에 대한 여러 논의가 학계와 산업계에서 이루어졌다. 일부 연구자들은 카르파시가 제시한 아이디어를 바탕으로 에이전트 상호 작용을 그래프로 명시적으로 모델링하는 프레임워크를 탐구하기 시작했다. 이 강연은 또한 유레카 랩스와의 지속적인 작업을 보완하며 AI 분야의 선도적 교육자로서 카르파시의 명성을 강화했다.
유산 및 지속적 영향
카르파시의 2025년 스탠퍼드 강연은 AI 교육 및 연구에 대한 더 넓은 기여 궤적의 일부이다. 합성곱 신경망 및 순환 신경망에 대한 그의 초기 작업은 현대 딥러닝을 형성하는 데 도움이 되었다. OpenAI 복귀와 2026년 Anthropic으로의 이동을 포함한 그의 후속 활동은 그를 AI 개발의 최전선에 유지시켰다.
이 강연의 그래프 기반 접근 방식 강조는 이후 논문과 튜토리얼, 특히 에이전트 오케스트레이션 맥락에서 인용되었다. AI 시스템이 더 복잡해짐에 따라 그래프와 같은 구조화된 표현의 필요성은 증가할 가능성이 높으며, 카르파시의 통찰력은 점점 더 관련성이 높아지고 있다. 이 강연은 AI 엔지니어링의 실용적 측면을 이해하려는 학생과 실무자에게 여전히 귀중한 자료로 남아 있다.