Gorilla는 캘리포니아 대학교 버클리 캠퍼스의 BAIR (Berkeley AI Research) 연구소에서 개발한 대규모 언어 모델입니다. 이 모델은 정확한 API 호출을 생성하도록 특별히 설계되어, 자연어 지시를 실행 가능한 함수 호출로 변환합니다. 이 모델은 2023년 연구 논문에서 소개되었으며, 외부 소프트웨어 서비스와 상호작용하는 AI 시스템의 신뢰성을 향상시키는 도구로 자리매김했습니다.
Gorilla의 핵심 혁신은 훈련 방법론과 API 사용 영역에 대한 초점에 있습니다. 환각 현상을 일으키거나 구문적으로 올바르지 않은 코드를 생성할 수 있는 일반 목적의 언어 모델과 달리, Gorilla는 대규모 API 문서 및 해당 호출 예제 모음에 대해 미세 조정되었습니다. 이를 통해 클라우드 서비스부터 머신러닝 라이브러리까지 수천 개의 다양한 API 구조와 매개변수를 이해할 수 있습니다.
훈련 및 아키텍처
Gorilla는 다른 현대 대규모 언어 모델과 유사한 기본 트랜스포머 아키텍처를 기반으로 구축되었습니다. 초기 버전은 Meta가 공개한 기반 모델인 LLaMA-7B에서 미세 조정되었습니다. 훈련 과정에는 표준 미세 조정과 검색 메커니즘을 결합한 Retrieval-Augmented Fine-Tuning(RAFT)이라는 기술이 사용되었습니다. 훈련 중 모델은 사용자 질문과 올바른 API 호출과 함께 API 문서 조각을 제공받습니다. 이 접근 방식은 모델이 제공된 문서에 근거한 호출을 생성하도록 가르쳐, 존재하지 않는 함수나 매개변수를 발명할 가능성을 줄입니다.
훈련 데이터는 아마존 웹 서비스, 애저, 구글 클라우드 서비스 문서와 인기 있는 머신러닝 프레임워크를 포함한 다양한 소스에서 수집되었습니다. 이러한 광범위한 범위 덕분에 Gorilla는 단순한 데이터 저장 작업부터 복잡한 모델 배포 워크플로우까지 다양한 작업을 처리할 수 있습니다.
기능 및 벤치마크
Gorilla는 연구자들이 API 호출 생성의 정확성을 측정하기 위해 만든 데이터셋인 APIBench 벤치마크에서 평가됩니다. 이러한 평가에서 Gorilla는 오픈AI의 GPT-4를 포함한 기존 모델보다 생성된 호출의 정확성과 환각 오류 감소 측면에서 상당한 개선을 보여주었습니다. 이 모델은 많은 후보 집합에서 올바른 API를 선택하고, 필요한 인수를 이해하며, Python과 같은 언어로 구문적으로 유효한 코드를 생성할 수 있습니다.
Gorilla의 주요 기능 중 하나는 API 문서 업데이트에 적응하는 능력입니다. 추론 시점에 검색을 사용함으로써 모델은 최신 문서를 응답에 통합할 수 있어, 기본 서비스의 변화에 더욱 견고해집니다. 이는 빠르게 진화하는 클라우드 컴퓨팅 및 머신러닝 도구 환경에서 특히 중요합니다.
응용 및 영향
Gorilla의 주요 응용 분야는 외부 도구 및 서비스와 상호작용해야 하는 생성형 AI 에이전트 분야입니다. 이는 가상 비서, 자동화된 워크플로우 시스템, 코드 생성 도구의 백엔드로 사용될 수 있습니다. 자연어와 프로그래밍 API 사이의 신뢰할 수 있는 인터페이스를 제공함으로써 Gorilla는 인간의 의도와 기계 실행 사이의 격차를 해소하는 데 기여합니다.
Gorilla의 출시는 API 인식 언어 모델 분야의 후속 연구에 영향을 미쳤습니다. 검색과 미세 조정을 결합한 접근 방식은 다른 연구 그룹에 의해 채택되고 확장되었습니다. 이 모델은 또한 오픈소스 성격으로 주목할 만하며, 코드와 모델 가중치가 공개적으로 제공되어 다른 연구자들이 이 작업을 기반으로 구축할 수 있습니다.
한계 및 향후 방향
강점에도 불구하고 Gorilla에는 한계가 있습니다. 성능은 훈련 중 사용된 API 문서의 품질과 범위에 의존합니다. 틈새 시장이나 문서화가 부족한 API의 경우 모델이 여전히 잘못된 호출을 생성할 수 있습니다. 또한 모든 대규모 언어 모델과 마찬가지로 Gorilla는 입력 프롬프트의 표현 방식에 민감할 수 있으며, 최적의 결과를 얻으려면 신중한 프롬프트 엔지니어링이 필요할 수 있습니다.
향후 연구 방향에는 더 많은 프로그래밍 언어와 API 도메인을 지원하도록 모델을 확장하고, 다단계 API 상호작용을 처리하는 능력을 개선하며, 출력을 더욱 정제하기 위해 인간 피드백 기반 강화 학습(RLHF)과 더 깊이 통합하는 것이 포함됩니다. 버클리 팀은 모델을 계속 반복 개발하고 있으며, 후속 버전은 정확성과 효율성을 향상시키는 것을 목표로 합니다.