Falcon은 아부다비의 기술혁신연구소(TII)가 개발한 오픈소스 대규모 언어 모델 제품군이다. 2023년 3월 처음 공개된 Falcon 모델은 디코더 전용 아키텍처를 기반으로 구축되었으며, 고품질 웹 데이터로 훈련되어 효율성과 성능을 강조한다. Falcon 시리즈는 1B에서 180B 파라미터까지 다양한 크기의 모델을 포함하며, 가장 큰 모델은 일부 경쟁 모델보다 추론 중 필요한 컴퓨팅 자원이 적으면서도 표준 벤치마크에서 경쟁력 있는 결과를 달성한다.
Falcon 모델은 메모리 대역폭을 줄이고 디코딩을 가속화하는 멀티 쿼리 어텐션(MQA)과 플래시 어텐션을 사용하는 것으로 유명하다. 이들은 공개 웹 텍스트의 대규모 필터링 말뭉치인 Falcon RefinedWeb 데이터셋으로 훈련된다. Falcon 모델은 허용적인 라이선스로 배포되었으며, 소형 모델은 Apache 2.0 라이선스, 대형 모델은 상업적 사용을 제한하는 맞춤형 라이선스를 따른다. 이 모델들은 오픈소스 커뮤니티에서 널리 채택되었으며 다양한 파인튜닝 변형의 기반이 되었다.
아키텍처 및 훈련
Falcon 모델은 표준 트랜스포머 디코더 아키텍처를 사용하지만 여러 최적화가 적용되었다. 회전 위치 임베딩을 사용하며, 대형 모델의 경우 모든 쿼리 헤드가 키와 값 헤드를 공유하는 멀티 쿼리 어텐션을 결합하여 메모리 사용을 줄이고 추론 속도를 향상시킨다. 훈련 데이터는 Common Crawl에서 필터링된 수십억 개의 토큰으로 구성된 Falcon RefinedWeb 데이터셋에서 가져오며, 일부 모델에는 추가로 선별된 소스도 포함된다. 훈련 과정은 AdamW 옵티마이저와 코사인 학습률 스케줄을 사용하며, 대부분의 모델에서 최대 시퀀스 길이는 2048 토큰이다.
가장 큰 Falcon 모델인 Falcon-180B는 384개의 GPU를 사용하여 3.5조 개의 토큰으로 훈련되었으며, 추론, 코딩, 일반 지식 작업에서 강력한 성능을 보여준다. 크기에도 불구하고 Falcon-180B는 멀티 쿼리 어텐션을 통해 추론 중 사용되는 파라미터 수를 줄이는 데 초점을 맞춰 효율적으로 설계되었다.
모델 변형 및 릴리스
Falcon 모델은 여러 크기와 구성으로 출시되었다. 2023년 3월의 초기 릴리스에는 Apache 2.0 라이선스 하의 Falcon-1B와 Falcon-7B가 포함되었다. 2023년 5월에는 당시 Open LLM Leaderboard의 1위를 차지한 Falcon-40B가 출시되었다. 이후 2023년 9월에는 연구 및 비상업적 목적의 무료 사용을 허용하지만 상업적 배포를 제한하는 맞춤형 라이선스로 Falcon-180B가 공개되었다. Falcon-3B와 Falcon-11B와 같은 소형 변형도 출시되었으며, 11B 모델은 다른 어텐션 메커니즘(멀티 쿼리 어텐션)을 사용하여 주목할 만한 효율성을 달성했다.
모든 Falcon 모델은 Hugging Face Hub에서 제공되며 vLLM 및 TensorRT-LLM을 포함한 다양한 추론 프레임워크에 통합되었다. 이 모델들은 지시 수행 및 채팅 애플리케이션용으로도 파인튜닝되었으며, Falcon-7B-Instruct 및 Falcon-40B-Instruct와 같은 공식 변형이 있다.
성능 및 벤치마크
Falcon 모델은 다양한 벤치마크에서 경쟁력 있는 성능을 입증했다. 예를 들어 Falcon-40B는 MMLU(대규모 멀티태스크 언어 이해) 벤치마크에서 60.4%의 점수를 기록하며 기존의 많은 오픈소스 모델을 능가했다. Falcon-180B는 이러한 결과를 더욱 개선하여 MMLU에서 70.4%, HellaSwag에서 68.2%를 기록했으며, 여러 작업에서 PaLM-2 Large와 같은 독점 모델과 비슷한 성능을 보였다. 코딩 벤치마크에서 Falcon-180B는 HumanEval에서 pass@1 점수 19.3%를 달성하여 다른 대형 모델과 경쟁력을 유지했다.
Falcon 모델의 효율성은 핵심 판매 포인트이다. 멀티 쿼리 어텐션의 사용은 메모리 사용량을 줄이고 추론 속도를 높여 단일 GPU 배포에 적합하게 만든다. 예를 들어 Falcon-40B는 양자화를 통해 단일 A100 GPU에서 실행할 수 있으며, Falcon-180B는 여러 GPU가 필요하지만 여전히 성능 대비 자원 비율이 유리하다.
영향 및 생태계
Falcon 모델은 오픈소스 AI 환경에 상당한 영향을 미쳤다. 이들은 지시 튜닝 및 채팅 모델을 포함한 다양한 파인튜닝 변형의 기반 모델로 사용되었으며, Hugging Face, Replicate, AWS SageMaker와 같은 플랫폼에 통합되었다. Falcon-40B와 Falcon-180B의 출시는 효율적인 대형 모델 설계의 추가 혁신을 촉진했으며, 이후 Llama 2 및 Mistral과 같은 모델에도 영향을 주었다. Falcon 모델은 또한 자연어 처리와 컴퓨터 비전에 대한 연구를 포함하는 TII의 더 넓은 AI 연구 노력의 일부이다.
소형 Falcon 모델의 허용적인 라이선스는 연구 및 상업적 애플리케이션에서의 광범위한 채택을 장려했으며, 대형 모델은 학술 연구와 산업 파일럿에 사용되었다. Falcon 제품군은 오픈소스 대규모 언어 모델 개발에서 여전히 중요한 참조 지점으로 남아 있다.