Jais是一个开源的大型语言模型，旨在生成阿拉伯语和英语的高质量文本。该模型于2023年8月发布，由阿联酋人工智能公司G42、穆罕默德·本·扎耶德人工智能大学（MBZUAI）以及美国硬件公司Cerebras Systems合作开发。该模型的创建旨在解决阿拉伯语在生成式人工智能中代表性不足的问题，力求为全球4亿阿拉伯语使用者提供文化和语言上准确的输出。其名称源自杰贝勒贾伊斯山，这是阿拉伯联合酋长国的最高峰。
背景与开发
Jais的诞生源于对现有大型语言模型在阿拉伯语上表现不佳的认知，这通常是由于训练数据有限或质量低下所致。该项目是阿联酋在人工智能领域作为国家战略的一部分所进行的重要投资。开发合作涉及G42的子公司Inception（现为Core42）、专注于人工智能的研究型大学MBZUAI，以及提供专业人工智能硬件的Cerebras Systems。此次合作旨在创建一个能够处理阿拉伯语多样方言和文化细微差别的模型，而这些在主要以英语数据训练的模型中往往被忽视。
训练
Jais的初始版本于2023年8月发布，拥有130亿参数。2023年11月，Core42发布了改进版本Jais 30B，拥有300亿参数。这两个模型均在Cerebras Condor Galaxy 1超级计算机的子集上训练，该系统是为大规模深度学习任务设计的强大计算平台。训练数据集包含阿拉伯语、英语和计算机代码的混合内容。据MBZUAI自然语言处理教授蒂莫西·鲍德温称，在多样化的阿拉伯语数据集上进行训练使模型能够在不同方言之间切换，从而增强了其对阿拉伯语使用者的实际效用。
特性
Jais旨在生成英语和阿拉伯语文本，使其成为适用于广泛场景的双语工具。该项目还发布了针对13B和30B模型的指令微调“Chat”变体，这些变体专门针对对话用例进行了优化。这些变体经过微调，能够遵循用户指令并参与对话，类似于其他基于Transformer的模型。未来版本计划增加处理图像、图表和表格数据的功能，从而将模型的能力扩展到文本生成之外。
影响与意义
Jais有助于实现大型语言模型领域的多元化，该领域此前一直由来自OpenAI和Google DeepMind等公司的以英语为中心的模型主导。通过聚焦阿拉伯语，Jais帮助弥合了现有技术对大量服务不足人群在人工智能可及性方面的差距。该模型的开源特性允许研究人员和开发者对其进行调整和改进，从而促进阿拉伯语自然语言处理及相关领域的创新。截至发布之时，Jais代表了迈向更具包容性的人工智能的重要一步，但其长期影响将取决于社区的采用和持续发展。
参考文献
外部链接
官方网站