托马斯·夏洛姆是Meta AI(现为人工智能研究的一部分)的一名研究科学家,因其在大型语言模型和机器学习方面的工作而闻名。他最广为人知的身份是Llama 2的合著者之一,Llama 2是2023年发布的一系列开源大型语言模型,同时他也因通过检索增强生成和基于人类反馈的强化学习等技术提升模型的事实准确性和推理能力而著称。他的工作影响了生成式人工智能领域的学术研究和实际应用。
夏洛姆的研究处于深度学习、自然语言处理和神经网络架构的交汇点。他为Meta AI的多个项目做出了贡献,包括开发Llama及其后续版本,并在文本摘要、问答和模型对齐等主题上发表了大量论文。他的贡献是人工智能社区更广泛努力的一部分,旨在创建更可靠、更可控的语言模型。
早期生涯与教育
托马斯·夏洛姆在计算机科学领域完成了博士研究,专注于自然语言处理和深度学习。他的博士研究是与学术机构和行业实验室合作进行的,探索了文本摘要和序列到序列模型的新方法。之后,他加入了Meta AI(前身为Facebook AI Research)担任研究科学家,并开始从事大规模语言模型的研究。
在职业生涯早期,夏洛姆为基于Transformer的架构贡献了多篇基础性论文,特别是在摘要和对话系统的背景下。他的工作经常强调评估指标和人工评估在衡量模型性能中的重要性,这一主题在他后来的RLHF研究中得到了延续。
对Llama 2的贡献
夏洛姆是Llama 2的关键贡献者之一,Llama 2于2023年7月由Meta AI发布。Llama 2是一系列预训练和微调的大型语言模型,参数规模从70亿到700亿不等。与其前身不同,Llama 2被允许用于商业用途,这标志着开源人工智能领域的重大转变。夏洛姆合著了随附的技术报告,详细介绍了模型的架构、训练数据和对齐过程。
Llama 2的一个显著特点是使用基于人类反馈的强化学习来提高有用性和安全性。夏洛姆在RLHF方面的研究,包括开发奖励模型和近端策略优化技术,在这一过程中发挥了重要作用。该模型的发布促进了广泛采用,并影响了其他组织的后续开源模型。
检索增强生成研究
除了Llama 2,夏洛姆还对检索增强生成(RAG)做出了重要贡献,RAG是一种将信息检索与生成模型相结合以提高事实准确性的方法。他在这一领域的工作,包括2022年的论文《Recitation-Augmented Language Models》,展示了在生成答案前提示模型背诵相关段落如何能提升知识密集型任务的表现。
这一研究方向解决了大型语言模型的一个关键局限:它们倾向于产生看似合理但不正确的信息,这通常被称为幻觉。通过整合外部知识来源,夏洛姆的方法旨在将模型输出锚定在可验证的事实上,这一方向已成为许多人工智能应用的核心,包括问答和事实核查。
影响与认可
夏洛姆的工作在人工智能社区中被广泛引用,他经常在NeurIPS、ICML和ACL等会议上发表演讲。他对开源人工智能的贡献,特别是通过Llama 2,因使先进语言模型的获取民主化而受到赞誉。他还与Google DeepMind和OpenAI等其他领先机构的研究人员合作,涉及模型评估和对齐等主题。
截至2024年,夏洛姆继续在Meta AI工作,专注于提高大型语言模型的推理能力和安全性。他的研究在塑造人工智能的发展方向方面仍然具有影响力,特别是在开发既强大又可靠的模型方面。