Meena是谷歌开发的一种对话式人工智能模型，首次在2020年1月的研究论文中公布。它是一种基于神经网络的聊天机器人，旨在处理开放域对话，这意味着它可以讨论广泛的主题，而不局限于狭窄的领域。Meena基于Transformer (architecture)架构构建，这是现代深度学习中的基础模型类型。该模型在大量公共领域社交媒体对话数据集上进行了训练，这使其能够学习人类对话的模式。谷歌的研究人员使用一种称为合理性和特异性平均值（SSA）的指标来评估Meena，该指标衡量聊天机器人的响应与人类判断相比的合理性和特异性程度。Meena的SSA得分达到79%，显著高于当时现有的聊天机器人（如Cleverbot和Mitsuku），并接近86%的人类基线水平。
架构与训练
Meena是一个大型神经网络，拥有26亿个参数，这是衡量模型从数据中学习能力的指标。它基于Transformer (architecture)架构，具体来说是一种进化的Transformer编码器-解码器模型。编码器处理对话历史，而解码器生成下一个响应。该模型在341GB的文本上进行了训练，这些文本从公共领域社交媒体对话中筛选而来，包括来自Reddit等平台的评论和讨论。训练过程使用了称为下一词预测的技术，即模型学习根据前面的词预测序列中的下一个词。这种方法在大型语言模型开发中很常见，与2019年OpenAI发布的GPT-2等模型使用的训练方法类似。
评估与性能
Meena的主要评估指标是合理性和特异性平均值（SSA），它结合了两个维度：合理性（响应在上下文中是否有意义）和特异性（响应是否针对给定上下文而非通用）。人类评估员对模型的响应在这两个维度上进行评分，并将分数取平均值。Meena的SSA为79%，大幅优于其他聊天机器人；例如，Cleverbot得分51%，Mitsuku得分56%。人类基线为86%，表明Meena接近人类水平但仍有所不足。研究人员还进行了定性分析，显示Meena能够处理各种对话场景，包括闲聊、个人问题，甚至某些形式的幽默。
反响与影响
Meena并未作为产品公开发布，但其研究论文在人工智能社区引起了广泛关注。它突显了大规模神经网络在对话式AI中的潜力，并影响了该领域的后续发展。SSA指标成为评估聊天机器人的参考点，使用大型数据集和Transformer模型进行对话系统的想法获得了关注。Meena经常与后来的模型进行比较，如2020年OpenAI发布的GPT-3，以及2021年谷歌公布的LaMDA。这些模型基于类似原理，但使用了更大的架构和更先进的训练技术。Meena的方法也促进了扩大神经网络规模的更广泛趋势，这是人工智能和机器学习进步的关键驱动力。
与后续模型的比较
虽然Meena是一个重要的进步，但后来的模型已超越其能力。例如，GPT-3拥有1750亿个参数，能够处理对话之外的广泛任务，包括文本生成、翻译和问答。谷歌开发的LaMDA专注于对话，并在公共对话和网络文本数据集上进行了训练。LaMDA的架构基于Transformer解码器，类似于Meena，但它融入了额外技术，例如使用从Meena的SSA改进而来的“合理性和特异性”指标。这些后续模型已集成到谷歌的Bard（现称为Gemini）和OpenAI的ChatGPT等产品中，并被公众广泛使用。因此，Meena的遗产在现代对话式AI系统中可见。
技术细节与局限性
Meena的训练数据来自公共领域社交媒体对话，这引发了关于隐私和偏见的担忧。由于模型从未经过过滤的用户生成内容中学习，它可能产生不适当或有偏见的响应。谷歌的研究人员承认了这些局限性，并强调需要谨慎部署和进一步研究。此外，Meena的响应是逐词生成的，这使得它相对于使用更高效解码方法的后续模型较慢。该模型还缺乏访问外部知识或执行复杂推理的能力，这限制了它在需要事实准确性或逻辑推断的任务中的实用性。这些局限性在后续模型中通过引入检索增强生成和基于人类反馈的强化学习等技术得到了解决。
参见
参考文献
关于Meena的主要信息来源是研究论文《Towards a Human-like Open-Domain Chatbot》，作者为Daniel Adiwardana、Minh-Thang Luong、David R. So、Jamie Hall、Noah Fiedel、Romal Thoppilan、Zi Yang、Apoorv Kulshreshtha、Gaurav Nemade、Yifeng Lu和Quoc V. Le，于2020年1月发表在arXiv上。关于模型架构和评估的更多细节可在该论文中找到。SSA指标及与其他聊天机器人的比较也在论文中有所描述。关于后续发展的背景，GPT-3和LaMDA的论文提供了进一步信息。