AG News是一个广泛使用的新闻文章分类基准数据集。它包含超过120,000条英文新闻标题和简短描述，每条被分配到四个类别之一：世界、体育、商业和科学/技术。该数据集源自学术搜索引擎AG's Corpus收集的更大规模新闻文章语料库，并已成为评估机器学习和自然语言处理中文本分类模型的标准测试平台。
该数据集以其简单性和规模著称，使其成为研究人员和从业者探索深度学习文本分类方法的常见起点。每个样本包含一个标题和一个描述，类别标签指示主题。四个类别是平衡的，每个类别约有30,000个训练样本和1,900个测试样本，为模型性能提供了可靠的衡量标准。
历史与起源
AG News数据集于2015年作为纽约大学Xiang Zhang及其同事的研究项目的一部分引入。研究人员从AG's Corpus中提取新闻文章，该语料库包含从超过2,000个新闻来源收集的超过1百万篇新闻文章。他们选择了属于四个类别之一的文章，并构建了一个平衡的子集用于分类任务。该数据集与DBpedia和Yahoo! Answers等类似基准一起发布，旨在为文本分类算法提供多样化的挑战。
创建AG News的动机是需要大规模、干净且公开可用的数据集来训练和评估神经网络模型。当时，许多现有数据集规模较小或需要大量预处理。AG News提供了一个直接的分类任务和清晰的标签，使研究人员能够专注于模型架构和训练技术，而不是数据清理。
数据集结构
AG News包含两个文件：一个用于训练，一个用于测试。训练集包含120,000个样本，而测试集包含7,600个样本。每个样本是一行CSV，包含三个字段：类别索引（1到4）、标题和描述。类别索引分别对应世界、体育、商业和科学/技术。标题通常较短，往往少于10个词，而描述为一到两个句子，为标题提供上下文。
数据集经过预处理以去除标点符号并将所有文本转换为小写，尽管原始版本中保留了原始的大小写和标点。这种预处理简化了分词，并允许模型专注于词模式而不是格式。平衡的类别分布确保准确率是一个有意义的指标，因为随机猜测将产生25%的准确率。
在机器学习中的应用
AG News经常用于基准测试文本分类模型，从支持向量机和逻辑回归等传统方法到现代transformer架构。它作为新模型设计的健全性检查，因为在AG News上取得高准确率表明模型能够捕捉文本中的基本语义和句法模式。
在大型语言模型时代，AG News常用于微调和评估。像BERT和GPT这样的模型可以在测试集上达到接近完美的准确率，展示了文本分类的成熟度。然而，该数据集在教育目的和比较不同架构的效率方面仍然有价值，尤其是在资源受限的环境中。
研究人员还使用AG News来研究迁移学习、领域适应和数据增强技术。其简单性允许进行受控实验，其规模支持在没有过多计算成本的情况下进行训练。因此，AG News出现在数百篇学术论文中，并且是机器学习课程中的主要内容。
局限性与批评
尽管广受欢迎，AG News仍有局限性。这四个类别较为宽泛，一些文章可能被错误标记或存在歧义，导致标签中的噪声。该数据集也相对较旧，文章来自2000年代初期，因此可能无法反映当前的新闻趋势或词汇。此外，预处理去除了标点符号并将文本转换为小写，这可能掩盖了在现实应用中可能相关的风格差异。
另一个批评是AG News对现代模型来说过于简单，许多模型准确率超过90%。这导致一些研究人员寻求更具挑战性的基准，例如具有更细粒度类别或不平衡类别分布的基准。尽管如此，AG News仍然是一个有用的基线和理解文本分类的起点。