文档AI,又称文档智能,是一个利用机器学习技术(如自然语言处理)来开发能够以类似人工审查方式分析文档的计算机模型的技术领域。通过自然语言处理,计算机系统能够理解文档内容中的关系和上下文细微差别,从而促进信息和洞察的提取。该技术还能对文档本身进行分类和组织。其应用范围涵盖处理和分析各种半结构化文档,包括表格、表单、收据、发票、税务表格、合同、贷款协议和财务报告。
文档AI将人工智能方法与文档特定的数据结构相结合。它利用深度学习架构来处理文档的文本内容和空间布局,从而支持从简单数据提取到复杂文档理解与生成的各种任务。
主要特性
文档AI利用机器学习从印刷和数字文档中提取信息。该技术能够识别多种语言的图像、文本和字符,有助于从非结构化文档中提取洞察。使用该技术可以提高文档分析中决策的速度和质量。数据提取和验证的自动化有助于提高文档分析流程的效率。自2020年代初以来,大型语言模型的集成已将文档AI从提取扩展到生成任务,包括自动起草表格、合同和文档摘要。
数据维度与机器学习架构
数据通常区分为空间数据和时间序列数据。空间数据包括图像、地图和图形,而时间序列数据包括股票价格或语音录音等信号。文档AI结合了具有时间维度的文本数据与其他类型的数据,例如商务信函中地址的位置,这属于空间数据。
历史上,空间数据使用卷积神经网络等神经网络架构进行分析,而时间数据则使用循环神经网络。随着与维度类型无关的变换器架构的出现,这两种不同类型的数据维度可以更容易地结合起来。文档AI正是这种整合的实例,因为变换器处理令牌序列的同时,也纳入捕捉布局信息的位置编码。
示例:商务信函分析
商务信函包含文本形式的信息,以及其他类型的信息,如文本的位置。例如,一封典型的信函在正文之前包含两个地址。最顶部的地址,有时右对齐,是发件人地址。其后通常跟着写信的日期和地点。之后列出收件人地址。
发件人地址与收件人地址之间的区别仅通过地址在页面上的位置来传达;地址前没有“发件人:”之类的文本提示。文档AI系统必须学会利用这种空间信息来正确分类和提取这些字段,这展示了结合文本和布局数据的重要性。
基准测试
多个公开数据集用于评估文档AI系统。FUNSD(嘈杂扫描文档中的表单理解)包含199个带注释的表单,带有令牌级和块级标签,用于表单理解任务。CORD(合并收据数据集)支持从收据中提取关键信息。DocVQA包含约50,000个问题,涉及12,000张文档图像,用于布局感知的视觉问答。这些基准测试帮助研究人员比较不同模型在关键信息提取、表单理解和基于文档的问答等任务上的性能。
常见用途
文档AI系统在商业和金融工作流程中自动化文档处理和信息提取,包括发票和收据处理、数据录入自动化、异常检测、抵押贷款处理、贷款组合监控、信用风险管理和欺诈检测(如假币和欺诈性支票)。它们还应用于监管合规和合同分析,包括评估法律和监管文件的变化。在房地产领域,文档AI支持文档分类和结构化信息提取,以实现标准化处理和分析。随着生成式人工智能的采用,文档AI系统还可以根据自然语言提示生成和预填结构化文档,如合同或业务表格。