文本挖掘，又称文本数据挖掘（TDM）或文本分析，是从文本中提取高质量信息的过程。它涉及计算机通过自动从网站、书籍、电子邮件、评论和文章等书面资源中提取模式和趋势，来发现新的、先前未知的信息。该领域结合了人工智能、机器学习和统计学的技术，将非结构化文本转化为适合分析的结构化数据。高质量信息通常指相关性、新颖性和趣味性的结合，并通过统计模式学习和自然语言处理等方法获得。
该学科源于信息检索和知识发现的早期工作，其根源可追溯至20世纪80年代，当时生命科学研究与政府情报部门首次应用自动化文本分析。一个典型的应用会扫描一组自然语言文档，要么对文档集进行建模以用于预测性分类，要么将提取的信息填充到数据库或搜索索引中。文档是基本单元，定义为存在于许多集合中的文本数据单元。
核心任务与视角
文本挖掘涵盖若干典型任务：文本分类、文本聚类、概念与实体提取、细粒度分类法生成、情感分析、文档摘要以及实体关系建模。根据Hotho等人（2005年）的观点，该领域可从三个视角来看待：信息提取、数据挖掘和数据库知识发现（KDD）。该过程通常涉及结构化输入文本（解析、添加或删除语言特征，并插入数据库）、在结构化数据中推导模式，以及最终评估和解释输出。
文本分析涉及信息检索、词汇分析（用于研究词频分布）、模式识别、标注与注释、信息提取、数据挖掘技术（包括链接与关联分析）、可视化和预测分析。总体目标是将文本转化为可供分析的数据，而解释是关键的最终阶段。
文本分析与商业应用
文本分析描述了一组语言、统计和机器学习技术，用于对文本来源的信息内容进行建模和结构化，以支持商业智能、探索性数据分析、研究或调查。该术语与文本挖掘大致同义；Ronen Feldman在2004年修改了2000年对“文本挖掘”的描述，以定义“文本分析”。后者现在在商业环境中更为常用，而“文本挖掘”在早期应用领域（如生命科学研究和政府情报）中仍然常见。
在商业中，文本分析被用于独立解决问题，或与对字段化数值数据的查询和分析结合使用。人们常说，80%的商业相关信息源自非结构化形式，主要是文本。这些技术发现并呈现知识，，事实、业务规则和关系，，否则这些知识将锁在文本形式中，无法进行自动化处理。
分析过程与子任务
文本挖掘系统通常涉及多个子任务。降维是一种重要的预处理技术，用于识别词根并减少文本数据的大小。信息检索或语料库识别是准备步骤，用于从网络、文件系统、数据库或内容语料库管理器中收集或识别一组文本材料。
虽然有些系统仅应用高级统计方法，但许多其他系统使用广泛的自然语言处理，如词性标注、句法解析和其他语言分析。命名实体识别使用地名词典或统计技术来识别命名文本特征，如人物、组织、地名、股票代码和缩写。消歧使用上下文线索来决定，例如，“福特”是指美国前总统、汽车制造商、电影明星还是河流渡口。模式识别的实体（如电话号码和电子邮件地址）可通过正则表达式来辨别。
其他子任务包括文档聚类（识别相似文档集）、共指消解（识别指向同一对象的名词短语）、关系、事实和事件的提取，以及情感分析（辨别主观材料并提取态度、观点、情绪和情感）。定量文本分析源于社会科学，使用人类评判者或计算机来提取词语之间的语义或语法关系，用于心理画像等目的。预处理通常涉及分词、过滤和词干提取。
跨领域应用
文本挖掘技术广泛应用于政府、研究和商业需求。法律专业人士将其用于电子发现，而政府和军事团体则将其用于国家安全和情报。科研人员利用文本挖掘来组织大量文本数据，确定通过文本传达的思想（例如社交媒体中的情感分析），并支持生命科学和生物信息学等领域的科学发现。在商业中，应用支持竞争情报和自动广告投放。
安全应用
许多文本挖掘软件包面向安全应用进行营销，特别是用于国家安全目的的在线纯文本来源（如互联网新闻和博客）的监控和分析。文本挖掘也涉及文本加密和解密的研究。
生物医学应用
生物医学文献中已描述了多种文本挖掘应用，包括提取基因与疾病之间的关系、识别药物相互作用以及支持基于文献的发现。这些应用通常将命名实体识别与关系提取相结合，以从非结构化研究论文中构建结构化知识库。
与现代AI的关系
文本挖掘随着机器学习和深度学习的进步而发展。现代方法越来越多地利用大型语言模型和Transformer架构来处理情感分析和实体提取等任务，尽管传统统计方法仍在使用。该领域继续成为生成式AI系统的基础组成部分，这些系统依赖文本挖掘技术进行数据准备和评估。