动态主题模型是一类概率机器学习模型，旨在分析文档集合中的主题如何随时间变化。与假设整个语料库中主题集合固定的静态主题模型不同，动态主题模型允许底层主题分布随时间演化，从而捕捉语言、主题和侧重点的变化。这些模型广泛用于计算社会科学、数字人文和趋势分析等领域，在这些领域中，理解时间动态至关重要。
动态主题模型由David M. Blei和John D. Lafferty在2006年发表于国际机器学习会议论文集的一篇论文中提出。该模型通过引入一个状态空间模型来扩展潜在狄利克雷分配（LDA）框架，该状态空间模型控制主题比例在离散时间步长上的演化。这使得模型不仅能推断语料库中存在的主题，还能推断这些主题如何从一个时间段变化到下一个时间段。
模型架构
动态主题模型通过将语料库划分为时间切片（如年份或月份）来运作。对于每个时间切片，模型假设一组主题，每个主题由词上的分布表示。关键创新在于，时间\(t\)的主题分布是通过逻辑正态分布从时间\(t-1\)的主题分布生成的，这为建模时间依赖性提供了一种平滑且灵活的方式。这种方法与LDA形成对比，在LDA中，主题在文档之间独立，且时间未被显式建模。
生成过程始于时间零的初始主题分布，通常从高斯分布中抽取。在随后的每个时间步，主题比例使用线性高斯状态空间模型进行更新，其中当前分布的均值是先前主题比例的函数。这使得模型能够捕捉主题内容的逐渐漂移以及突然转变。每个主题的词分布也被允许演化，尽管通常使用单独的平滑参数以防止过拟合。
动态主题模型中的推断通常使用变分方法执行，具体来说是一种结构化变分近似，将时间序列组件与主题-词组件解耦。这使得模型即使对于大型语料库也能在计算上可行，尽管最近的实现已探索了随机梯度技术和深度学习扩展以进一步扩展规模。
应用
动态主题模型已应用于各种时间文本数据。在政治学中，研究人员使用它们来追踪立法辩论的演化，识别问题在立法会议期间如何兴衰。在新闻学中，它们被用于分析气候变化新闻报道，展示框架和术语在数十年间如何转变。在生物医学领域，动态主题模型帮助追踪科学文献中研究主题的发展，从而能够对新兴领域进行文献计量分析。
一个值得注意的应用是历史报纸分析，其中动态主题模型揭示了长期的文化和社会变化。例如，一项对19世纪美国报纸的研究使用该模型展示了关于奴隶制和废奴的讨论如何响应关键事件而演化。同样，在社交媒体分析中，动态主题模型被用于追踪错误信息的传播或围绕健康危机（如COVID-19大流行）的公共话语演化。
该模型也被改编用于大型语言模型和基于Transformer的嵌入，其中主题分布来自密集向量表示而非原始词频。这种混合方法提高了语义连贯性，并允许模型更有效地处理词汇表外的词。
扩展与变体
已提出了原始动态主题模型的几种扩展。连续时间动态主题模型用连续时间高斯过程替代离散时间切片，允许不规则间隔的观测和更平滑的时间动态。另一种变体，动态混合成员模型，纳入文档级协变量来解释主题演化。还有分层版本，建模随时间变化的主题层次结构，适用于具有嵌套主题的大型语料库。
在人工智能研究背景下，动态主题模型已与神经网络集成，创建了端到端学习主题表示的神经主题模型。这些模型通常使用变分自编码器，并可使用Adam或其他SGD变体进行训练。最近的一些工作探索了使用位置编码直接将时间信息纳入模型，灵感来自Transformer架构。
局限性与挑战
动态主题模型面临若干挑战。首先，它们需要预定义主题数量，这难以事先确定。其次，线性高斯状态空间模型的假设可能对具有突变或非线性动态的数据过于严格。第三，推断可能计算密集，尤其是对于具有许多时间切片的大型语料库，尽管模型剪枝和数据增强技术已被用于缓解这一问题。
另一个局限性是模型假设主题随时间平滑演化，这可能不适用于导致语言突然转变的事件，如重大灾难或政治丑闻。研究人员通过允许模型内的变点检测来解决这一问题，但这增加了复杂性。最后，主题的可解释性可能有所不同，模型可能产生语义上无意义的主题，需要人工评估。
尽管存在这些挑战，动态主题模型仍然是时间文本分析中的基础工具。它们提供了一种原则性的方式来量化语言和思想的变化，提供了静态模型无法提供的见解。随着计算方法的不断进步，动态主题模型可能会进一步完善并与现代深度学习方法集成，扩大其在各学科中的适用性。