文書-用語行列（DTM）は、自然言語処理や情報検索において、文書集合全体にわたる用語（単語やn-gram）の頻度を表現するために使用されるスパース行列です。標準的な形式では、各行が単一の文書に対応し、各列がコーパス語彙内の一意の用語に対応し、各セルには数値（通常は用語頻度、つまりその用語がその文書に出現する回数）が含まれます。DTMは、トピックモデリング、文書クラスタリング、機械学習における分類モデルなど、多くのテキスト分析アルゴリズムの主要な入力として機能します。
この行列は、文書の長さや用語の重要度を考慮するために、しばしば正規化または重み付けされます。一般的な重み付け方式の1つがTF-IDF（用語頻度-逆文書頻度）であり、多くの文書に出現する用語の重みを下げ、稀な用語の重みを上げます。その他の変換には、バイナリエンコーディング（出現有無）やサブリニアスケーリング（例：log(1 + 頻度)）があります。DTMは、その転置行列である用語-文書行列とは区別されますが、実際には両者が同じ意味で使用されることがよくあります。
構築と前処理
DTMを構築するには、いくつかの前処理ステップが必要です。まず、生テキストが個々の用語にトークン化され、通常は空白と句読点で分割されます。ストップワード（「the」や「and」のような一般的な単語）はしばしば削除され、ステミングやレンマ化によって単語が基本形（例：「running」を「run」に）に還元されます。次に、語彙が全文書にわたる一意の用語の集合として定義され、非常に稀な用語や普遍的な用語を除去するために、最小および最大文書頻度でフィルタリングされることがよくあります。結果として得られる行列は、特に大規模なコーパスではほとんどのセルがゼロであるため、通常はスパース形式で格納されます。
大規模なアプリケーションでは、Pythonのscikit-learnなどのライブラリが効率的な実装（例：CountVectorizerやTfidfVectorizer）を提供しています。これらのツールは、トークン化、語彙構築、スパース配列の格納を処理します。行列はストリーミングデータ用に段階的に構築することもできますが、これはあまり一般的ではありません。
機械学習における応用
機械学習において、DTMはテキストの標準的な特徴表現です。ロジスティック回帰、サポートベクターマシン、ナイーブベイズ分類器などの古典的なアルゴリズムは、この行列を直接操作します。例えば、スパム検出では、各文書がメールであるDTMを使用し、モデルが各用語の重みを学習します。k-meansや階層的クラスタリングなどのクラスタリングアルゴリズムは、用語ベクトルに基づいて文書をグループ化し、ニュース記事のカテゴリ分類などのタスクを可能にします。
潜在的ディリクレ配分法（LDA）などのトピックモデルは、DTMを入力として受け取り、用語上の分布として潜在トピックを推論します。この行列はまた、情報検索システムの基盤でもあり、文書ベクトル間のコサイン類似度が検索結果をランク付けします。深層学習では、ニューラルネットワークが通常は密な埋め込みを使用するため、DTMは直接入力としてはあまり一般的ではありませんが、ベースラインモデルや解釈可能な特徴量として依然として有用です。
現代の言語モデルとの関係
大規模言語モデルやトランスフォーマーアーキテクチャの台頭により、DTMは単語埋め込みや文脈埋め込みなどの密なベクトル表現に大部分が取って代わられました。しかし、DTMは特定のパイプラインで依然として役割を果たしています。例えば、ハイブリッドモデルでの特徴量エンジニアリング、語彙カバレッジの評価、法的文書分析や生物医学的テキストマイニングなどの正確な用語一致を必要とするタスクに使用されます。この行列はまた、古典的アプローチとニューラルアプローチを比較するためのベンチマークとしても機能します。
生成AIシステムでは、DTMが直接使用されることはほとんどありませんが、用語頻度と文書重み付けの概念は、検索拡張生成（RAG）システムにおけるTF-IDFベースの検索などの技術に情報を提供します。これらのシステムは、スパース検索ステップ（多くの場合DTMのようなインデックスを使用）と密なニューラル検索器を組み合わせて、回答品質を向上させます。
制限と代替案
DTMには顕著な制限があります。単語の順序を無視し、各用語を独立として扱い（bag-of-words仮定）、高次元性とスパース性に悩まされます。また、異なる単語間の意味的類似性（例：「car」と「automobile」）を捉えることができません。代替案には、n-gram表現（短いシーケンスを捕捉）、ハッシュベクトライザー（メモリを削減）、Word2vecやBERTなどのモデルからの密な埋め込みが含まれます。これらの欠点にもかかわらず、DTMは多くのテキストタスクにおいて、シンプルで解釈可能、かつ計算効率の良いベースラインとして残っています。
歴史的背景
DTMは、1960年代の情報検索の初期から使用されており、特にコーネル大学でジェラード・サルトンによって開発されたSMARTシステムで顕著でした。1990年代から2000年代にかけて、ウェブとデジタルライブラリの成長に伴い、テキストマイニングの基盤となりました。その数学的特性は情報検索の分野で広く研究され、テキスト分析や自然言語処理のコースにおける標準的な教育ツールとして今も残っています。
関連項目
- bag-of-words
- TF-IDF
- トピックモデリング
- テキストマイニング
参考文献
- Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
- Salton, G., & McGill, M. J. (1983). Introduction to Modern Information Retrieval. McGraw-Hill.