テキスト分類は、テキストカテゴリ化または文書分類とも呼ばれ、テキスト文書を1つ以上の事前定義されたカテゴリまたはクラスに自動的に割り当てるタスクです。これは自然言語処理（NLP）と機械学習における基本的な問題であり、スパムフィルタリングやメールルーティングから感情分析や記事のトリアージに至るまで、さまざまな応用があります。この分野は情報検索、図書館情報学、コンピュータサイエンスの技術を活用し、手動のインデックス付けから洗練されたアルゴリズム的手法へと進化してきました。
この問題はしばしば教師あり学習タスクとして捉えられ、モデルはラベル付きの文書と対応するカテゴリのデータセットで訓練されます。ただし、教師なしおよび半教師ありの変種も存在します。目標は、新しい未見の文書をその内容に基づいて正確に分類できる分類器を作成することです。タスクの複雑さは、カテゴリの数、言語の曖昧さ、テキストのドメインによって異なります。
内容ベースと要求ベースの分類
歴史的に、文書分類は内容ベースと要求ベースという2つの哲学的視点からアプローチされてきました。内容ベースの分類は、文書の内容を支配する主題に基づいて文書をクラスに割り当てます。例えば、図書館の規則では、本の内容の少なくとも20%が割り当てられるクラスに関するものであることが要求される場合があります。自動システムでは、これはしばしば用語の頻度や主要な概念の存在を測定することに変換されます。
要求ベースの分類は、要求指向インデックス付けとも呼ばれ、ユーザーの予想される情報ニーズを考慮します。分類器は「このエンティティはどの記述子の下で見つかるべきか」および「この文書はどの可能なクエリに関連するか」を問います。このアプローチはしばしばポリシー主導であり、特定の図書館やデータベースの目的を反映します。例えば、フェミニスト研究図書館は、一般的な歴史図書館とは異なる方法で文書をインデックス付けし、特定の利用者にサービスを提供するために内容の異なる側面を強調する場合があります。
手動インデックス付けから自動分類へ
分類（文書をクラスに割り当てること）と主題インデックス付け（文書に主題を割り当てること）の区別は議論されてきましたが、情報科学者のF・W・ランカスターが主張したように、この区別は実りあるものではありません。分類システムはシソーラスに変換でき、その逆も可能です。つまり、文書に主題用語を割り当てることは、その用語でインデックス付けされた文書のクラスに割り当てることと同等です。この洞察は、伝統的な図書館情報学と現代の自動アプローチを橋渡しします。
自動文書分類（ADC）は20世紀半ばに分野として登場し、1950年代と1960年代の初期の研究では単純な用語一致ルールが使用されました。1990年代の機械学習の出現、特にサポートベクターマシン（SVM）とナイーブベイズ分類器の使用は、重要な進歩を示しました。これらの方法はラベル付きの例から学習し、カテゴリと相関するテキスト内のパターンを自動的に識別します。
機械学習技術
現代のテキスト分類は、機械学習と深層学習に大きく依存しています。伝統的な技術には以下が含まれます：
- ナイーブベイズ分類器：ベイズの定理に基づく確率論的アプローチで、その単純さと有効性からしばしばベースラインとして使用されます。
- サポートベクターマシン（SVM）：クラスを分離する最適な超平面を見つける強力な線形分類器で、非線形境界のためにカーネル法と組み合わせられることがよくあります。
- K近傍法（KNN）：k個の最も類似した訓練例の多数決クラスに基づいて文書を分類するノンパラメトリックな方法です。
- 決定木とランダムフォレスト：特徴空間を分割するルールベースのモデルです。
- tf-idf重み付け：文書をコーパス全体での用語の一般的さに逆重み付けされた用語頻度のベクトルとして表現する技術です。
深層学習の台頭により、ニューラルネットワークアーキテクチャが支配的になりました。初期のニューラルモデルは、単語埋め込みと畳み込みまたは再帰ネットワークを使用しました。2017年のTransformer (architecture)アーキテクチャの導入は、その自己注意機構により、この分野に革命をもたらしました。BERTやその後継モデルなどの事前訓練モデルは、トランスフォーマーに基づいており、単語の文脈表現を学習することで最先端の結果を達成します。これらのモデルは、比較的少量のラベル付きデータで特定の分類タスクに微調整されることがよくあります。
さまざまなドメインでの応用
テキスト分類には幅広い実用的な応用があります：
- スパムフィルタリング：迷惑または悪意のあるメールを正当なメッセージから識別するタスクで、1990年代後半から広く展開されています。
- メールルーティング：トピックに基づいて受信メールを適切な部門やメールボックスに自動的に転送します。
- 言語識別：テキストの言語を決定することは、多くのNLPシステムにとって重要な前処理ステップです。
- ジャンル分類：文書を文学またはジャーナリズムのジャンルで分類し、デジタルライブラリやコンテンツ管理に役立ちます。
- 可読性評価：テキストの読解難易度を推定し、資料を適切な年齢層やスキルレベルに合わせます。
- 感情分析：文書で表現された態度や感情的なトーンを決定し、ソーシャルメディアの監視や顧客フィードバック分析で広く使用されます。
- 健康関連の分類：公衆衛生監視のためにソーシャルメディアの投稿を分析し、疾病の発生や副作用の追跡などを行います。
- 記事のトリアージ：生物学などの分野で手動キュレーションのための関連記事を選択し、自動システムが科学文献の膨大な量を管理するのに役立ちます。
課題と将来の方向性
その成功にもかかわらず、テキスト分類はいくつかの課題に直面しています。曖昧な言語、皮肉、文脈依存の意味の処理は依然として困難です。ドメイン適応、つまりあるタイプのテキスト（例えばニュース記事）で訓練されたモデルを別のタイプ（例えば法律文書）に適用することは、しばしば追加の微調整を必要とします。一部のカテゴリに例がはるかに少ないクラス不均衡も、パフォーマンスを低下させる可能性があります。
OpenAI、Anthropic、Google DeepMindによって開発されたものなどのLarge language modelの最近の進歩は、新しい可能性を開きました。膨大な量のテキストで訓練されたこれらのモデルは、最小限のタスク固有の訓練で分類を実行でき、場合によってはゼロショットまたは少数ショットの方法でも可能です。また、複雑な指示を処理し、分類の説明を生成して、解釈可能性を高めることもできます。
2020年代初頭の時点で、研究はより効率的なアーキテクチャ、長い文書のより良い処理、および分類システムの公平性を改善しバイアスを減らす方法を探求し続けています。テキスト分類とGenerative AIやDeep learningなどの他のAI技術との統合は、今後数年間でさらなる革新をもたらす可能性があります。