深層言語処理は、自然言語処理（NLP）における枠組みの一つであり、理論言語学および記述言語学に基づいている。これは、主に形式統語論および形式意味論の理論、例えば組合せ範疇文法（CCG）、主辞駆動句構造文法（HPSG）、語彙機能文法（LFG）、木接合文法（TAG）、プラハ学派などを通じて言語をモデル化する。浅い手法とは異なり、深層言語処理は、長距離依存関係や背後にある述語-項構造を直接捉える表現力豊かな構造表現を生成し、知識豊富な言語分析を目指す。
この知識集約的なアプローチは、歴史的にかなりの計算能力を必要とし、扱いにくいと判断されることもあった。しかし、2000年代初頭までに研究は深層処理の効率を大幅に向上させ、現代においては、深層言語処理を用いるアプリケーションにとって効率はもはや大きな障害ではない。
浅い言語処理との対比
伝統的に、深層言語処理は、解析と生成の両方のための計算文法の開発に関わっていた。これらの文法は手作業で開発・保守され、計算コストが高かった。近年、機械学習アプローチ（浅い言語処理とも呼ばれる）はNLPを根本的に変えた。堅牢で広範囲をカバーする機械学習ツールの迅速な作成にはかなり少ない手作業しか必要としないため、深層手法はあまり注目されなくなった。
しかし、一部の計算言語学者は、コンピュータが自然言語を理解したり推論を実行したりするには、詳細な統語的・意味的表現が必要であると主張する。浅いシステムは人間のような理解を欠くことがある。まず、次の文を考えてみよう。「もしマイクロソフトがジョージア州にあったなら、状況は異なっていただろう。」浅い情報抽出システムは、マイクロソフトの本社がジョージア州にあると誤って推論するかもしれないが、人間は反実仮想からマイクロソフトがそこにあったことはないと理解する。次に、次の文を考えてみよう。「イスラエルの国立心理学研究所は、1971年5月に、ヨエル教授によってイスラエル心理生物学センターとして設立された。」浅いシステムは、イスラエルが1971年に設立されたと誤って推論するかもしれないが、人間はそれが研究所を指していることを知っている。このような例は、浅い処理がテキストと注釈付きリソースの統計的操作を通じて知識の乏しい分析を提供するのに対し、深い処理は手作業で開発された文法を通じて知識豊富な分析を提供することを示している。
サブコミュニティと形式主義
深層計算言語学者は、採用する文法形式主義に基づいてサブコミュニティに分かれている。主要な協力関係としてDELPH-INイニシアチブがあり、これはHPSGを扱う。HPSG会議がその中心的なフォーラムである。ParGramおよびParSemの協力関係は、LFGに基づく文法と意味の開発に焦点を当てており、LFG会議が中心的なイベントである。XTAG研究グループはTAGを扱い、TAG+会議がその中心的な集まりである。これらのグループは網羅的ではなく、他の形式主義やコミュニティも深層言語処理に貢献している。
現代の発展と統合
深層言語処理は手動の文法作成にルーツを持つが、機械学習および深層学習の技術とますます統合されている。一部の研究は、深い統語的・意味的表現をニューラルネットワークモデルと組み合わせて、解析精度と堅牢性を向上させている。しかし、主流のNLPのほとんどは現在、トランスフォーマーアーキテクチャに基づく大規模言語モデルに依存しており、これは深い文法ベースのアプローチとは明確に対照的である。それにもかかわらず、深層言語処理は、専門分野における機械学習や自然言語推論など、正確な意味解釈を必要とするタスクにとって依然として価値がある。
現代のAIとの関係
より広い人工知能研究の文脈において、深層言語処理は、出現しつつある統計的手法に対する象徴的でルールベースの代替手段を提供する。ノキア・ベル研究所やゼロックスPARCなどの組織は、歴史的に計算言語学に貢献してきた。MIT CSAIL、スタンフォードAIラボ、トロント大学での現代の取り組みは、しばしばハイブリッドを探求している。深層処理で使用される形式文法は、ニューラルネットワークモデルの不透明な表現とは異なり、解釈可能な構造を提供する。この解釈可能性は、説明責任や論理的推論を必要とするタスクにとって重要であると主張されている。
競争にもかかわらず、深層言語処理は研究パラダイムとして存続している。これは、ツリーバンクや文法工学ツールなどのリソースの開発に影響を与え、理論言語学に情報を提供し続けている。2020年代現在、高度なNLPアプリケーションにおいて、深く構造化された言語理解の必要性を完全に置き換えた単一のアプローチは存在しない。