BERT（Bidirectional Encoder Representations from Transformers）は、2018年10月にGoogleによって公開された言語表現モデルである。これは、Transformer (architecture)アーキテクチャを言語理解に応用した最初の広く影響力のある事例の一つであり、その公開は、transformerベースのPretrainingをNatural language processingにおける支配的なパラダイムに変えた転換点としてしばしば引用される。
アーキテクチャとトレーニング
BERTは、transformerアーキテクチャのエンコーダー部分のみを使用しており、後にGPTシリーズで採用されたデコーダーベースの自己回帰設計とは対照的である。これは、2つの自己教師あり目的でトレーニングされる：マスク付き言語モデリング（文中のランダムな単語が隠され、モデルが両方向からの文脈を使用してそれらを予測する必要がある）と、次文予測（モデルが一方の文が他方の文の後に続くかどうかを学習する）である。この双方向トレーニングにより、BERTは前後の文脈の両方から同時に情報を得た表現を構築でき、word2vecやELMoなどの以前の一方向または浅い双方向アプローチよりも優れていた。
BERTは複数のサイズで公開され、特にBERT-base（1億1000万パラメータ）とBERT-large（3億4000万パラメータ）が注目された。これらは後の基準では控えめだが、当時としては大規模であり、Googleは事前学習済みの重みを公開し、研究者が質問応答、感情分析、固有表現認識などの特定の下流タスクに対して、比較的少量のタスク固有データでモデルをファインチューニングできるようにした。
影響
公開時、BERTはGLUEスイートやSQuAD質問応答データセットを含む広範なNLPベンチマークで、従来の手法を大幅に上回る最先端の結果を達成した。その「事前学習してからファインチューニング」というパラダイムは、この分野で急速に採用され、その後のエンコーダーおよびエンコーダー・デコーダーモデルの設計に直接影響を与えた。Googleは2019年からBERTをコア検索ランキングシステムに組み込み、特に長く会話的なクエリの意図を理解する上で、検索関連性における数年間で最も重要な改善の一つであると述べた。
生成的モデルとの比較における遺産
BERTは、GPT-2、GPT-3およびその後継によって定義される大規模言語モデル時代に先行し、そのエンコーダーのみの非生成的設計により、自己回帰モデルのように自由形式のテキストを生成することはできない。それにもかかわらず、BERTとその多くの派生モデル（RoBERTa、ALBERT、DistilBERTを含む）は、生成が不要で効率が重要となる分類、検索、埋め込みタスクにおいて、2020年代に入っても広く使用され続け、BERTスタイルのエンコーダーは、大規模な検索およびセマンティック検索システム内のコンポーネントとして機能し、一部の検索拡張生成パイプラインの構成要素としても使用された。Christopher Manningなどの学術NLP研究者は、BERTの公開が、ラベル付きデータセットに主に依存する手法よりも、ラベルなしテキストでの大規模な自己教師あり事前学習が優れていることを実証した重要な瞬間であると指摘しており、この教訓はその後の生成的言語モデルの背後にあるスケーリング哲学に直接受け継がれた。