Baidu ERNIE（Enhanced Representation through kNowledge IntEgration）は、中国のテクノロジー企業である百度が開発した大規模言語モデルのファミリーである。ERNIEモデルは、トレーニングプロセスに知識グラフやその他の外部知識ソースを統合することで、自然言語理解と生成を強化するように設計されている。このシリーズはいくつかのバージョンを経て進化しており、それぞれが規模、能力、適用範囲の点で前バージョンを上回っている。
歴史と開発
ERNIEプロジェクトは2018年に百度で始まり、最初のERNIEモデルは2019年にリリースされた。初期バージョンのERNIE 1.0は、Transformer (architecture)アーキテクチャを基盤とし、フレーズレベルおよびエンティティレベルでのマスキングを組み込んだ新しいマスク言語モデリング手法を導入し、モデルが意味的関係をよりよく捉えられるようにした。2020年に百度はERNIE 2.0をリリースし、モデルが単語レベルと構造レベルの予測タスクを含む多種多様なタスクを同時に学習できるマルチタスク学習フレームワークを導入した。
2021年にリリースされたERNIE 3.0は、ニューラルネットワークと知識強化トレーニング手法を組み合わせることで、大きな進展を示した。同モデルは、自然言語理解と生成タスクの両方を処理できる統合一括事前トレーニングフレームワークを導入し、コンテンツを含む大量の中国語および英語テキストコーパスでトレーニングされた。また、GLUEやSuperGLUEなどのベンチマークでは、強い性能を示した。
2023年、百度はERNIE 4.0を発表し、モデルの規模をさらに拡大し、推論、生成、マルチモーダル能力の向上を導入した。ERNIE 4.0は百度のクラウドサービスに統合されており、APIを通じて利用可能であり、開発者や企業がアクセスできるようになっている。
アーキテクチャとトレーニング
ERNIEモデルは、OpenAIのGPTシリーズやGoogle DeepMindのモデルなどの他の大型言語モデルと同様に、Transformer (architecture)ベースのアーキテクチャを採用している。しかしERNIEは、知識グラフの埋め込みとエンティティ認識型トレーニング目的を組み込むことで差別化を図っている。これらのモデルは、検索、書籍、百科事典のソースを含む大規模なテキストコーパスで事前トレーニングされており、特に中国語データに重点を置いている。
トレーニングプロセスは、マスク言語モデリング、次の文予測、知識強化タスクを含む複数の段階を伴う。たとえば、ERNIE 3.0は、新しい「知識強化アテンション」メカニズムを導入し、推論中の際に知識グラフ内の関連エンティティにモデルが焦点を合わせられるようにした。
応用とエコシステム
ERNIEモデルは、検索エンジン、対話システム、テキスト分類、感情分析、質問応答を含む幅広い用途で使用されている。百度はERNIE検索エンジンに統合し、クエリ理解と結果の関連品質を改善している。これらのモデルはまた、ネックの云计算平台を通じて利用可能であり、開発者がカスタムアプリケーションを構築できるようになっている。
中核のERNIEモデルに加えて、百度はモバイルおよびエッジデバイス向けのERNIE-Tiny、多言語タスク用のERNIE-Mなどの特殊な変種をリリースしている。ERNIEエコシステムには、百度の公開ソースのディープラーニングフレームワークであるPaddlePaddleなど、ファインチューニングおよびデプロイ用のツールも含まれている。
性能と影響
ERNIEモデルは、CLUE（中国語言語理解評価）やCMRC（中国語機械読解）などの複数の日本語ベンチマークで最先端の結果を達成している。これらのモデルはまた、国際的なベンチマークで競争力のある性能を示し、その多言語間での有効性を実証している。
ERNIEの発表は、中国国内での生成AIの進展に貢献し、百度をこの分野のリーディングプレーヤーへと位置づけた。これらのモデルは、特に言語理解が重要な金融、医療、電子商取引などの分野で業界で広く使用されている。
受け入れと議論
ERNIEは、知識統合へのイノベーティブなアプローチに対して、学術界および産業界から高く評価されている。ただし、他の大型言語モデルと同様に、バイアス、プライバシー、悪用の可能性に関するか懸念も提起されている。百度はコンテンツフィルタリングや倫理ガイドラインなどの安全対策を講じ、これらのリスクを軽減している。
2023年、百度がERNIEを自社の検索エンジンに統合する計画を発表したとき、ERNIEは国際的な注目を集め、情報検索におけるAIの役割や他のテックジャイアントとの競争情勢についての議論につながった。
関連項目
参考文献
- Sun, Y., et al. (2019). ERNIE: Enhanced Representation through Knowledge Integration. arXiv preprint.
- Sun, Y., et al. (2020). ERNIE 2.0: A Continual Pre-training Framework for Language Understanding. arXiv preprint.
- Wang, S., et al. (2021). ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation. arXiv preprint.
- Baidu Research. (2023). ERNIE 4.0: Advancing Large Language Models. Baidu AI Blog.