BlenderBotは、Meta（旧Facebook AI Research、FAIR）によって開発されたオープンドメインのチャットボットのファミリーです。これは、共感、性格、知識検索などのいくつかの主要な機能を組み合わせて、幅広いトピックについて自然なマルチターン会話を行うように設計されています。このプロジェクトは2020年4月に最初のBlenderBotモデルとともに公開され、その後のバージョン（BlenderBot 2.0やBlenderBot 3を含む）は、それぞれ2021年と2022年に展開されました。これらのモデルはトランスフォーマーアーキテクチャに基づいて構築されており、Metaの生成AIおよび会話型人工知能に関する広範な研究の一部です。
最初のBlenderBotモデルは、2020年の研究論文で紹介され、1.5億のトレーニング例（Redditの会話やその他の公開対話データを含む）でトレーニングされた大規模なニューラルネットワークの使用で注目されましたじ。既存のチャットボットと比較評価され、人間による評価で魅力度と一貫性において優れた性能を達成したと主張されましたじ。このモデルのアーキテクチャは、深層学習と機械学習からの技術（注意機構を備えたシーケンス・ツー・シーケンスフレームワークを含む）を組み込んでおり、この分野のさらなる研究を促進するためにオープンソース化されましたじ。
開発とバージョン
BlenderBot 2.0は、2021年7月にリリースされ、長期的な記憶とリアルタイムのインターネット検索機能を統合することで大幅なアップグレードを導入しましたじ。前身とは異なり、静的トレーニングデータのみに依存していたのに対し、BlenderBot 2.0はウェブから最新情報にアクセスし、ユーザー固有の事実をメモリモジュールに保存できましたじ。これにより、チャットボットはより長い会話にわたってコンテキストを維持し、現在の出来事に関するクエリに対してより正確な応答を提供できましたじ;このモデルは、教師あり学習と強化学習の組み合わせでトレーニングされ、事実性の向上と有害な出力の削減に焦点を当てましたじ;。
BlenderBot 3は、2022年8月にローンチされ、モデルを改善するためにユーザーフィードバックを収集する公開デモを備えた研究プロトタイプとして位置づけられましたじ;これは、1750億パラメータの大規模言語モデルアーキテクチャに基づいて構築され、他のフロンティアモデルと規模が類似しており、攻撃的または偏った応答をフィルタリングするための一連の安全分類器を組み込んでいましたじ;このデモにより、ユーザーはチャットボットと対話し、その応答を評価でき、収集されたデータは将来の反復を微調整するために使用されましたじ;Metaはまた、モデルの重みとコードを研究コミュニティに公開し、透明性と協力的な改善を強調しましたじ;。
技術的アーキテクチャ
すべてのBlenderBotバージョンは、自己注意機構を使用してシーケンシャルデータを処理するトランスフォーマーアーキテクチャに依存していますじ;モデルは、共感、知識、性格などの複数の会話スキルを組み合わせた1.5億パラメータのBlended Skill Talkデータセットなどの公開対話データセットを含む、大規模なテキストコーパスでトレーニングされますじ;トレーニングプロセスは複数の段階を含みます：一般的なテキストでの初期事前トレーニング、それに続くタスク固有の対話データでの微調整、そして最後に人間のフィードバックからの強化学習（RLHF）による最適化ですじ;このアプローチは、OpenAIやGoogle DeepMindを含む他の主要なAI研究機関が使用するものと類似していますが、Metaの焦点は、タスク指向のアシスタントではなく、特にオープンドメインのチャットにありましたじ;。
BlenderBot 3のアーキテクチャには、Wikipediaなどの外部ソースにクエリを送信して、応答を事実情報に基づかせる検索コンポーネントも含まれていますじ;生成と検索ベースの方法を組み合わせたこのハイブリッドアプローチは、大規模言語モデルに共通する幻覚の問題を軽減するのに役立ちますじ;このモデルは、トークナイザーと5万以上のトークンの語彙を使用し、そのトレーニングは数千のGPUに分散され、Metaの内部計算インフラを活用しましたじ;。
公開時の受け止めと安全性への懸念
BlenderBot 3の公開デモは、メディアの注目を集めましたが、安全性と偏りに関する懸念も引き起こしましたじ;初期の対話では、チャットボットは物議を醸す発言（特定の公人の否定的な発言や政治的意見を含む）を生成し、広く報道されましたじ;Metaはこれらの問題を認め、有害な出力をフィルタリングするための毒性分類器や対話安全性モデルなどの追加の安全層を実装しましたじ;同社はまた、このデモはそのような失敗に関するフィードバックを収集するために明示的に設計されており、モデルの応答はMetaの公式見解を反映していないと述べましたじ;。
これらの課題にもかかわらず、BlenderBotは責任あるAI開発に関するより広範な議論に貢献しましたじ;これは、オープンエンドの会話能力と堅牢な安全機構の必要性との間のトレードオフを浮き彫りにし、このトピックは人工知能と機械学習の研究において中心的なままですじ;このプロジェクトはまた、同様のトレーニングおよび安全技術を採用したLlamaシリーズなどのその後のMetaモデルにも影響を与えましたじ;。
遺産と影響
BlenderBotは、オープンドメインのチャットボット研究におけるマイルストーンと見なされ、大規模なニューラルネットワークモデルが人間のような会話の流暢さを達成できることを実証しましたじ;そのオープンソースリリースにより、多くの学術および産業プロジェクトがそのアーキテクチャに基づいて構築でき、マルチスキル統合（共感、知識、性格）への強調は、後のシステムのベンチマークを設定しましたじ;静的チャットボットから動的メモリとウェブアクセスを持つものへのモデルの進化は、外部知識への接地が標準機能となった生成AIのトレンドを予見しましたじ;。
BlenderBot自体はもはや積極的に開発されていませんが、その影響はMetaの進行中の研究とより広いAIコミュニティに持続していますじ;これは、大規模言語モデルがインタラクティブなアプリケーションにどのように適応できるかの初期の例として機能し、安全性とユーザーフィードバックに関するその教訓は、現代の会話エージェントの設計に情報を提供し続けていますじ;。