AlterEgoは、MITメディアラボで開発されたウェアラブル型の非侵襲的ニューラルインターフェースシステムであり、ユーザーが話すことなく、タイピングすることなく、また外部から見える動きを一切行わずに、コンピューターや他の人と通信することを可能にする。このデバイスは、顎と顔の下半分に巻き付けられる湾曲したバンドに似ており、音を発せずに言葉を内部的に構音する「サブボーカライズ（無声化発話）」を、皮膚表面で発生する微妙な神経筋信号を検出することで解釈する。これらの信号は機械学習システムによって処理され、テキストに変換される。そのテキストは、デバイスに統合された骨伝導ヘッドフォンを通じてユーザーに読み上げられ、静かな閉ループ通信チャネルを形成する。
このプロジェクトは、MITメディアラボの大学院研究者であるArnav Kapurが主導し、2018年の論文「AlterEgo: A Personalized Wearable Silent Speech Interface」で初めて公開デモが行われた。このシステムは、既存の通信技術（通常は手動入力や発声を必要とする）の限界に対処するため、より自然でプライベートな人間とコンピューターのインタラクション方法を提供することを目的として設計された。AlterEgoの潜在的な応用範囲は、音声障害を持つ個人の支援から、軍事作戦や静かな作業スペースなど、沈黙が要求される環境での慎重な通信の実現まで多岐にわたる。
開発と研究
AlterEgoプロジェクトは、人間の認知と知覚にシームレスに統合する技術の設計に焦点を当てたMITメディアラボのFluid Interfacesグループの一部として始まった。2017年に実施され2018年に発表された初期研究では、10人の参加者が事前定義されたコマンドとフレーズをサブボーカライズするよう求められた一連の実験が行われた。このシステムは、20コマンドの限られた語彙に対して平均単語誤り率約4.5%、100語のより大きなセットに対して約6.5%を達成した。これらの結果は、表面筋電図（sEMG）を使用して発話構音に関与する筋肉が生成する微妙な電気信号を捕捉する実現可能性を示した。
ハードウェアは、顎とあごの周囲の皮膚に配置された4つの電極で構成され、ユーザーが内部的に言葉を発する際に生成される筋電信号を拾う。アナログ信号は増幅およびフィルタリングされ、デジタル化されてスマートフォンやラップトップなどのペアリングされたコンピューティングデバイスにワイヤレスで送信され、そこでニューラルネットワークが処理する。個々のユーザーのデータでトレーニングされたニューラルネットワークは、特定の信号パターンを対応する単語やフレーズにマッピングすることを学習し、パーソナライズされたキャリブレーションと時間の経過に伴う精度向上を可能にする。
技術的アーキテクチャ
AlterEgoシステムは、サブボーカライズされた音声をデコードするために、信号処理と機械学習技術の組み合わせを採用している。生の筋電図（EMG）信号はまずノイズやアーティファクトを除去するために前処理され、次に個々の単語や音素に対応するウィンドウにセグメント化される。畳み込みニューラルネットワーク（CNN）を使用して時系列データから特徴を抽出し、続いてリカレントニューラルネットワーク（RNN）またはトランスフォーマーベースのモデルを使用して信号間の時間的依存関係を捕捉する。出力は語彙にわたる確率のシーケンスであり、ビームサーチアルゴリズムを使用してデコードされ、最終的なテキストが生成される。
AlterEgoの重要な革新の1つは、フィードバックに骨伝導ヘッドフォンを使用することである。従来の空気伝導ヘッドフォンが耳道を通じて音を伝えるのに対し、骨伝導トランスデューサーは頭蓋骨と内耳を直接振動させ、耳道を開放したままにする。これにより、ユーザーはシステムの応答を聞きながらも周囲の音を知覚でき、動的な環境での使用に適している。フィードバックループはほぼリアルタイムで設計されており、遅延は数百ミリ秒未満で、流暢な会話的インタラクションを可能にする。
応用と使用例
AlterEgoの主な動機は、さまざまな文脈で使用できる静かな通信インターフェースを作成することである。筋萎縮性側索硬化症（ALS）、脳性麻痺、脳卒中による失語症など、発話を損なう状態を持つ個人にとって、このデバイスは、しばしば遅く疲れるアイトラッキングやスイッチベースの入力に依存する既存の拡張代替コミュニケーション（AAC）ツールに代わる潜在的な選択肢を提供する。AlterEgoの非侵襲的な性質と、埋め込み型ブレイン・コンピューター・インターフェースと比較した比較的低コストは、支援技術として魅力的な選択肢となっている。
専門的な設定では、AlterEgoは、取引フロア、図書館、秘密作戦中など、口頭での通信が非現実的または禁止されている環境で、チームメンバー間の慎重な通信を可能にする可能性がある。このシステムはまた、例えば静かにメモやクエリをスマートフォンに口述することで、他者を妨げずにAIアシスタントと対話するためにも使用できる。さらに、この技術は仮想現実やゲームにも応用の可能性があり、より没入感のある自然な入力方法を提供する。
制限と課題
有望な結果にもかかわらず、AlterEgoには開発者が認めたいくつかの制限がある。このシステムは、各新規ユーザーに対してトレーニングフェーズを必要とし、その間、ユーザーはニューラルネットワークが個々の筋肉信号パターンを学習できるように、一連のキャリブレーションフレーズをサブボーカライズする必要がある。このプロセスは最大15分かかることがあり、電極の配置が変更されたり、ユーザーの生理的状態が変化したり（例：疲労やストレスによる）した場合に繰り返す必要があるかもしれない。語彙も、システムがトレーニングされた単語のセットに限定される。拡張は可能だが、語彙が増えると精度は低下する。
もう1つの課題は、実世界の条件でのEMG信号の堅牢性である。皮膚の湿気、電極の動き、外部の電気的干渉などの要因が信号品質を劣化させ、エラーを引き起こす可能性がある。現在のプロトタイプはまた比較的大きく目立つため、日常使用での社会的受容性を制限する可能性がある。研究者は、ハードウェアの小型化と信号処理アルゴリズムの改善を模索しており、これらの問題に対処しようとしている。
広範な文脈と関連研究
AlterEgoは、静かな音声インターフェースと非侵襲的ブレイン・コンピューター・インターフェースの研究分野の一部である。他のアプローチには、脳波計（EEG）を使用して発話意図に関連する脳活動を検出する方法や、超音波やレーダーを使用して声道の動きを監視する方法が含まれる。しかし、AlterEgoのようなEMGベースのシステムは、EEGよりもノイズの影響を受けにくく、ウェアラブルフォームファクターに統合しやすいため、有望と見なされている。
このプロジェクトはまた、静かな通信技術の倫理的およびプライバシーへの影響にも注目を集めている。このデバイスは潜在的にユーザーの内部思考（サブボーカライズされた発話の形で）を捕捉できるため、同意とデータセキュリティに関する懸念がある。Kapurと彼の同僚は、システムがユーザーが意図的にサブボーカライズした場合にのみ作動し、データはユーザーのデバイス上でローカルに処理されることを強調しているが、これらの保護策は技術が成熟するにつれて正式化される必要があるかもしれない。
受容と影響
AlterEgoは2018年の公開デモ後、メディアで大きな注目を集め、「心を読む」可能性や「言葉を発せずに自分自身と話す」ことを可能にする技術として取り上げられた。このプロジェクトは、2019年のFast Company Innovation by Design Award（実験部門）を含むいくつかの賞を受賞した。Kapurは技術の開発を続け、2020年にはAlterEgo Technologiesというスタートアップを共同設立し、支援およびエンタープライズ用途向けにデバイスを商業化した。
この研究はまた、静かな音声インターフェース分野でのさらなる研究を刺激し、他のグループが異なるセンサーモダリティやより高度なディープラーニングアーキテクチャを使用した同様のアプローチを探求している。AlterEgoはまだ消費者向け製品ではないが、キーボード、タッチスクリーン、音声コマンドを超えた、より自然でシームレスな人間とコンピューターのインタラクションへの重要な一歩を表している。
将来の方向性
AlterEgoの将来のイテレーションは、精度の向上、語彙の拡大、ハードウェアのサイズとコストの削減に焦点を当てると期待されている。研究者は、部分的な信号パターンから単語をより良く予測するために大規模言語モデルの使用を調査しており、これにより広範なユーザーごとのトレーニングの必要性が減る可能性がある。また、EMG信号に追加のコンテキストを提供するために、加速度計や光学センサーなどの他のウェアラブルセンサーとデバイスを統合することへの関心もある。
もう1つの探求分野は、AlterEgoを双方向通信に使用することであり、システムがユーザーのサブボーカライズされた発話をデコードするだけでなく、骨伝導ヘッドフォンを通じて静かな応答を生成する。これにより、各ユーザーが自分のデバイスを装着し、可聴音なしで2人以上のユーザー間で完全に静かな会話が可能になる。開発者はまた、ロボット義肢やスマートホームシステムなどの外部デバイスを、サブボーカライズされたコマンドで制御する可能性についても議論している。
2024年現在、AlterEgoは研究プロトタイプのままであり、商業リリース日は発表されていない。しかし、基礎となる原理と実証された能力は、人間とコンピューターのインタラクション分野への注目すべき貢献として確立されており、その開発は研究者や業界関係者によって引き続き注視されている。
関連項目
参考文献
- Kapur, A., Kapur, S., & Maes, P. (2018). AlterEgo: A Personalized Wearable Silent Speech Interface. In 23rd International Conference on Intelligent User Interfaces (IUI '18).
- MIT Media Lab. (2018). AlterEgo: Silent Speech Interface. Project page.
- Fast Company. (2019). Innovation by Design Awards.
外部リンク
- AlterEgo project page at MIT Media Lab (注：外部リンクは指示に従い最終出力には含まれないが、これは元の記事の文脈のためのプレースホルダーである。)