ディープフェイクとは、合成メディアの一種であり、多くの場合ビデオや音声で、深層学習技術を用いて生成または操作され、実際には言ったり行ったりしていないことを、実在の人物が言ったり行ったりしているように説得力を持って描写するものである。この用語は、深層学習とフェイクのかばん語であり、2017年後半にRedditのフォーラムで、deepfakesというユーザーが、初期の生成敵対ネットワークベースの顔交換ツールを用いて、当初は有名人の顔交換ビデオを投稿したことに由来する。
ディープフェイク技術は、2010年代後半から2020年代前半にかけて急速に進歩し、粗く容易に検出できる顔交換から、非常に説得力のあるビデオ、そしてますますリアルタイムの音声クローンや全身合成へと移行し、非同意のポルノ、政治的な偽情報、詐欺に及ぶ懸念を引き起こしている。
技術
初期のディープフェイクは主にオートエンコーダベースの顔交換を用いており、共有エンコーダと別々のデコーダを2人の人物の映像で訓練し、一方の人物の表情をもう一方の顔にマッピングできるようにした。GANベースの手法は、偽物を検出するように訓練された判別器と生成器を対抗させることで、さらにリアリズムを向上させた。2020年代半ばまでに、拡散モデルが高品質の合成ビデオや画像生成の主要な技術となり、専用の顔交換やリップシンクツール、汎用のテキストからビデオシステムとともに、説得力のある偽ビデオの制作は、技術の初期の頃と比べて劇的に安価で高速になった。
悪意のある用途と正当な用途
文書化された悪意のある用途には、非同意の親密な画像（最も初期かつ今でも最も一般的に報告されている使用例）、選挙前後に公表された公的人物による捏造された声明などの政治的な偽情報、そして2024年に広く報じられた、多国籍企業の財務担当者が、ディープフェイクされた幹部が登場するビデオ通話に騙されて数百万ドルを送金した事例を含む金融詐欺が含まれる。ディープフェイク技術には、映画の吹き替えや若返り効果、自分の声を失った人々のために合成音声を生成するアクセシビリティツール、一部の法域で表現の自由として保護される風刺など、認められた正当な用途もある。
検出と対策
ディープフェイクの検出は活発な研究分野となっており、一貫性のないまばたき、不自然な顔の幾何学、微妙な音声と映像の不一致などのアーティファクトを用いるが、検出精度は生成品質、特に最高級のモデルに対しては追いつくのに苦労している。ウォーターマーキングやコンテンツの来歴に関する標準は、生成アーティファクトの発見に依存しない補完的な防御策として提案されている。複数の法域が2020年代半ばにディープフェイクを特に規制する動きを見せており、米国の州レベルの法律が選挙関連や非同意の親密なディープフェイクを対象とし、EU AI法内の条項がAI生成メディアの開示を義務付けているが、そのようなコンテンツが簡単に生成・配布できることを考えると、国境を越えた執行は依然として困難である。
影響
特定の有害な事件を超えて、研究者やジャーナリストは、より広範な嘘つきの配当を説明している。つまり、一般が説得力のある偽ビデオや音声が可能であることを知るにつれて、本物の映像が捏造されたものとして退けられ、本物の証拠への信頼が全体的に損なわれる可能性がある。この力学は、死んだインターネット理論の成長や、生成AI時代におけるオンラインメディアの信頼性に関する関連する言説の要因として引用されている。