One-hotエンコーディングは、機械学習においてカテゴリ変数をバイナリベクトルとして表現するための手法である。この表現では、各カテゴリに対して、カテゴリ数に等しい長さの一意なベクトルが割り当てられ、そのカテゴリに対応する位置にのみ1が置かれ、他のすべての要素は0となる。とえば、ある特徴量に赤、緑、青の3つのカテゴリがある場合、それらはそれぞれ[1,0,0]、[0,1,0]、[0,0,1]としてエンコードされるかもしれない。の変換により、Machine learningやDeep learningで使用されるような数値データを操作するアルゴリズムが、カテゴリ間の順序関係を暗示することなくカテゴリ入力を処理できるようになる
この手法は、自然言語処理、コンピュータビジョン、表形式データ分析など、さまざまなアプリケーションのデータ前処理パイプラインで広く使用されている。特に、線形回帰、ロジスティック回帰、サポートベクターマシンなどの従来の機械学習モデルで一般的であり、これらは数値入力特徴量を必要とする。対照的に、決定木やランダムフォレストなどの木ベースのモデルは、カテゴリ変数を直接扱えることが多いが、一貫性や他のモデルタイプとの互換性のためにone-hotエンコーディングが依然として頻繁に適用される
歴史的発展
カテゴリデータをバイナリインジケータ変数で表現するという概念は、統計学と実験計画法にルーツを持ち、20世紀半ばに遡る。統計学者は回帰分析でダミー変数を用いてカテゴリ予測変数をエンコードしており、これは「one-hotエンコーディング」という用語より前の実践である。「one-hot」という特定の名称は、1990年代から2000年代にかけてデジタル回路設計コミュニティで注目を集め、有限状態機械において任意の時点で正確に1ビットだけが高い（1）状態エンコーディング方式を指していた。この用語は後に機械学習コミュニティに採用され、特に2010年代にNeural network研究が拡大するにつれて広まった
Artificial intelligenceの文脈では、one-hotエンコーディングはカテゴリデータをニューラルネットワークに供給するための標準的な前処理ステップとなった。初期の応用には、言語モデルのための単語エンコードが含まれ、語彙内の各単語がone-hotベクトルとして表現された。このアプローチは、2013年にGoogleの研究者によって開発されたword2vecなどの基礎的モデルで使用され、one-hot入力ベクトルから密な埋め込みを学習した。この手法は現代のLarge language modelアーキテクチャでも関連性を保っているが、これらのモデルは効率性の理由から生のone-hotベクトルではなく学習された埋め込みを通常使用する
機械学習における応用
One-hotエンコーディングは多様な領域にわたって適用されている。自然言語処理では、埋め込み層がよりコンパクトな表現を学習する前に、単語や文字を表現するためのベースラインとして機能する。コンピュータビジョンでは、各画像が複数のカテゴリのいずれかに属する画像認識データセットなど、分類タスクのクラスラベルをエンコードするために使用される。たとえば、ImageNetデータセットでは、クラスラベルは畳み込みニューラルネットワークの訓練のためにしばしばone-hotエンコードされる
表形式データ分析では、国、製品タイプ、顧客セグメントなどのカテゴリ特徴量を扱うための標準的な手法である。pandasやscikit-learnなどのデータサイエンスライブラリは、この変換のための組み込み関数を提供しており、実務者が容易に利用できる。この手法はレコメンデーションシステムでも使用され、ユーザーとアイテムのカテゴリIDが協調フィルタリングモデルに渡される前にエンコードされる
利点と限界
One-hotエンコーディングの主な利点は、その単純さと順序を仮定しない点にある。整数値を割り当て（例：0、1、2）偽の順序関係を暗示しうるラベルエンコーディングとは異なり、one-hotエンコーディングはすべてのカテゴリを等距離として扱う。この特性は、k近傍法やカーネル関数を持つサポートベクターマシンなど、距離メトリクスに依存するモデルにとって重要である
しかし、one-hotエンコーディングには顕著な限界がある。特に、カテゴリ変数が多くの一意な値を持つ場合、高次元かつスパースな特徴量空間につながる可能性がある。たとえば、10万語の語彙をエンコードすると10万次元のベクトルが生成され、計算コストが高くメモリ集約的になる。この問題は、次元削減手法や、Transformer (architecture)モデルに見られるような学習された埋め込みを使用することでしばしば対処される。さらに、one-hotエンコーディングはカテゴリ間の類似性や階層などの関係を捉えず、特定のアプリケーションでは欠点となりうる
埋め込みとの関係
現代の深層学習では、one-hotエンコーディングは埋め込み層の前段階としてしばしば使用される。埋め込み層は本質的に、one-hotベクトルを密で低次元のベクトルに写像する線形変換である。このアプローチにより、モデルは訓練中にカテゴリの意味のある表現を学習できる。たとえば、自然言語処理のNeural networkアーキテクチャでは、入力トークンが最初にone-hotベクトルに変換され、その後、バックプロパゲーションによって更新される埋め込み行列を通過する
この関係は、多くの現代のLarge language modelシステムの基盤となるTransformer (architecture)モデルで特に顕著である。これらのモデルは効率性の理由からone-hotベクトルを直接使用しないが、その概念は基礎的であり続ける。Stanford AI LabやMIT CSAILなどの機関の研究者は、one-hotエンコーディングの理論的特性と表現学習におけるその役割を研究し、人工知能システムでカテゴリ情報がどのように処理されるかのより深い理解に貢献している
##実践的考慮事項
One-hotエンコーディングを実装する際、実務者は訓練中に存在しなかったがテストデータに現れる可能性のある未知のカテゴリを処理する必要がある。一般的な戦略には、「未知」カテゴリを追加するか、フォールバックエンコーディングを使用することが含まれる。もう一つの考慮事項は、one-hotエンコーディングと、次元性を表現力と交換するバイナリエンコーディングや順序エンコーディングなどの他の方式との選択である。高カーディナリティのシナリオでは、特徴ハッシングやターゲットエンコーディングなどの手法が好まれる場合がある
より洗練された埋め込み手法の台頭にもかかわらず、one-hotエンコーディングは機械学習ツールキットの基本的なツールであり続ける。その単純さ、解釈可能性、幅広いアルゴリズムとの互換性により、Amazon Web ServicesのクラウドベースのMLパイプラインからGoogle Cloudのデータ処理サービスまで、学術研究と産業応用の両方で継続的な使用が保証されている。