機械学習は人工知能の一分野であり、コンピュータシステムが手作業で明示的にプログラムされたルールに従うのではなく、データから統計的パターンを学習することでタスクの性能を向上させるものである。これは、スパムフィルタから人工知能の大規模言語モデルまで、現代のほとんどの応用の基盤となっている。
この用語は一般にアーサー・サミュエルに帰せられ、彼は1959年に自己対戦を通じて向上するチェッカープレイプログラムを説明する際にこれを用いた。
パラダイム
機械学習は一般に三つのパラダイムに分類される。教師あり学習では、モデルは正しいラベルと対になった例、例えばオブジェクトカテゴリでタグ付けされた画像などから学習する。教師なし学習では、モデルはラベル付けされていないデータ内の構造を見つけ出し、例えば類似した項目をまとめてクラスタリングする。強化学習では、エージェントは環境内で行動を取り、報酬やペナルティを受け取ることで学習し、このパラダイムはAlphaGoのような画期的な成果を生んだ。第四のアプローチである自己教師あり学習は、ラベル付けされていないデータから独自の学習信号を生成し、例えば文脈から隠れた単語を予測するものであり、現代の言語モデルの事前学習の背後にある手法である。
主要な手法
ほとんどの機械学習モデルは、モデルの予測がどれだけ間違っているかを測定する損失関数を定義し、その後勾配降下法または関連する最適化手順を通じてモデルのパラメータを調整してその損失を減らすことで訓練される。深層学習時代より前の統計的アプローチ、例えばウラジーミル・ヴァプニクとその同僚によって開発されたサポートベクターマシンは、より小規模または解釈可能な問題に対して今も使用されている。2010年代以降、ニューラルネットワークモデル、特に深層学習アーキテクチャは、十分な訓練データと計算資源があれば、画像、音声、テキストを含むタスクの主要な手法となっている。
実践上の懸念
機械学習における中心的な課題は過学習であり、モデルが新しい例に一般化するパターンを学習するのではなく、訓練データに固有のパターンを記憶してしまうことである。実務者は正則化、交差検証、テストデータの保持などの手法を通じてこれに対処する。訓練データの質と規模、およびモデルアーキテクチャの選択は、単一のアルゴリズム上の工夫よりも、実世界の性能のより大きな決定要因となることが一般的である。
採用
機械学習は2010年代を通じて学術分野から主流の工学的実践へと移行し、その一部は公開フレームワーク、クラウドコンピューティング、そしてアンドリュー・ンのような教育者によって推進された。彼のオンラインコースはこの分野を広い聴衆に紹介した。現在では、検索ランキング、不正検出、医用画像解析、レコメンデーションシステム、そして現代の会話型アシスタントを支える大規模言語モデルの訓練の基盤となっている。
機械学習と以前のルールベースのソフトウェアとの区別は、実際には常に明確であるとは限らない。多くの本番システムは学習されたコンポーネントと手書きのビジネスロジックを組み合わせているからである。しかし、機械学習システムの定義的な特徴は、その振る舞いがプログラマが直接書いたルールではなく、訓練されたデータによって実質的に形成されることにある。
最近の展開
2012年、アレックス・クリジェフスキー、イリヤ・サツケバー、ジェフリー・ヒントンによって開発されたAlexNetは、ImageNet画像認識コンペティションで大幅に改善された結果を達成し、深層ニューラルネットワークのより広範な採用に貢献した。2013年、トマーシュ・ミコロフとその同僚はWord2vecを導入し、大規模なテキストコーパスから単語の分散ベクトル表現を効率的に学習する手法を提供した。2014年、イアン・グッドフェローとその同僚は敵対的生成ネットワーク（GAN）を導入し、敵対的プロセスを通じて生成モデルを訓練する枠組みを提供した。2016年、AlphaGoは、深層ニューラルネットワークと強化学習を用いて、フルサイズの碁盤でハンデなしにプロの人間の囲碁プレイヤーを破った最初のコンピュータプログラムとなった。2017年、アシシュ・ヴァスワニとその同僚はTransformerを導入した。これは、再帰や畳み込みではなく主にアテンションに基づくニューラルネットワークアーキテクチャである。