自動機械学習（Automated machine learning）は、一般にAutoMLと略される、実世界の問題へのMachine learningの適用プロセスを自動化することを目的とした研究分野であり、一連の技術である。主な目標は、人間のデータサイエンティストや機械学習エンジニアが手動でモデルを設計、訓練、調整する必要性を減らすことである。AutoMLは、データクリーニングや特徴量エンジニアリングからアルゴリズム選択やハイパーパラメータ最適化まで、幅広いタスクを包含し、最終的な目的は、非専門家と専門家の両方にとって機械学習をより利用しやすく、効率的にすることである。
この概念は、機械学習モデルの成功が、適切なアルゴリズムの選択、そのパラメータの設定、データの準備など、多数の手動による決定に大きく依存しているという認識から生まれた。これらの決定は、深い専門知識を必要とし、時間がかかることが多い。AutoMLはこれらの決定を自動化し、実務者がモデル開発の複雑さではなく、より高レベルのビジネス問題に集中できるようにすることを目指している。この自動化は、ハイパーパラメータやアーキテクチャ選択の数が指数関数的に増加したDeep learningやNeural networkモデルの時代に特に重要である。
主要コンポーネント
AutoMLシステムは、通常、機械学習パイプラインのいくつかの主要な段階に対処する。最初はデータ前処理であり、欠損値の処理、特徴量のスケーリング、カテゴリ変数のエンコーディングが含まれる。自動化ツールは、データ型を検出し、手動介入なしで適切な変換を適用できる。2番目のコンポーネントは特徴量エンジニアリングであり、システムが生データから多項式の組み合わせや集約などの新しい特徴量を自動的に作成し、モデルのパフォーマンスを向上させる。
3番目で最も顕著なコンポーネントは、モデル選択とハイパーパラメータ調整である。これには、アルゴリズム（例：決定木、サポートベクターマシン、ニューラルネットワーク）とそれに対応するハイパーパラメータ（例：学習率、層数、正則化強度）の空間を探索することが含まれる。この探索に使用される技術には、グリッドサーチ、ランダムサーチ、ベイズ最適化、進化的アルゴリズムがある。より高度なAutoMLフレームワークは、ニューラルアーキテクチャ探索も組み込んでおり、これは与えられたタスクに対してNeural networkの構造を自動的に設計する。
主要な技術とアルゴリズム
ベイズ最適化は、多くのAutoMLシステムの基盤である。これは、目的関数（通常はハイパーパラメータの関数としてのモデルパフォーマンス）の確率モデルを構築し、このモデルを使用して次にどこをサンプリングするかを決定する。このアプローチは、特に各構成の評価が計算コストのかかる場合に、ランダムサーチやグリッドサーチよりも効率的である。HyperoptやOptunaなどの人気ライブラリがこれらの方法を実装している。
もう1つの重要な技術はメタ学習であり、学習することと呼ばれることもある。この文脈では、AutoMLシステムは以前のタスクからの知識を使用して、新しいタスクの探索に情報を提供する。例えば、類似したデータセットでうまく機能した構成に基づいてハイパーパラメータ探索を初期化するかもしれない。これにより、最適化プロセスを劇的に高速化できる。さらに、アンサンブル法もしばしば採用され、最終モデルは個別に訓練された複数のモデルの組み合わせであり、これにより堅牢性と精度が向上する。
主要なフレームワークとツール
AutoML機能を提供するために、いくつかのオープンソースおよび商用フレームワークが開発されている。最も広く使用されているものの1つはAuto-sklearnであり、人気のあるscikit-learnライブラリに基づいている。これは、ベイズ最適化とメタ学習を使用して、前処理方法と分類器の大規模なポートフォリオから選択する。もう1つの顕著なフレームワークはTPOTであり、遺伝的プログラミングを使用してデータ変換とモデルのパイプラインを進化させる。
GoogleのCloud AutoMLとMicrosoftのAzure AutoMLは、深い専門知識を持たないユーザーに自動モデル構築を提供するクラウドベースのサービスの例である。これらのサービスには、自動データラベリングやモデルデプロイメントなどの機能が含まれることが多い。研究コミュニティでは、AutoKerasやKeras Tunerなどのフレームワークが、ニューラルアーキテクチャ探索を含むDeep learningモデル開発の自動化に焦点を当てている。これらのツールにより、データサイエンスリソースが限られた組織でも、業務にArtificial intelligenceを活用できるようになった。
アプリケーションと影響
AutoMLはさまざまな業界で応用が見られる。金融では、迅速なモデル開発が重要である信用スコアリングや不正検出に使用されている。医療では、Google DeepMindやIntuitive Surgicalなどの企業が開発したツールに見られるように、AutoMLは医療画像からの疾患診断を支援する。小売では、需要予測や顧客セグメンテーションを強化する。この技術はまた、Amazon Web Services、Google Cloud、Oracle Cloud Infrastructureなどの主要なクラウドプロバイダーの提供物にも不可欠であり、これらはAutoMLを機械学習プラットフォームに統合している。
AutoMLの影響は効率性を超えて広がる。これは機械学習へのアクセスを民主化し、生物学や物理学などの分野のドメイン専門家が、プログラミングの専門家になることなく予測モデルを構築できるようにした。これにより、ニッチな分野でのAIアプリケーションの普及がもたらされた。しかし、AutoMLには限界がないわけではない。自動化された探索は計算集約的であり、結果として得られるモデルは手動で設計されたものよりも解釈可能性が低い場合がある。探索空間が適切に制約されていない場合、過学習のリスクもある。
課題と将来の方向性
AutoMLの主な課題の1つは、多くのモデル構成を評価することに伴う計算コストである。これは、単一のモデルの訓練に数日かかることがある深層学習において特に深刻である。研究者は、早期停止や重み共有などの方法を模索しており、これを緩和しようとしている。もう1つの課題は、AutoMLが生成したモデルの解釈可能性であり、自動化されたプロセスが説明が難しい複雑なアーキテクチャを生成する可能性がある。
将来の方向性には、AutoMLとLarge language model技術の統合が含まれ、言語モデルがモデル構成の生成や記述を支援する可能性がある。また、新しいデータが到着するにつれてモデルが自動的に再訓練され更新される継続的AutoMLへの関心も高まっている。2020年代初頭の時点で、この分野は急速に進化しており、MIT CSAILやStanford AI Labなどの学術機関や産業研究所からの貢献がある。最終的な目標は、人間の監督を最小限に抑えた完全に自動化された機械学習パイプラインであり、AIを誰にとってもより利用しやすく、信頼できるものにすることである。