Transformersは、Hugging Faceによって開発されたオープンソースのソフトウェアライブラリであり、自然言語処理、Computer vision、音声処理にわたるタスク向けに、数千の事前学習済みtransformerモデルアーキテクチャと重みを提供する。2018年にGitHubで公開されて以来、このライブラリはMachine learningエコシステムの中核ツールとなり、主要な研究機関や企業のモデルを読み込み、微調整し、デプロイするための統一APIを提供している。その設計は、使いやすさ、相互運用性、スケーラビリティを重視しており、高度なDeep learningを研究者と産業界の実務者の両方に利用しやすくしている。
このライブラリは、TensorFlow、PyTorch、およびjaxで構築されたモデルをサポートしており、ユーザーは最小限のコード変更でフレームワークを切り替えることができる。2023年後半時点で20万以上の事前学習済みチェックポイントをホストするモデルハブを含み、Llamaやgptなどの大規模言語モデルから、Google DeepMindのビジョントランスフォーマー、Whisperなどの音声モデルまでを網羅している。このライブラリの人気は、異なるアーキテクチャ間で一貫したAPIを提供し、フレームワーク固有の詳細を抽象化して、迅速な実験を可能にしていることに由来する。
アーキテクチャと主要コンポーネント
Transformersライブラリは、PreTrainedModelクラス、Tokenizerクラス、Pipelineクラスの3つの主要な抽象化を中心に構成されている。モデルクラスは重み、設定、シリアライゼーションを処理し、トークナイザーは生のテキストをモデルの期待に適合する数値入力に変換する。パイプラインは、テキスト分類、固有表現認識、質問応答、要約などのタスク向けの高レベルインターフェースを提供し、基盤となる前処理と後処理のステップを隠蔽する。
重要な設計上の選択は、モデル設定と重みの分離である。設定は、層数、隠れ次元、アテンションヘッドなどのハイパーパラメータを保存し、ユーザーが事前学習済みの重みを読み込まずにモデルをインスタンス化できるようにする。このモジュール性は、カスタムアーキテクチャと効率的なプルーニングおよび量子化ワークフローをサポートする。ライブラリには、オプティマイザ統合、学習率スケジューリング、複数のGPUまたはTPUにわたる分散トレーニングのためのユーティリティも含まれている。
サポートされているモデルファミリー
創設以来、Transformersは少数のアーキテクチャから、ほぼすべての主要なモデルファミリーをカバーするまでに拡大してきた。初期の追加には、GoogleのBERTとOpenAIのGPT-2が含まれていた。時間の経過とともに、MetaのLlamaバリアント、Mistral AI、tiiのFalcon、GoogleのGemmaなど、数百もの他のモデルが組み込まれた。シーケンス間タスクには、T5 (Text-to-Text Transfer Transformer)、BART、m2m-100が提供されている。ビジョンには、Vision Transformer (ViT)、swin、detr、OpenAIのCLIPがサポートされている。
ライブラリはまた、imagebind、blip、flamingoなどのクロスモーダルモデルも処理し、テキスト、画像、音声入力を組み合わせる。モデルハブのコミュニティ駆動型の性質により、サードパーティの貢献者が医療メモの要約やコード生成などの特定タスク向けの微調整バージョンをアップロードできる。この広がりにより、TransformersはArtificial intelligence研究コミュニティにおけるモデル普及と再利用の事実上の標準となっている。
トークナイゼーションと前処理
トークナイゼーションはライブラリの重要なコンポーネントであり、Byte-Pair Encoding（BPE）、WordPiece、SentencePieceを含む複数のトークナイゼーションアルゴリズムをサポートしている。いくつかのトークナイザータイプは、日本語や韓国語などの言語のサブワードトークナイゼーションを含む、言語固有のニュアンスを処理する。ライブラリはまた、Rustで書かれた高速トークナイザーを提供しており、純粋なPython実装よりも大幅な速度向上を実現し、大規模なトレーニングと推論に不可欠である。
テキスト以外にも、TransformersにはAutoImageProcessorやAutoFeatureExtractorなどの画像および音声入力用のプロセッサが含まれている。これらは生のピクセルや波形をモデル入力と互換性のあるテンソル形式に変換する。統一されたAuto APIクラスは、チェックポイント名に基づいて正しいクラスを自動的に検出することでモデルとトークナイザーのインスタンス化を簡素化し、ボイラープレートと潜在的なエラーを削減する。
トレーニングと微調整
ライブラリはHugging FaceのTrainerクラスと緊密に統合されており、勾配累積、混合精度、学習率ウォームアップ、評価ループを処理する高レベルのトレーニングループを提供する。horovodとaccelerateライブラリを介した分散トレーニングをサポートし、マルチGPUおよびTPUセットアップを抽象化する。特定のデータセット向けに事前学習済みモデルを微調整するには、通常、データ読み込み、トークナイゼーション、トレーニングコールバックを含む数百行のコードのみが必要である。
Trainerはまた、TRL（Transformer Reinforcement Learning）などのライブラリとの統合を通じて、AIフィードバックからの強化学習などの高度な技術をサポートしている。さらに、ライブラリはLoRAやプレフィックスチューニングなどのパラメータ効率的な微調整手法のためのユーティリティを提供し、メモリ要件を削減してコンシューマーハードウェアでの微調整を可能にする。これらの機能により、Transformersは学術研究と産業展開の両方で好まれる選択肢となっている。
推論とデプロイメント
ライブラリには、onnxエクスポート、tensorrt最適化、大規模モデルのサービングのためのvLLM統合をサポートする最適化された推論パスが含まれている。Pipelineクラスは、生のテキストやファイルを受け取り予測を返す、本番環境向けのシンプルなインターフェースを提供する。エッジデバイス向けには、Transformersはモデルを8ビットまたは4ビット精度に量子化でき、メモリフットプリントを削減しながらパフォーマンスを維持する。また、生成設定を介して制御可能なBeam Search、Top-K Sampling、Top-P (Nucleus) Sampling戦略をテキスト生成にサポートしている。
スケーラブルなサービングのために、ライブラリはhugging-face-inference-endpointsおよびAmazon SageMakerと相互運用し、ユーザーがREST APIの背後にモデルをデプロイできるようにする。また、onnx-runtimeおよびopenvinoと統合して、AMDやIntelを含むハードウェアベンダー全体でCPUおよびGPU最適化を実現する。ライブラリのシリアライゼーション形式（safetensors）は、高速な読み込みと安全な重み処理を保証し、pickle逆シリアライゼーションに関連するセキュリティリスクを軽減する。
コミュニティとエコシステム
Transformersライブラリは、Datasets、Tokenizers、Accelerate、Evaluateを含むより大きなHugging Faceエコシステムの一部である。公開モデルハブはチェックポイントだけでなく、データセットや評価ハーネスもホストし、再現性を促進している。このライブラリは主要なクラウドプロバイダーに採用されている: Amazon Web ServicesはSageMakerを介したマネージドAPIを提供し、Microsoft AzureはAIノートブックでホストし、Google CloudはTPUトレーニングをサポートし、Oracle Cloud Infrastructureは専用コンピュートを提供する。GroqやSambaNovaなどの独立系ハードウェアスタートアップも、Transformersモデルを自社のアクセラレータで実行するための最適化を開発している。
貢献は、Stanford AI Lab、University of Toronto、カーネギーメロン大学を含む幅広い学術・産業パートナーのネットワークから来ている。企業スポンサーとユーザーは、ヘルスケア（例: Intuitive Surgical研究）から自動車（例: ナビゲーション用のTomTom）まで多岐にわたり、ライブラリは数千の研究論文で引用されている。寛容なApache 2.0ライセンスと活発なガバナンスにより、世界中のメンテナーと貢献者の大規模なコミュニティが維持されている。
AI分野への影響
Transformersの導入は、特殊なモデルから転移学習を備えた汎用アーキテクチャへの移行を加速させた。事前学習済みの重みを提供することで、ほとんどの実務者がゼロからモデルをトレーニングする必要性を排除し、計算コストを桁違いに削減した。この民主化により、小規模なチームや個人開発者がニッチなタスク向けに大規模モデルを微調整できるようになり、生成AI、Chatbotシステム、コード生成におけるAIアプリケーションの爆発的な増加に貢献した。
ライブラリはまた、モデル開発の実践にも影響を与え、チェックポイント形式を標準化し、オープンリサーチを促進した。AppleのCore MLやAMDのROCmなどの競合他社は、Transformersと連携するための相互運用層を開発している。ライブラリの成功は、Hugging Faceによるsentence-transformersやdiffusersなどの同様のイニシアチブを促進し、埋め込みと画像生成に同じ設計哲学を拡張している。
批判的評価と限界
その使いやすさと広がりが広く賞賛される一方で、Transformersはその大きなサイズとPyTorchやTensorFlowなどの重いライブラリへの依存について批判に直面している。モデルと設定の数が多すぎて圧倒されることがあり、後方互換性がメジャーリリースで時折壊れることがある。さらに、トランスフォーマーアーキテクチャへの焦点は、特定のパラダイムを固定化すると主張する人もおり、長いシーケンス効率のためにMambaなどの状態空間モデルや線形アテンション手法などの代替案が注目を集めている。
非常に大規模なモデルでは専用ハードウェアが必要となるためパフォーマンスの懸念も生じるが、ライブラリは量子化とCPUメモリへのオフロードでこれに対処している。Hugging Faceのオープンソース原則へのコミットメントは賞賛されているが、商用サポートとエンタープライズ機能はOpenAIのAPIやGoogle CloudのVertex AIなどの競合他社と比較して発展が遅れている。これらの課題にもかかわらず、Transformersはトランスフォーマーモデルを扱うほとんどの実務者にとって主要な入り口であり続けている。
歴史とリリース
ライブラリの最初の公開リリースは2018年10月1日で、BERTとGPT-2をサポートしていた。2019年のバージョン2.0では、トレーニングユーティリティとより広範なモデルズーが追加された。2020年にはAutoクラスの導入が大きなマイルストーンとなり、モデルの読み込みを簡素化した。2021年までに、ライブラリはGitHubで1万以上のスターを獲得し、最も急速に成長しているオープンソースプロジェクトの1つとなった。2022年には、Hugging Faceがbleuベースの評価メトリクスとTrainerコールバックシステムを導入し、2023年にはライブラリがバージョン4.30に達し、longformerやbigbirdなどのマルチモーダルおよび長文脈モデルのサポートを追加した。
プロジェクトの開発はHugging Faceのコアチームによって監督されており、企業体はAmazon Web ServicesとGoogle (AI)の投資に支えられている。当初はNLPに焦点を当てていたが、Vision Transformer (ViT)、wav2vec2、clapのリリースにより、ライブラリは現在ビジョンと音声をサポートしている。2024年時点で、TransformersはGitHubで最もスターが多いリポジトリの1つであり、10万以上のスターと週間ダウンロード数が2000万を超えており、現代の応用Deep learningとGenerative AIにおける中心的な役割を強調している。
限界と批判
その成功にもかかわらず、ライブラリはHugging Faceのモデルハブを介した集中型モデルホスティングへの依存について批判に直面しており、ベンダーロックインと可用性に関する懸念が生じている。トークナイザーとモデル読み込みのセキュリティ脆弱性により、safetensorsや制限付きpickle使用などの保護策が必要となっている。抽象化層からのパフォーマンスオーバーヘッドは、非常に大規模なモデルでは無視できないことがあるが、vLLMやtensorrt-llm統合がこれを軽減している。さらに、新しいアーキテクチャの急速な追加は、時折一貫性のないドキュメントや非推奨のAPIにつながることがあるが、コミュニティは徹底したリリースノートとサンプルノートブックを通じてこれらの問題を軽減している。
今後の方向性
進行中の開発は、長文脈モデル、マルチモーダルアーキテクチャ、オンデバイス展開のサポート向上に焦点を当てている。静的量子化や投機的デコードなどの機能が統合され、推論レイテンシを削減している。チームはまた、webllmなどのブラウザベースのランタイムやサーバーレスアプリケーション向けのrustベースのエンジンとの統合も探求している。分野が進化するにつれて、Transformersはモデル配布の中立的なハブとしての役割を維持することを目指しており、DeepSeekなどのオープンウェイトモデルやコミュニティの微調整をサポートするイニシアチブがある。ライブラリは、新興研究とハードウェア機能に同期したリリースで、より広範なMachine learning環境とともに進化し続けている。
プロジェクトのガバナンスはオープンなままであり、Hugging Faceが主要なメンテナーおよび運営委員会として機能している。定期的なリリースサイクル（ほぼ毎月）により、新しいモデルサポート、バグ修正、パフォーマンス強化が追加されている。学界と産業界での広範な採用により、Transformersは現在のArtificial intelligence開発の波の基盤インフラストラクチャとして立っており、AIアシスタントからRobotics制御ポリシーまでの革新を可能にしており、その影響は当面続く可能性が高い。