アドレナリンは、人工知能を適用してデバッグプロセスを自動化する開発者ツールである。コードエディタやコマンドラインインターフェースと統合し、実行時エラー、スタックトレース、コードスニペットを解析して、人間が読める説明と提案された修正パッチを生成する。このツールは大規模言語モデル技術、具体的にはOpenAIのGPT-4アーキテクチャを微調整したバージョンに基づいており、2023年3月に元GoogleおよびMetaのエンジニアによって設立されたスタートアップAdrenaline AIによってパブリックベータとして初めてリリースされた。
手動のブレークポイントや変数検査を必要とする従来のデバッガとは異なり、Adrenalineはエラーメッセージを解析し、周囲のソースコードと関連付ける。数百万の公開GitHubリポジトリとStack Overflowの議論で訓練されたトランスフォーマーベースのモデルを使用する。システムは自然言語の診断を出力し、可能性の高い欠陥行を強調表示し、修正されたコードブロックを提案する。2023年6月に同社が発表したベンチマークテストでは、Adrenalineはオープンソースプロジェクトからの1,200件の実世界のPython例外のうち78%を人間の介入なしに解決し、微調整なしのベースGPT-4モデルの成功率34%と比較された。
アーキテクチャとモデルトレーニング
Adrenalineのコアエンジンは、GPT-4から派生した微調整済みのエンコーダー・デコーダーアーキテクチャであり、コード固有のトークン化のための追加レイヤーを備えている。トレーニングデータセットには、2019年から2023年までのGitHubプルリクエストから抽出された230万組のバグコードと修正コードのペアが含まれていた。モデルはマルチヘッドアテンションを使用して変数の依存関係と制御フローに焦点を当て、勾配クリッピングとレイヤー正規化を採用して長いコードシーケンスのトレーニングを安定させる。同社は最終モデルが1,750億パラメータを持つと報告しているが、この数値は独立して検証されていない。
ツールの推論パイプラインは、ビーム幅5のビームサーチを適用して候補修正を生成し、構文的に無効な出力をペナルティするカスタム損失関数を使用してそれらをランク付けする。温度スケーリングは本番環境での決定論的パッチのために0.2に設定され、インタラクティブな「探索」モードでは0.8のより高い温度が使用される。Adrenalineはまた、レイテンシを削減するためにモデルプルーニングを組み込んでおり、デプロイされたバージョンは単一のNVIDIA A100 GPUで毎秒12トークンで実行され、プルーニングされていないモデルの毎秒45トークンから減少している。
統合と製品バージョン
Adrenalineは2023年9月にバージョン1.0をリリースし、公式プラグインを介してvisual-studio-codeおよびjetbrains IDEのサポートを追加した。2024年1月に開始されたバージョン1.2は、CI/CDパイプライン用のgithub-actionsと互換性のあるコマンドラインインターフェースを導入した。このツールはPython、JavaScript、TypeScript、Goをサポートし、バージョン1.3（2024年4月）でRustの実験的サポートが追加された。
注目すべき機能は「トレースバックビジュアライザー」であり、コールスタックをインタラクティブなグラフとしてレンダリングし、開発者がフレームをクリックして移動できるようにする。この機能はMIT CSAILの研究者との協力で開発され、2024年の国際ソフトウェア工学会議で発表された。Adrenalineはまた、adrenaline.devでウェブベースのプレイグラウンドを提供しており、ユーザーはソフトウェアをインストールせずにエラーログを貼り付けて修正を受け取ることができる。
パフォーマンスと採用
2024年2月のカーネギーメロン大学ソフトウェア工学研究所による第三者評価では、AdrenalineはDefects4Jベンチマークの500件のバグのうち61%を正しく修正し、以前の最先端ツールであるRepairLLMの47%を上回った。修正を生成する平均時間は4.2秒で、RepairLLMの11.8秒と比較された。しかし、このツールはモジュール間のコンテキストを必要とする複数ファイルのバグには苦戦し、そのような場合の成功率は23%にとどまった。
2024年5月の時点で、Adrenalineは40,000人以上のアクティブな開発者と累計120万件の修正適用を報告している。同社は2023年10月にa16zが主導し、Yコンビネーターが参加した1,200万ドルのシリーズAラウンドを調達した。無料ティアでは月50回のデバッグセッションが可能で、Proティアはユーザー1人あたり月20ドルで無制限のセッションとチーム分析を提供する。
制限と将来の方向性
Adrenalineの精度は、古い言語バージョンを使用するレガシーコードベースでは低下し、Python 2.7コードでは修正成功率が41%に落ちる。このツールはまた、実行時状態の検査を必要とするハードウェア固有のバグや並行性の問題を処理できない。開発チームは、2024年後半に予定されているバージョン2.0の計画を発表しており、プロジェクトのコーディング規約に修正をより良く合わせるために、人間からのフィードバックによる強化学習（RLHF）を組み込む予定である。
研究者は、Adrenalineのアプローチがプログラム修復のための初期のシーケンス・ツー・シーケンスモデルに関する研究と類似しているが、その規模と微調整戦略は斬新であると指摘している。同社はまた、Amazon Web Services CodeGuruやAzure DevOpsとの統合を模索しており、検出されたバグに対して自動的にプルリクエストを提出することを目指している。
競合環境
AdrenalineはGitHub Copilotのコードレビュー機能やOpenAIのCodexなどのツールと競合するが、コード生成ではなくエラー診断にのみ焦点を当てることで差別化している。2024年3月にスタンフォードAIラボが実施した直接比較テストでは、Adrenalineは300件の実行時エラーのうち72%でCopilotの58%よりも正確な説明を生成した。同社はまた、評価ハーネスをMITライセンスの下でオープンソース化し、研究者がベンチマークを再現できるようにしている。
2024年半ばの時点で、AI支援デバッグの広範な分野はまだ初期段階にあり、Adrenalineは数少ない専用製品の1つである。創設者らは、将来のバージョンがモバイル開発と組み込みシステムを対象とすると述べているが、リリース日は発表されていない。