AIエンジニアリング習得チェックリスト

エンジニアリングを活用する、プロンプトエンジニアリングだけではない コンテキストエンジニアリング、長いプロンプトだけではない プロンプトキャッシングとセマンティックキャッシングのトレードオフ KVキャッシュ管理、退避、再利用、そしてスケールでのメモリプレッシャー プリフィルとデコードのレイテンシ、そしてそれらが異なる最適化をされる理由 継続的バッチング、ページドアテンション、そしてスループット最適化 投機的デコードと量子化と蒸留のトレードオフ INT8、INT4、FP8、AWQ、GPTQ、そして量子化が品質を損なう場合 構造化出力の失敗、スキーマ検証、修復ループ、そしてフォールバックチェーン 関数呼び出しの信頼性、ツール契約、引数検証、そして冪等性 エージェントのガードレール、ループ予算、ツール予算、そして終了条件 モデルルーティング、グレースフルフォールバックロジック、そして劣化モードのUX RAGアーキテクチャ：チャンキング、埋め込み、ハイブリッド検索、リランキング、そして鮮度 検索評価：再現率、精度、グラウンディング、帰属、そして引用品質 評価：ゴールデンセット、回帰テスト、敵対的テスト、LLM-as-judge、そして人間による評価 LLMオブザーバビリティを第一級の分野として：トレース、スパン、トークン、レイテンシ、エラー、そしてドリフト 機能、ワークフロー、テナント、ユーザージャーニーごとのコスト帰属、モデルごとだけではない 安全エンジニアリング：プロンプトインジェクション防御、データ漏洩防止、そして権限境界 マルチテナント分離、キャッシュ安全性、そしてクロスユーザーコンテキスト汚染防止 ファインチューニングと、インコンテキスト学習と、RAGと、蒸留の比較、そしてそれぞれが間違ったツールとなる場合 レイテンシ、品質、コスト、そして信頼性のトレードオフを、推論スタック全体で 本番障害モード：幻覚ツール呼び出し、不正なJSON、古い検索、暴走エージェント、そしてサイレント評価回帰