LLMエンジニアリング習熟チェックリスト

AIエンジニアとして。以下を学んでください >プロンプトエンジニアリングだけでなく、エンジニアリングを活用する >長いプロンプトだけでなく、コンテキストエンジニアリング >プロンプトキャッシングとセマンティックキャッシングのトレードオフ >KVキャッシュ管理、エビクション、再利用、および大規模でのメモリプレッシャー >プリフィルとデコードのレイテンシ、およびそれらが異なる最適化を必要とする理由 >継続的バッチ処理、ページドアテンション、およびスループット最適化 >投機的デコードと量子化と蒸留のトレードオフ >INT8、INT4、FP8、AWQ、GPTQ、および量子化が品質を損なう場合 >構造化出力の失敗、スキーマ検証、修復ループ、およびフォールバックチェーン >関数呼び出しの信頼性、ツール契約、引数検証、および冪等性 >エージェントのガードレール、ループ予算、ツール予算、および終了条件 >モデルルーティング、グレースフルフォールバックロジック、および劣化モードのUX >RAGアーキテクチャ：チャンキング、埋め込み、ハイブリッド検索、リランキング、および鮮度 >検索評価：再現率、精度、グラウンディング、帰属、および引用品質 >評価：ゴールデンセット、回帰テスト、敵対的テスト、LLM-as-judge、および人間による評価 >LLMオブザーバビリティを第一級の規律として：トレース、スパン、トークン、レイテンシ、エラー、およびドリフト >モデルごとだけでなく、機能、ワークフロー、テナント、およびユーザージャーニーごとのコスト帰属 >安全性エンジニアリング：プロンプトインジェクション防御、データ漏洩防止、および権限境界 >マルチテナント分離、キャッシュ安全性、およびクロスユーザーコンテキスト汚染防止 >ファインチューニングとインコンテキスト学習とRAGと蒸留、およびそれぞれが誤ったツールとなる場合 >推論スタック全体にわたるレイテンシ、品質、コスト、および信頼性のトレードオフ >本番障害モード：幻覚的なツール呼び出し、不正なJSON、古い検索、暴走エージェント、およびサイレント評価回帰