LLMコード生成のための6つのベストプラクティス

1. YAML構造化出力をJSON形式の代わりに使用する - YAMLはエラー耐性が高く、JSONは解析できないフォーマットエラーが発生しやすい - YAMLコンテンツは消費トークンが少ない 2. 箇条書き分析 - LLMに問題分析を依頼する際、箇条書きでの出力を要求すると良い結果が得られる - 箇条書きは深い理解と論理的な意味の分割を促進する - 例：自己反省質問を箇条書きで、一般的な説明、目標とルール、入力構造、出力構造に分ける 3. LLMはモジュール化されたコード生成に優れている - 指示：'生成されたコードを複数の小さなサブ関数モジュールに分割し、意味のある名前を付けること' - エラーが少なくなり、反復修正の成功率が高まる 4. 柔軟な意思決定と二重検証 - 初期出力後、モデルに同じ出力をもう一度生成させ、必要に応じて修正する - 例：モデル自身のAIテストを入力としてモデルに与え、テストを再生成し、エラーを修正する - 'このテストは正しいですか？'というはい/いいえの質問よりも効果的 5. 意思決定を遅らせ、直接的な質問を避け、探索の余地を与える - 最も簡単なタスクから始める：公開テストケースに関する自己反省と推論 - その後、追加のAIテストと可能な解決策を生成する - モデルが回答した後にのみ、実際のコード生成と反復修正に進む - 複数の可能な解決策を評価してランク付けし、上位のものを初期コーディングに優先する 6. フロー指向の監督 - 科学的なフローを設計し、段階的にデータを蓄積し、各段階で新しいデータを追加する - CodeContestsの例：反省、公開テスト分析、解決策生成のステップを持つ二段階フロー - 各ステップでデータを検証して選択し、エラーが発生した場合は反復修正を行う