Lista de Verificação de Maestria em Engenharia de IA

Engenharia de harness, não apenas engenharia de prompt Engenharia de contexto, não apenas prompts longos Tradeoffs entre cache de prompt e cache semântico Gerenciamento de cache KV, evicção, reutilização e pressão de memória em escala Latência de prefill vs. decode e por que elas otimizam de forma diferente Batching contínuo, atenção paginada e otimização de throughput Tradeoffs entre decodificação especulativa vs. quantização vs. destilação INT8, INT4, FP8, AWQ, GPTQ e quando a quantização prejudica a qualidade Falhas de saída estruturada, validação de schema, loops de reparo e cadeias de fallback Confiabilidade de chamadas de função, contratos de ferramentas, validação de argumentos e idempotência Guardrails de agentes, orçamentos de loop, orçamentos de ferramentas e condições de término Roteamento de modelos, lógica de fallback graciosa e UX em modo degradado Arquitetura RAG: chunking, embeddings, busca híbrida, reranking e frescor Evals de recuperação: recall, precisão, fundamentação, atribuição e qualidade de citação Evals: conjuntos dourados, testes de regressão, testes adversariais, LLM-como-juiz e evals humanos Observabilidade de LLM como disciplina de primeira classe: traces, spans, tokens, latência, erros e drift Atribuição de custo por recurso, fluxo de trabalho, locatário e jornada do usuário, não apenas por modelo Engenharia de segurança: defesa contra injeção de prompt, prevenção de vazamento de dados e limites de permissão Isolamento multi-locatário, segurança de cache e prevenção de contaminação de contexto entre usuários Fine-tuning vs. aprendizado em contexto vs. RAG vs. destilação e quando cada um é a ferramenta errada Tradeoffs de latência, qualidade, custo e confiabilidade em toda a pilha de inferência Modos de falha em produção: chamadas de ferramentas alucinadas, JSON malformado, recuperação obsoleta, agentes descontrolados e regressões silenciosas em evals