Lista de Verificação de Maestria em Engenharia de LLM

Como Engenheiro(a) de IA. Aprenda >Aproveite a engenharia, não apenas a engenharia de prompts >Engenharia de contexto, não apenas prompts longos >Trade-offs entre cache de prompt e cache semântico >Gerenciamento de cache KV, remoção, reutilização e pressão de memória em escala >Latência de prefill vs. decode e por que elas otimizam de formas diferentes >Batching contínuo, atenção paginada e otimização de throughput >Tradeoffs entre decodificação especulativa vs. quantização vs. destilação >INT8, INT4, FP8, AWQ, GPTQ e quando a quantização prejudica a qualidade >Falhas de saída estruturada, validação de schema, loops de reparo e cadeias de fallback >Confiabilidade de invocação de funções, contratos de ferramentas, validação de argumentos e idempotência >Proteções de agentes, orçamentos de loop, orçamentos de ferramentas e condições de término >Roteamento de modelos, lógica de fallback gracioso e UX de modo degradado >Arquitetura RAG: geração de segmentos, embeddings, busca híbrida, reranking e atualização contínua de dados >Evaluação de recuperação: recall, precisão, fundamentação, atribuição e qualidade de citação >Evaluações: conjuntos dourados, testes de regressão, testes adversariais, LLM-como-judiz e avaliações humanas >Observabilidade de LLM como disciplina de primeira linha: traces, spans, tokens, latência, erros e drift >Atribuição de custos por feature, fluxo de trabalho, tenants e jornada do usuário - não apenas por modelo >Engenharia de segurança: defesa contra injeção de prompt, prevenção de vazamento de dados e limites de permissão >Isolamento multi-tenant, segurança de cache e prevenção de contaminação de contexto entre usuários >Ajuste fino fino vs. aprendizado em contexto vs. RAG vs. destilação - e quando cada um é a ferramenta errada >Tradeoffs entre latência, qualidade, custo e confiabilidade na pilha de inferência completa >Modos de falha em produção: invocações hallucinadas de ferramentas, JSON malformado, recuperação desatualizada, agentes fora de controle e regressões silenciosas de segurança de avaliação