Anotei essa no caderno depois de errar numa entrevista de verdade. Hoje ela vive no meu baralho de AI / LLM Engineering. Abaixo, a resposta como eu daria agora.
A resposta, como você fala na entrevista
Tracing every call: prompt version, model, tokens in/out, cost, latency percentiles (see System Design for p95/p99), tool calls, user feedback.
Tools: Langfuse, LangSmith, Helicone, or homegrown.
Without tracing: you can't debug, can't attribute cost, can't prove a regression.
Ler é fácil. Falar isso em inglês, sob pressão, com alguém avaliando, é outra história. No VagaGringa esse tópico vira flashcard com repetição espaçada, cai em quiz e entra no simulado.
Treinar este tópico no app