Do meu caderno de erros direto pra cá: a explicação que eu levaria pra uma entrevista hoje, em inglês.
A resposta, como você fala na entrevista
Automated tests for LLM quality. If you can't measure it, you can't ship it.
- Golden dataset: a fixed set of real questions + expected answers. Runs on EVERY prompt/model change to catch regressions.
- Retrieval metrics: recall@k ("of all the right documents, how many appeared in the top k?"), MRR ("how high does the first correct result rank, on average?").
- Generation metrics: faithfulness/groundedness ("is the answer actually supported by the retrieved context?"), answer relevance.
- LLM-as-judge: a strong model grades outputs against a rubric. Scalable and cheap; validate it against human labels first.
Prompts are code. Evals are their unit tests. Run them in CI. A prompt change without evals is a deploy without tests.
Ler é fácil. Falar isso em inglês, sob pressão, com alguém avaliando, é outra história. No VagaGringa esse tópico vira flashcard com repetição espaçada, cai em quiz e entra no simulado.
Treinar este tópico no app