Produto · Evals e sandbox
Onde a qualidade dos agentes é medida e controlada
Evals é a superfície onde a qualidade do output dos agentes, as regressões e o drift são pontuados — e onde uma release pode ser bloqueada antes de ser lançada. A framework, os scorecards e a consola existem e estão ligados; ambos os adapters — a origem de sessões que sustenta a amostragem e a origem de histórico que sustenta a reprodução ordenada no sandbox — estão sempre ligados no processo, sem configuração do operador. A reprodução NÃO inventa inputs: se uma sessão não tiver uma timeline reconstruível, a reprodução é reportada como degradada e nenhum input é fabricado.
O que faz
Uma framework para a qualidade dos agentes
Monitorização da qualidade do output, testes de regressão e um sandbox isolado — o lugar onde o comportamento dos agentes é pontuado antes e depois de uma alteração.
Scorecards e monitorização da qualidade do output
Pontue o output dos agentes em função das verificações que define e acompanhe a qualidade ao longo do tempo. A framework, os scorecards e a consola estão ligados; aquilo que medem torna-se real assim que uma origem de sessões for ligada.
Testes de regressão e A/B de prompts
Volte a executar uma suite contra uma alteração para apanhar regressões antes de serem lançadas e compare as variantes de prompt A com B com os mesmos inputs — para que uma alteração seja avaliada por evidências, não por intuição.
Deteção de drift
Detete quando o output dos agentes se afasta da sua baseline esperada ao longo do tempo, para que a erosão da qualidade seja revelada em vez de descoberta em produção.
Sandbox isolado
Um ambiente de teste isolado para comparação pré e pós-implementação, com reprodução de sessões. Ambos estão ligados: o ambiente e a origem de histórico ordenado a partir da qual a reprodução reconstrói uma sessão.
O que já é real
A framework, a consola, a amostragem live e a reprodução ordenada estão todas ligadas
Esta superfície é a que tem mais costuras em todo o produto, por isso somos diretos quanto a ela — a honestidade é a funcionalidade, não um pedido de desculpas:
- Ativo: a framework de evals, os scorecards, a consola, as execuções de regressão, o A/B de prompts e a deteção de drift estão construídos e ligados, e o sandbox é um ambiente isolado para comparação pré/pós-implementação.
- Ativo, com um limite declarado: a amostragem de evals lê sessões reais através da origem de sessões ligada, dentro de uma janela de recência configurável, e a reprodução no sandbox reconstrói a sequência ordenada de ações de uma sessão a partir do seu histórico. O limite surge quando não há nada para ler: uma sessão sem uma timeline reconstruível produz uma reprodução degradada de zero passos, e uma timeline que exceda o limite de replay é recusada por inteiro, em vez de reproduzida parcialmente. Em nenhum dos casos são inventados inputs.
- Postura: o motor adaptativo de red-teaming é pós-v1. Para a v1, documentamos a postura com controlos compensatórios em vez de exagerar um motor que ainda não existe.
Evals e sandbox — perguntas
Posso hoje executar evals contra o tráfego real dos meus agentes?
Sim. A origem de sessões que sustenta a amostragem está ligada no processo, sem configuração do operador, pelo que as execuções de monitorização usam amostras de sessões reais, não dados semeados — dentro de uma janela de recência configurável, que mantém as amostras recentes e limitadas. As capturas de ecrã desta página continuam a mostrar dados de exemplo semeados, porque são capturas, não um tenant live.
A reprodução de sessões no sandbox funciona?
Sim, e é determinística: a reprodução reconstrói a sequência ordenada de ações de tools e MCP da sessão a partir do seu histórico e volta a executá-la contra os mocks que fornece, pelo que a mesma sessão e os mesmos mocks produzem sempre os mesmos outputs. Dois limites são declarados, não ocultados: uma sessão sem uma timeline reconstruível é reportada como degradada com zero passos, e uma timeline que exceda o limite de replay é recusada por inteiro, em vez de reproduzida parcialmente.
Existe um motor automatizado de red-teaming?
Não na v1. O motor adaptativo de red-teaming é pós-v1. Para a v1, documentamos a postura de segurança com controlos compensatórios em vez de dar a entender um motor adaptativo que ainda não está construído.
Então o que é que está efetivamente utilizável neste momento?
A framework e a consola de evals — scorecards, execuções de regressão, A/B de prompts e deteção de drift — mais o sandbox isolado para comparação pré/pós-implementação, a origem de sessões ligada que recolhe amostras de sessões reais e a reprodução ordenada reconstruída a partir do histórico das sessões. É aqui que a qualidade dos agentes e as regressões são medidas e controladas. O que continua pós-v1 é o motor adaptativo de red-teaming, e esta página declara-o no lugar certo.
Veja onde a qualidade dos agentes é controlada
Implemente a Olivares na sua própria infraestrutura e explore a framework e o sandbox de evals — scorecards, testes de regressão, comparação pré e pós-implementação, amostragem live de sessões e reprodução ordenada reconstruída a partir do histórico das sessões.