プロダクト · Evals & サンドボックス
エージェント品質を測定し、ゲートする場所
Evals は、エージェント出力の品質・リグレッション・ドリフトをスコアリングし、リリースを出荷前にゲートできる画面です。フレームワーク、スコアカード、コンソールは実在し接続済みで、実トラフィックで意味を持たせる部分も同様です。サンプリングを支えるセッションソースと、順序付きセッションリプレイを支える履歴ソースの両アダプターは、オペレーターによる設定なしで常にプロセス内に接続されています。ただし、リプレイが入力を捏造することはありません。再構成可能なタイムラインがないセッションでは、入力を捏造する代わりに、リプレイ結果が機能低下として報告されます。
できること
エージェント品質のためのフレームワーク
出力品質のモニタリング、リグレッションテスト、隔離されたサンドボックス。変更の前後でエージェントの挙動をスコアリングする場所です。
スコアカードと出力品質のモニタリング
定義したチェックに照らしてエージェント出力をスコアリングし、品質を時系列で監視します。フレームワーク、スコアカード、コンソールは接続済みで、セッションソースが接続された時点で測定結果が実データになります。
リグレッションテストとプロンプトの A/B
変更に対してスイートを再実行し、出荷前にリグレッションを検出します。さらに同一の入力でプロンプトのバリアント A と B を比較し、変更を直感ではなく証拠に基づいて評価します。
ドリフト検知
エージェント出力が時間の経過とともに期待されるベースラインから逸脱したことを検知し、品質の劣化を本番で発見するのではなく、事前に可視化します。
隔離されたサンドボックス
デプロイ前後の比較のための隔離されたテスト環境で、セッションリプレイを備えています。環境も、リプレイがセッションを再構成する元となる順序付き履歴ソースも、どちらも接続済みです。
今、本当にできること
フレームワーク、コンソール、ライブサンプリング、順序付きリプレイはすべて接続済みです
この画面はプロダクトの中で最も接ぎ目が多いため、率直にお伝えします。この正直さこそが機能であり、言い訳ではありません。
- 稼働中：Evals フレームワーク、スコアカード、コンソール、リグレッション実行、プロンプトの A/B、ドリフト検知は構築済みで接続されており、サンドボックスはデプロイ前後の比較のための隔離された環境です。
- 稼働中（明記した制限あり）：Evals のサンプリングは、接続済みのセッションソースを介して、設定可能な鮮度ウィンドウ内の実セッションを読み取ります。また、サンドボックスのリプレイは履歴からセッションの順序付きアクションシーケンスを再構成します。制限は、読み取れるものがない場合の挙動です。再構成可能なタイムラインがないセッションでは、リプレイは 0 ステップとなり、機能低下として報告されます。リプレイ上限を超えるタイムラインは一部だけ再生せず、全体を拒否します。どちらの場合も捏造した入力で補うことはありません。
- 姿勢：適応型レッドチーミングエンジンは v1 以降です。v1 では、まだ存在しないエンジンを誇張するのではなく、補完的なコントロールとともに姿勢を記述します。
Evals & サンドボックス — よくある質問
今日、実際のエージェントトラフィックに対して Evals を実行できますか？
はい。サンプリングを支えるセッションソースは、オペレーターによる設定なしで常にプロセス内に接続されています。そのため、モニタリング実行ではシードデータではなく実セッションを、設定可能な鮮度ウィンドウ内でサンプリングし、サンプルの鮮度と範囲を保ちます。このページのスクリーンショットはキャプチャであって実運用中のテナント画面ではないため、引き続きシードされたサンプルデータを表示しています。
サンドボックスのセッションリプレイは動作しますか？
はい。しかも決定論的です。リプレイは履歴からセッションの順序付きツール／MCP アクションシーケンスを再構成し、指定されたモックに対して再実行するため、同じセッションと同じモックからは常に同じ出力が得られます。2 つの制限も隠さず明記します。再構成可能なタイムラインがないセッションでは、リプレイは 0 ステップとなり、機能低下として報告されます。リプレイ上限を超えるタイムラインは一部だけ再生せず、全体を拒否します。
自動化されたレッドチーミングエンジンはありますか？
v1 にはありません。適応型レッドチーミングエンジンは v1 以降です。v1 では、まだ構築されていない適応型エンジンを示唆するのではなく、補完的なコントロールとともにセキュリティ姿勢を記述します。
では、今すぐ実際に使えるのは何ですか？
Evals フレームワークとコンソール、すなわちスコアカード、リグレッション実行、プロンプトの A/B、ドリフト検知に加え、デプロイ前後の比較用に隔離されたサンドボックス、実セッションをサンプリングする接続済みセッションソース、セッション履歴から再構成する順序付きリプレイを今すぐ利用できます。ここでエージェント品質とリグレッションを測定し、ゲートします。まだ v1 以降なのは適応型レッドチーミングエンジンだけであり、このページでは該当箇所にそう明記しています。
エージェント品質がゲートされる場所をご覧ください
Olivares を自社インフラにデプロイし、Evals フレームワークとサンドボックス、すなわちスコアカード、リグレッションテスト、デプロイ前後の比較、実セッションのライブサンプリング、セッション履歴から再構成する順序付きリプレイをお試しください。