Продукт · Вартість і FinOps
Бачте, розподіляйте та керуйте витратами на моделі
Два модулі в одному місці: декларований каталог моделей у вашій інфраструктурі — можливості, прайс-лист, політика маршрутизації — і подання FinOps, що розбиває витрати в токенах і грошах за моделлю, постачальником, агентом, сесією, командою та проєктом. Встановлюйте бюджети й пороги, читайте проєкцію поточних темпів витрат і дозвольте сигналам бюджету керувати розв'язанням моделі. Бачте вартість і керуйте нею — а не Olivares, що запускає ваш inference.
У продукті
Інформаційна панель вартості
Справжній знімок екрана, дані для прикладу. Подання для керівництва: витрати на цей момент, проєкція поточних темпів, обсяг токенів, активні керовані моделі та графік тренду витрат — із розбивкою, щоб ви бачили, куди йдуть гроші.
Що ви отримуєте
Два модулі: парк моделей і гроші
Каталог моделей, якими ви керуєте, і політика, що їх вибирає, у парі з поданням вартості, яке розподіляє кожен мікродолар.
Декларований каталог моделей
Моделі у вашій інфраструктурі з їхніми можливостями та прайс-листом, керовані централізовано. Ціна — це декларований, датований орієнтир, який ви редагуєте; звіряйте його з постачальником — ми ніколи не подаємо його як незмінну істину.
Політика маршрутизації з ланцюжком резервних варіантів
Визначайте, як запит вибирає модель — за вартістю, затримкою, можливостями чи закріпленням — із ланцюжком резервних варіантів /resolve. Це політика, що ухвалює рішення; запуск inference — окремий, явно наданий крок.
Витрати, розподілені
Витрати в токенах і грошах із розбивкою за моделлю, постачальником, агентом, сесією, командою та проєктом. Внутрішньо гроші зберігаються як цілочисельні мікро-USD, тож підсумки сходяться точно. Розбивки за моделлю та постачальником присутні завжди; точніший розподіл залежить від під'єднаного конектора.
Бюджети, що можуть керувати розв'язанням
Бюджети з порогами, сповіщеннями та рекомендаціями. Перевищений бюджет може керувати розв'язанням моделі — блокувати або обмежувати — щоб ліміти вартості застосовувалися в точці ухвалення рішення, а не виявлялися в рахунку.
Що реальне
Працює для перегляду вартості та керування нею — не для запуску вашого inference
Ми точні щодо того, чим є кожне число, бо від цього залежать фінансові рішення:
- Працює: читання, аналіз і сигналізація щодо бюджету. Витрати за моделлю, постачальником, агентом, сесією, командою та проєктом; бюджети з порогами, сповіщеннями та рекомендаціями; а також застосування бюджету, що може керувати розв'язанням моделі через блокування або обмеження. Розбивки за моделлю та постачальником заповнені завжди.
- Чесні прогалини в даних: прайс-лист — це декларований, датований орієнтир, який ви підтримуєте — звіряйте його з постачальником, перш ніж діяти на його основі. Прогноз — це лінійна проєкція за поточними темпами витрат, а не предиктивна модель. Розподіл за агентом, сесією та командою може показувати порожнечу, доки не під'єднано конектор, що позначає витрати сесією, агентом чи командою, до яких вони належать, — а неповний агрегат показується як частковий, ніколи як точний підсумок. Ми не виводимо показник економії від кешування з потоку витрат, тож і не показуємо його.
- Дорожня карта / точка з'єднання: політика маршрутизації визначається тут, але виконання маршрутизації — шлюз, що насправді викликає модель, — це окремий компонент. Model /execute закритий за замовчуванням і повертає 503 без явного надання. Olivares допомагає вам бачити вартість і керувати нею; він не запускає ваш inference за вас.
Вартість і FinOps — запитання
Звідки беруться ціни — чи отримуються вони наживо від постачальників?
Ні. Ціна в каталозі — це декларований прайс-лист: датований орієнтир, який ви редагуєте та підтримуєте, а не живий потік. Він тут для того, щоб оцінки вартості були узгодженими, а не для того, щоб ви сприймали його як актуальну істину постачальника. Звіряйте його з постачальником, перш ніж ухвалювати на його основі рішення.
Чи є прогноз передбаченням того, скільки ми витратимо?
Це лінійна проєкція за поточними темпами витрат — вона продовжує ваш нинішній темп витрат уперед, не більше. Це не предиктивна модель, і вона не враховує сезонність, заплановані зміни чи будь-що, чого ви ще не зробили. Читайте її як «якщо нічого не зміниться, ось траєкторія».
Чому деякі витрати за агентом чи командою показуються як порожні?
Тому що цей розподіл потребує конектора, який позначає витрати сесією, агентом чи командою, до яких вони належать. Доки його не під'єднано, розбивка чесно порожня, а не вгадана — і там, де агрегат неповний, він позначається як частковий, ніколи не подається як точний підсумок. Розбивки за моделлю та постачальником від цього не залежать і присутні завжди.
Чи маршрутизує та запускає Olivares мої виклики моделей?
Ні. Ви визначаєте політику маршрутизації тут — за вартістю, затримкою, можливостями чи закріпленням, із ланцюжком резервних варіантів /resolve — але виконання виклику — це окремий компонент-шлюз. Model /execute закритий за замовчуванням і повертає 503, доки його не надано явно. Цей рівень — про перегляд вартості та керування нею, а не про те, щоб Olivares перебував на шляху вашого inference.
Візьміть під контроль витрати на свої моделі
Розгорніть Olivares на власній інфраструктурі, задекларуйте свій парк моделей, розподіліть кожен мікродолар і дозвольте бюджетам керувати розв'язанням ще до того, як виникне вартість.