Поширений і обґрунтований self-hosted стек поєднує LLM gateway (наприклад, LiteLLM) з платформою LLM observability (наприклад, Langfuse). Якщо у вас він є, ви можете обґрунтовано запитати, чи потрібна вам площина управління взагалі. Ця сторінка відповідає на це чесно — включаючи випадки, коли відповідь — ні.
TL;DR: LiteLLM та Langfuse стосуються викликів до моделей, які робить ваш додаток: маршрутизувати їх, трасувати, керувати промптами, відстежувати вартість за виклик. Olivares AI стосується кожного агента у вашій інфраструктурі та всього, що він читає або пише — бази даних, об’єктні сховища, MCP-сервери, інструменти, файли — і того, чи відповідає це дозволеному політикою. Різний рівень. Вони компонуються; ми інгестуємо той самий OpenTelemetry gen-ai сигнал, який вони генерують.
Що цей стек робить добре (використовуйте його для цього)
- LiteLLM — уніфікований, OpenAI-сумісний gateway перед багатьма провайдерами: маршрутизація, fallbacks, retries, віртуальні ключі, бюджети та rate limits на ключ, і облік витрат на виклики до моделей, що через нього проходять.
- Langfuse — LLM engineering та observability: трейси запитів/відповідей, управління промптами та їх версіонування, оцінки, датасети та UI для розробників для дебагу ланцюжків.
Якщо ваша проблема — «інструментувати виклики LLM мого додатку, дебажити промпти та керувати доступом до моделей з однієї точки», цей стек є відмінним і self-hosted. Вам не потрібна площина управління для цього, і ми не будемо вдавати інакше.
Де Olivares AI структурно відрізняється
| Вимір | LLM gateway + observability | Olivares AI |
|---|---|---|
| Одиниця уваги | Виклик до моделі (prompt → completion) | Агент і кожен ресурс, який він читає/пише — БД, об’єктні сховища, MCP, інструменти, файли |
| Точка огляду | На шляху запиту (proxy/SDK); бачить, що надсилає додаток | Out of band, read-first; спостерігає телеметрію, нативний аудит та kernel backstop — ніколи на шляху даних |
| Джерело правди | Що додаток/proxy повідомляє | Самозвітна телеметрія, підтверджена власним ledger системи — pgAudit (read vs write), CloudTrail (доступ до об’єктів), eBPF backstop |
| Ключове питання | «Що зробив цей промпт і скільки це коштувало?» | «Чи використовує цей агент доступ, якого ніхто не надавав?» — дрифт Permitted-vs-Observed |
| Enforcement | Gateway може обмежувати виклики до моделей (ключі, бюджети) | Deny-closed gates на діях та доступі до ресурсів: затвердження, Claude Code hooks PEP, MCP tool gating, kill switches |
| Аудиторський артефакт | Трейси / логи для дебагу | Append-only ledger із хеш-ланцюжком, підписаний Ed25519, верифікований off-box, експортований як OSCAL evidence packages |
| Модель розгортання | Self-hosted | Self-hosted або air-gapped; площина даних ніколи не залишає ваш периметр; AGPL, source-available |
Несуча різниця — це ground truth. Трейс observability розповідає, що додаток сказав, що він зробив. Він не може повідомити, що агент звернувся до таблиці, яку трейс ніколи не згадував. Olivares AI перехресно перевіряє кооперативний сигнал із площиною даних, тому «до чого торкнувся агент» — це підтверджений факт, а не самозвіт.
Це «і», а не «або» — ми інгестуємо вашу телеметрію
Olivares AI не замінює ваш gateway чи інструмент трасування, і не хоче бути на шляху запиту, який вони займають. Він споживає той самий сигнал: площина управління інгестує OpenTelemetry GenAI spans семантичних конвенцій, ту саму gen-ai телеметрію, яку ці інструменти генерують і споживають. Тому здорова архітектура виглядає так:
- Залишайте LiteLLM як ваш model gateway та Langfuse для трасування та роботи з промптами на рівні розробника.
- Направте OTel gen-ai потік на Olivares AI як одне підтверджуюче джерело, і дозвольте карті доступу, виявленню дрифту та ledger виконувати шар управління по всій інфраструктурі зверху.
Коли вам не варто звертатися до Olivares AI
Чесність працює в обидва боки. Вам, ймовірно, не потрібна ця площина управління, якщо:
- Ваша єдина мета — трасування та дебаг викликів LLM в одному-двох додатках, з prompt playground — Langfuse сама по собі підходить краще.
- Вам просто потрібен мультипровайдерний gateway з бюджетами та failover — це завдання LiteLLM, і ми інтегруємось з цим паттерном, а не реімплементуємо його.
- У вас немає інфраструктури для управління: один сервіс, одна модель, немає агентів, що звертаються до баз даних/об’єктних сховищ/MCP, і немає аудиторських чи регуляторних зобов’язань.
Olivares AI здобуває своє місце, коли питання стають інфраструктурними та адверсаріальними: які агенти існують, до чого кожен реально може звернутися, де доступ дрифтує від політики, чи можу я це довести аудитору, і чи можу я зупинити негативну дію deny-closed — все це без надсилання цієї картини в чужу хмару.