Een veelvoorkomende, verstandige self-hosted stack combineert een LLM-gateway (bijvoorbeeld LiteLLM) met een LLM-observabilityplatform (bijvoorbeeld Langfuse). Als u er een heeft, kunt u zich redelijkerwijs afvragen of u überhaupt een control plane nodig heeft. Deze pagina beantwoordt dat eerlijk — inclusief de gevallen waarin het antwoord nee is.
TL;DR: LiteLLM en Langfuse gaan over de modelaanroepen die uw applicatie doet: routeren, traceren, prompts beheren, kosten per aanroep bijhouden. Olivares AI gaat over elke agent in uw landgoed en alles wat deze leest of schrijft — databases, objectstores, MCP-servers, tools, bestanden — en of dat overeenkomt met wat het beleid toestaat. Andere hoogte. Ze componeren; wij consumeren hetzelfde OpenTelemetry gen-ai-signaal dat zij uitzenden en verwerken.
Wat die stack goed doet (gebruik het hiervoor)
- LiteLLM — een uniforme, OpenAI-compatibele gateway voor meerdere providers: routering, fallbacks, retries, virtuele sleutels, budgetten en rate limits per sleutel, en kostenverantwoording op de modelaanroepen die erdoorheen gaan.
- Langfuse — LLM-engineering en observability: verzoek/antwoord-traces, promptbeheer en -versiebeheer, evaluaties, datasets, en een ontwikkelaargerichte UI voor het debuggen van chains.
Als uw probleem is “de LLM-aanroepen van mijn applicatie instrumenteren, prompts debuggen, en modeltoegang beheren vanuit een enkel endpoint,” dan is deze stack uitstekend en self-hostbaar. U heeft geen control plane nodig om dat te doen, en we zullen niet anders beweren.
Waar Olivares AI structureel anders is
| Dimensie | LLM-gateway + observability | Olivares AI |
|---|---|---|
| Eenheid van belang | Een modelaanroep (prompt → completion) | Een agent en elke resource die het leest/schrijft — databases, objectstores, MCP, tools, bestanden |
| Observatiepunt | In het verzoekpad (proxy/SDK); ziet wat de applicatie verstuurt | Out of band, read-first; observeert telemetrie, native audit en een kernel-backstop — nooit in het datapad |
| Bron van waarheid | Wat de applicatie/proxy rapporteert | Zelfgerapporteerde telemetrie gecorroboreerd tegen het eigen register van het systeem — pgAudit (lezen vs schrijven), CloudTrail (objecttoegang), eBPF-backstop |
| De kernvraag | ”Wat deed deze prompt en wat kostte het?" | "Gebruikt deze agent toegang die niemand heeft verleend?” — Permitted-vs-Observed drift |
| Handhaving | Gateway kan modelaanroepen blokkeren (sleutels, budgetten) | Deny-closed gates op acties en resourcetoegang: goedkeuringen, de Claude Code hooks PEP, MCP-toolgating, kill switches |
| Auditartefact | Traces / logs voor debugging | Append-only, hash-geketend, Ed25519-ondertekend register, off-box verifieerbaar, exporteerbaar als OSCAL-bewijspakketten |
| Implementatiepostuur | Self-hostbaar | Self-hosted of air-gapped; data plane verlaat nooit uw perimeter; AGPL, source-available |
Het dragende verschil is ground truth. Een observability-trace vertelt u wat de applicatie zei dat het deed. Het kan u niet vertellen dat een agent een tabel bereikte die de trace nooit noemde. Olivares AI kruist het coöperatieve signaal met het data plane, zodat “wat de agent aanraakte” een gecorroboreerd feit is, geen zelfrapportage.
Het is “en”, niet “of” — wij consumeren uw telemetrie
Olivares AI is geen vervanging voor uw gateway of uw tracetool, en het wil niet in het verzoekpad zitten dat zij bezetten. Het consumeert hetzelfde signaal: het control plane neemt OpenTelemetry GenAI semantische-conventie-spans op, dezelfde gen-ai-telemetrie die deze tools uitzenden en verwerken. Dus een gezonde opzet is:
- Behoud LiteLLM als uw modelgateway en Langfuse voor ontwikkelaargerichte tracing en promptwerk.
- Richt de OTel gen-ai-stroom op Olivares AI als een corroborerende bron, en laat de toegangskaart, driftdetectie en het register de landgoedsbrede governancelaag erboven vormen.
Wanneer u niet naar Olivares AI moet grijpen
Eerlijkheid werkt in beide richtingen. U heeft waarschijnlijk geen behoefte aan dit control plane als:
- Uw enige doel is LLM-aanroepen traceren en debuggen in een of twee applicaties, met een prompt-playground — Langfuse alleen is dan een betere keuze.
- U slechts een multi-provider gateway nodig heeft met budgetten en failover — dat is het werk van LiteLLM, en wij integreren met dat patroon in plaats van het te herimplementeren.
- U geen landgoed te besturen heeft: een enkele service, een enkel model, geen agents die databases/objectstores/MCP bereiken, en geen audit- of regelgevingsverplichting.
Olivares AI verdient zijn plaats wanneer de vragen landgoedbreed en adversarieel worden: welke agents bestaan, wat kan elk daadwerkelijk bereiken, waar wijkt toegang af van het beleid, kan ik het bewijzen aan een auditor, en kan ik een slechte actie deny-closed stoppen — dit alles zonder dat beeld naar andermans cloud te sturen.