Wenn LiteLLM der quelloffene, selbstgehostete Standard fürs Routing von LLM-Traffic ist, dann neigt jede der wichtigsten Alternativen in eine andere Richtung. Portkey legt Governance und Guardrails obendrauf, Kong AI Gateway passt zu Unternehmen, die Kong ohnehin betreiben, und Cloudflare AI Gateway ist die gemanagte, im eigenen Ökosystem verankerte Option.
Dieser Vergleich nimmt alle vier auseinander. Und er klärt, wo vLLM und Ollama tatsächlich hingehören, denn Gateways sind sie überhaupt nicht.
Schnelles Urteil
- Nimm LiteLLM, wenn du ein quelloffenes Gateway willst, das du selbst hostest und vollständig kontrollierst.
- Nimm Portkey, wenn Governance, Guardrails und tiefe Observability Priorität haben.
- Nimm Kong AI Gateway, wenn du bereits ein Kong-API-Mesh betreibst.
- Nimm Cloudflare AI Gateway, wenn deine Anwendung im Cloudflare-Ökosystem lebt und du null Betriebsaufwand willst.
AI Gateways auf einen Blick
| Gateway | Selbst hostbar | Quelloffen | Guardrails | Betriebsaufwand | Am besten für |
| LiteLLM | Ja | Ja (MIT) | Basis | Gering | Selbstgehostete, quelloffene Teams |
| Portkey | Eingeschränkt | Kern offen, dazu Managed | Stark (semantisches Caching, Guardrails) | Gering (gemanagt) | Governance und Observability |
| Kong AI Gateway | Ja | Kern offen | Über Plugins | Hoch | Bestehendes Kong, Enterprise |
| Cloudflare AI Gateway | Nein | Nein | Plattform-Features | Nahezu null | Apps im Cloudflare-Ökosystem |
LiteLLM vs Kong AI Gateway
Kong AI Gateway bringt LLM-Routing in die ausgereifte API-Management-Plattform von Kong, mit einem starken Plugin-Ökosystem, SSO und Funktionen wie PII-Redaction. Diese Mächtigkeit hat Gewicht: der Betrieb ist schwerer und setzt Kong-Infrastruktur darunter voraus. LiteLLM ist die leichtere, einfachere und in sich geschlossenere Option. Die ehrliche Daumenregel lautet, Kong zu nehmen, wenn du schon ein Kong-API-Mesh betreibst und deinen LLM-Traffic auf demselben Weg regeln willst. Sonst ist LiteLLM deutlich weniger Betrieb.
LiteLLM vs Cloudflare AI Gateway
Cloudflare AI Gateway ist vollständig gemanagt und verursacht nahezu null Betriebsaufwand. Es legt Caching und Analytics vor deine Provider und spielt seine Stärke aus, wenn deine Anwendung ohnehin im Cloudflare-Ökosystem lebt. Der Kompromiss ist der bekannte bei gemanagten Diensten: du gibst etwas Kontrolle über deine Daten ab und musst dafür nichts selbst betreiben. LiteLLM ist die gegenteilige Wahl. Du betreibst es, und im Gegenzug bleibt der komplette Datenpfad in deiner Infrastruktur.
Wo vLLM und Ollama hingehören (keine Gateways)
Das ist der Vergleich, den Leute am häufigsten falsch ziehen. vLLM und Ollama sind keine Gateways, sondern Inference-Engines und Runtimes, die die Modelle tatsächlich ausführen. Ein Gateway wie LiteLLM sitzt davor: es routet eine Anfrage an ein vLLM- oder Ollama-Backend genau so, wie es sie an einen Cloud-Provider routen würde. „LiteLLM vs vLLM” oder „LiteLLM vs Ollama” ist damit ein Kategorienfehler. Das eigentliche Muster ist der gemeinsame Einsatz, ein Gateway fürs Routing und die Kontrolle, eine Runtime für die Inference. Wenn selbstgehostete Inference dein Ziel ist, sind die verlinkten Ollama-Anleitungen der richtige Startpunkt.
Welches AI Gateway solltest du nehmen?
- Quelloffen und selbst gehostet: LiteLLM.
- Governance, Guardrails, Observability: Portkey.
- Kong läuft schon oder Enterprise-Anforderungen: Kong AI Gateway.
- App im Cloudflare-Ökosystem, null Betrieb: Cloudflare AI Gateway.
- Eigene Modelle betreiben: LiteLLM als Gateway mit vLLM oder Ollama als Runtime kombinieren.
So hostest du LiteLLM auf einem VPS
Von diesen vier ist LiteLLM am freundlichsten zum Self-Hosting, ein CPU-gebundener Proxy mit einer kleinen PostgreSQL-Datenbank, der bequem auf einem bescheidenen virtuellen Server läuft. Ein VPS gibt dir Root-Zugang für Docker, volle Kontrolle über deine Daten und die Option auf Datenhaltung in der EU. Willst du auch die Modelle selbst hosten, kombinierst du das Gateway mit einer GPU-Instanz, auf der vLLM oder Ollama läuft. Bei Contabo bietet die Core VPS Reihe ein starkes Verhältnis von RAM zu Euro für das Gateway, dazu gibt es GPU-Optionen für die Inference. Für das Deployment schau dir die verlinkte Docker-Anleitung an.
FAQ: LiteLLM und andere AI Gateways
Das hängt von deinem Bedarf ab. Portkey ist die nächstliegende Alternative, wenn du Governance und Guardrails als Managed Control Plane willst. Kong AI Gateway passt zu Unternehmen, die schon auf Kong sitzen, und Cloudflare AI Gateway zu gemanagten Setups im eigenen Ökosystem. Speziell für quelloffenes Self-Hosting bleibt LiteLLM die führende Wahl.
Keines von beiden ist pauschal besser. LiteLLM ist besser, wenn du ein quelloffenes Gateway willst, das du selbst hostest und besitzt. Portkey ist besser, wenn du gemanagte Governance, Guardrails, semantisches Caching und Observability willst, ohne die Infrastruktur zu betreiben. Die Entscheidung dreht sich vor allem um das Liefermodell, also Eigentum beim Self-Hosting gegenüber einer gemanagten Control Plane.
Nein. vLLM ist eine Inference-Engine, die Modelle ausführt, während LiteLLM ein Gateway ist, das Anfragen an Modell-Backends routet. Die beiden arbeiten auf unterschiedlichen Ebenen und werden typischerweise zusammen eingesetzt, LiteLLM davor, routend auf ein vLLM-Backend. vLLM ergänzt LiteLLM also, statt es zu ersetzen.
Nein. Ollama ist eine lokale Runtime, um Modelle auf eigener Hardware auszuführen, kein Gateway. Ein Gateway wie LiteLLM kann davor sitzen und Anfragen an Ollama routen, neben anderen Providern. Willst du lokale Inference, nutzt du Ollama als Backend hinter deinem Gateway, nicht als Ersatz dafür.
