Kurz gesagt. Ein LLM-Gateway stellt einen einzigen OpenAI-kompatiblen Endpoint vor viele Modellanbieter und ergänzt Routing, Fallbacks, Kostenerfassung und Zugangs-Keys. Deine Anwendung spricht dann mit einer API statt mit einem Dutzend. Die stärksten Optionen 2026: LiteLLM für quelloffenes Self-Hosting, OpenRouter für gemanagten Zugang ohne Betriebsaufwand und Portkey, wenn Governance und Guardrails zählen.
Was ein LLM-Gateway ist und wofür du eines brauchst
Sobald eine Anwendung mehr als einen Modellanbieter aufruft, wird die Verkabelung unübersichtlich: unterschiedliche SDKs, unterschiedliche Authentifizierung, unterschiedliche Fehlerformate und keine gemeinsame Sicht auf die Kosten. Ein Gateway löst das, indem es sich dazwischenschiebt. Das bekommst du damit:
- Eine OpenAI-kompatible API für viele Anbieter. Du tauschst den Modellnamen, nicht deinen Code.
- Routing und automatische Fallbacks, damit der Ausfall eines Anbieters nicht deine App mitnimmt.
- Kostenerfassung und Budgets pro Team oder pro Key über alle Anbieter hinweg.
- Virtuelle Keys, mit denen du eingeschränkte Zugangsdaten verteilst statt der echten Anbieter-Keys.
- Caching und Observability: weniger doppelte Aufrufe und Logs, die man tatsächlich lesen kann.
Selbst gehostet oder gemanagt
Die erste Weggabelung ist die Frage, ob du das Gateway selbst betreibst. Selbstgehostete Optionen wie LiteLLM halten alles in deiner eigenen Infrastruktur, nur der eigentliche Modellaufruf verlässt dein Netz. Das zählt bei Datenhaltung und Compliance. Gemanagte Optionen wie OpenRouter und Cloudflare AI Gateway tauschen diese Kontrolle gegen null Betriebsaufwand. Portkey und Kong liegen dazwischen: quelloffener Kern mit optionaler gemanagter Plattform. Am Ende läuft fast jede Entscheidung auf eine Frage hinaus: Willst du die Infrastruktur selbst besitzen oder nicht?
Vergleichstabelle: LLM-Gateways auf einen Blick
| Gateway | Selbst hostbar? | Quelloffen? | Kostenerfassung integriert | Am besten für |
| LiteLLM | Ja | Ja (MIT) | Ja (Budgets, virtuelle Keys) | Teams, die quelloffen selbst hosten |
| OpenRouter | Nein (gemanagt) | Gateway-Kern offen, Plattform gemanagt | Usage-Dashboard | Schneller Zugang zu vielen Modellen ohne Betrieb |
| Portkey | Eingeschränkt | Quelloffener Kern plus gemanagt | Ja | Governance, Guardrails, Observability |
| Kong AI Gateway | Ja | Quelloffener Kern | Über Plugins | Unternehmen, die Kong bereits betreiben |
| Cloudflare AI Gateway | Nein (gemanagt) | Nein | Analytics | Apps im Cloudflare-Ökosystem |
Vergleich: LLM-Gateways auf einen Blick (2026)
1. LiteLLM: das beste quelloffene Gateway zum Selbsthosten
LiteLLM ist der quelloffene Standard für diese Aufgabe: ein MIT-lizenzierter, OpenAI-kompatibler Proxy, der einen Endpoint vor mehr als 100 Anbieter stellt, mit virtuellen Keys, Budgets pro Team, Kostenerfassung, automatischen Fallbacks und einer Admin-Oberfläche. Es kommt sowohl als schlankes Python-SDK als auch als vollwertiger Proxy-Server und lässt sich per Docker ausrollen. Der Proxy selbst ist CPU-gebunden und läuft bequem auf einem kleinen Server, dahinter eine PostgreSQL-Datenbank und optional Redis. Wenn du dein Gateway von vorne bis hinten selbst besitzen willst, ist das die Standardwahl. Die verlinkte Docker-Anleitung führt Schritt für Schritt durch die Installation.
2. OpenRouter: der beste gemanagte Router ohne Betriebsaufwand
OpenRouter verfolgt die entgegengesetzte Philosophie: Du rollst nichts aus. Registrieren, einen API-Key holen, und schon hast du hinter einem einzigen Endpoint sofort Zugriff auf Hunderte Modelle aller großen Anbieter, mit gebündelter Abrechnung. Bezahlt wird pro Token, also der Anbieterpreis plus eine kleine Plattformgebühr, ohne Infrastruktur, die gepflegt werden will. Für Prototypen über viele Modelle hinweg oder für kleine bis mittlere Workloads ohne eigenes Ops-Team ist das der schnellste Weg. Ein eigener Artikel stellt LiteLLM und OpenRouter direkt gegenüber, verlinkt weiter unten.
3. Portkey: die beste Wahl für Governance und Guardrails
Portkey versteht sich als Kontrollebene für KI-Traffic. Neben dem Routing über einen großen Modellkatalog bringt es semantisches Caching, Guardrails, detaillierte Observability und Budgetkontrollen mit, also genau das, was zählt, sobald aus dem Experiment ein wiederholbarer Produktivbetrieb wird. Es gibt einen quelloffenen Gateway-Kern mit einer gemanagten Plattform darüber, der Ansatz ist cloud-first und das Self-Hosting eingeschränkter als bei LiteLLM. Nimm Portkey, wenn Routing-Regeln, Kostensteuerung und Nachvollziehbarkeit genauso wichtig sind wie die API-Abstraktion selbst.
4. Kong AI Gateway: die beste Wahl für bestehende Kong-Umgebungen
Kong AI Gateway holt LLM-Routing in die etablierte API-Management-Welt von Kong, mit einem starken Plugin-Ökosystem, SSO und Funktionen wie PII-Redaktion. Der Zuschnitt ist klar auf Unternehmen ausgerichtet, und wenn du ohnehin ein Kong-API-Mesh betreibst, ist das die mächtigste Option. Gleichzeitig ist sie die schwergewichtigste im Betrieb und setzt eine Kong-Infrastruktur darunter voraus. Ohne bestehende Kong-Landschaft lässt sich dieser Aufwand allein für LLM-Routing kaum rechtfertigen.
5. Cloudflare AI Gateway: die beste Wahl im Cloudflare-Ökosystem
Cloudflare AI Gateway ist eine vollständig gemanagte Option mit nahezu keinem Betriebsaufwand, die Caching und Analytics vor deine Anbieter setzt. Am besten passt sie zu Anwendungen, die ohnehin im Cloudflare-Umfeld oder einer vergleichbaren Edge-Plattform leben, dort fügt sie sich ohne Reibung ein. Wie bei jedem gemanagten Gateway gibst du dafür ein Stück Kontrolle über deine Daten ab und bekommst im Gegenzug den Komfort, dass jemand anderes den Betrieb übernimmt.
6. Weitere Optionen, die du kennen solltest (TrueFoundry, Helicone, Bifrost)
Je nach Schwerpunkt lohnt sich ein Blick auf diese drei:
- TrueFoundry: Kubernetes-natives KI-Gateway mit Governance, RBAC und Budgets, dazu die Möglichkeit, eigene Modelle neben Cloud-APIs zu betreiben.
- Helicone: Observability zuerst, selbst hostbar, stark wenn Logging und Analytics dein Hauptbedarf sind.
- Bifrost: ein in Go geschriebenes Gateway für Infrastruktur mit niedriger Latenz und hohem Durchsatz.
Warum vLLM und Ollama keine Gateways sind
Eine häufige Verwechslung gehört aus dem Weg geräumt: vLLM und Ollama sind keine Gateways. Es sind Inference-Engines und Runtimes, sie führen die Modelle tatsächlich aus. Ein Gateway wie LiteLLM sitzt davor und leitet Anfragen an ein vLLM- oder Ollama-Backend weiter, genauso wie an einen Cloud-Anbieter. Sie ergänzen sich also, statt zu konkurrieren, und in der Praxis kombiniert man Gateway und lokale Runtime häufig. Wenn dich selbstgehostete Inferenz interessiert, findest du die passenden Ollama-Anleitungen in den Links.
Welches LLM-Gateway passt zu dir?
Eine schnelle Entscheidungshilfe:
- Selbst gehostet und quelloffen: LiteLLM.
- Kein Betrieb und der schnellste Start: OpenRouter.
- Governance, Guardrails und tiefe Observability: Portkey.
- Bereits ein Kong-API-Mesh im Einsatz: Kong AI Gateway.
- Anwendung lebt im Cloudflare-Ökosystem: Cloudflare AI Gateway.
So hostest du ein LLM-Gateway auf einem VPS
Die quelloffenen Gateways, allen voran LiteLLM, laufen gut auf einem überschaubaren Virtual Private Server: Der Proxy ist CPU-gebunden und anspruchslos, daneben liegt eine kleine PostgreSQL-Datenbank. Ein VPS gibt dir Root-Zugang für die Docker-Installation, volle Kontrolle über deine Daten und die Option auf Datenhaltung in der EU, sodass deine Prompts und Anbieter-Keys in einer Infrastruktur bleiben, die dir gehört. Bei Contabo bietet die Core VPS Reihe für so einen dauerhaft laufenden Dienst ein starkes Verhältnis von RAM zu Euro. Die verlinkte Docker-Anleitung zeigt die vollständige Installation.
FAQ: LLM-Gateways
Ein LLM-Gateway ist ein Dienst, der zwischen deiner Anwendung und mehreren Modellanbietern sitzt und eine einzige OpenAI-kompatible API bereitstellt. Es übernimmt Routing, Fallbacks, Kostenerfassung und Zugangs-Keys, sodass du Modelle oder Anbieter wechseln kannst, ohne deinen Anwendungscode anzufassen.
LiteLLM ist das am weitesten verbreitete quelloffene LLM-Gateway. Es ist MIT-lizenziert, selbst hostbar, unterstützt mehr als 100 Anbieter über eine OpenAI-kompatible API und bringt virtuelle Keys, Budgets und Kostenerfassung mit. Portkey und Kong bieten ebenfalls quelloffene Kerne, wenn du ihre speziellen Funktionen brauchst.
Ja. LiteLLM ist kostenlos und quelloffen unter der MIT-Lizenz, und du kannst den Proxy ohne Lizenzkosten selbst hosten. Für Unternehmensfunktionen wie SSO und erweiterte Governance gibt es eine separate kommerzielle Stufe, das Gateway selbst betreibst du kostenfrei.
Nimm LiteLLM, wenn du selbst hosten und die Daten in deiner eigenen Infrastruktur halten willst. Nimm OpenRouter, wenn du gemanagten Zugang zu vielen Modellen ohne Betriebsaufwand willst. Viele Teams nutzen beides: LiteLLM als hauseigenes Gateway und OpenRouter als einen der Anbieter dahinter. Der verlinkte Vergleich geht ins Detail.
Meistens nicht. Ein Gateway lohnt sich, sobald du mehrere Anbieter oder Modelle aufrufst, Fallbacks brauchst oder zentrale Kostenkontrolle und virtuelle Keys willst. Bei einem einzigen Anbieter und einfacher Nutzung reicht der direkte Aufruf der Anbieter-API oft aus, bis die Anforderungen wachsen.
Hinweis: Die in diesem Artikel genannten Produktspezifikationen, Funktionen und Preise können sich ändern und je nach Region, Abrechnungszeitraum und laufenden Aktionen abweichen. Aktuelle Zahlen, Preise und lokale Währungsangaben findest du auf der offiziellen Website des jeweiligen Anbieters oder der jeweiligen Marke.
