{"id":33095,"date":"2026-06-12T16:24:00","date_gmt":"2026-06-12T14:24:00","guid":{"rendered":"https:\/\/contabo.com\/blog\/?p=33095"},"modified":"2026-08-07T11:21:58","modified_gmt":"2026-08-07T09:21:58","slug":"litellm-vs-ai-gateways","status":"publish","type":"post","link":"https:\/\/contabo.com\/blog\/de\/litellm-vs-ai-gateways\/","title":{"rendered":"LiteLLM vs Portkey, Kong und Cloudflare: AI Gateways im Vergleich"},"content":{"rendered":"\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"1200\" height=\"630\" src=\"https:\/\/contabo.com\/blog\/wp-content\/uploads\/2026\/06\/blog-head_litellm-vs-portkey-kong-cloudflare.webp\" alt=\"LiteLLM vs Portkey, Kong &amp; Cloudflare: AI Gateways Compared\" class=\"wp-image-31570\" srcset=\"https:\/\/contabo.com\/blog\/wp-content\/uploads\/2026\/06\/blog-head_litellm-vs-portkey-kong-cloudflare.webp 1200w, https:\/\/contabo.com\/blog\/wp-content\/uploads\/2026\/06\/blog-head_litellm-vs-portkey-kong-cloudflare-600x315.webp 600w, https:\/\/contabo.com\/blog\/wp-content\/uploads\/2026\/06\/blog-head_litellm-vs-portkey-kong-cloudflare-768x403.webp 768w\" sizes=\"auto, (max-width: 1200px) 100vw, 1200px\" \/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Wenn LiteLLM der quelloffene, selbstgehostete Standard f\u00fcrs Routing von LLM-Traffic ist, dann neigt jede der wichtigsten Alternativen in eine andere Richtung. Portkey legt Governance und Guardrails obendrauf, Kong AI Gateway passt zu Unternehmen, die Kong ohnehin betreiben, und Cloudflare AI Gateway ist die gemanagte, im eigenen \u00d6kosystem verankerte Option.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dieser Vergleich nimmt alle vier auseinander. Und er kl\u00e4rt, wo vLLM und Ollama tats\u00e4chlich hingeh\u00f6ren, denn Gateways sind sie \u00fcberhaupt nicht.<\/p>\n\n\n\n<h2 id=\"h-schnelles-urteil\" class=\"wp-block-heading\">Schnelles Urteil<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Nimm LiteLLM, wenn du ein quelloffenes Gateway willst, das du selbst hostest und vollst\u00e4ndig kontrollierst.<\/li>\n\n\n\n<li>Nimm Portkey, wenn Governance, Guardrails und tiefe Observability Priorit\u00e4t haben.<\/li>\n\n\n\n<li>Nimm Kong AI Gateway, wenn du bereits ein Kong-API-Mesh betreibst.<\/li>\n\n\n\n<li>Nimm Cloudflare AI Gateway, wenn deine Anwendung im Cloudflare-\u00d6kosystem lebt und du null Betriebsaufwand willst.<\/li>\n<\/ul>\n\n\n\n<h2 id=\"h-ai-gateways-auf-einen-blick\" class=\"wp-block-heading\">AI Gateways auf einen Blick<\/h2>\n\n\n\n<figure class=\"wp-block-table\"><table class=\"has-fixed-layout\"><thead><tr><td>Gateway<\/td><td>Selbst hostbar<\/td><td>Quelloffen<\/td><td>Guardrails<\/td><td>Betriebsaufwand<\/td><td>Am besten f\u00fcr<\/td><\/tr><\/thead><tbody><tr><td>LiteLLM<\/td><td>Ja<\/td><td>Ja (MIT)<\/td><td>Basis<\/td><td>Gering<\/td><td>Selbstgehostete, quelloffene Teams<\/td><\/tr><tr><td>Portkey<\/td><td>Eingeschr\u00e4nkt<\/td><td>Kern offen, dazu Managed<\/td><td>Stark (semantisches Caching, Guardrails)<\/td><td>Gering (gemanagt)<\/td><td>Governance und Observability<\/td><\/tr><tr><td>Kong AI Gateway<\/td><td>Ja<\/td><td>Kern offen<\/td><td>\u00dcber Plugins<\/td><td>Hoch<\/td><td>Bestehendes Kong, Enterprise<\/td><\/tr><tr><td>Cloudflare AI Gateway<\/td><td>Nein<\/td><td>Nein<\/td><td>Plattform-Features<\/td><td>Nahezu null<\/td><td>Apps im Cloudflare-\u00d6kosystem<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<h3 id=\"h-litellm-vs-kong-ai-gateway\" class=\"wp-block-heading\">LiteLLM vs Kong AI Gateway<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Kong AI Gateway bringt LLM-Routing in die ausgereifte API-Management-Plattform von Kong, mit einem starken Plugin-\u00d6kosystem, SSO und Funktionen wie PII-Redaction. Diese M\u00e4chtigkeit hat Gewicht: der Betrieb ist schwerer und setzt Kong-Infrastruktur darunter voraus. LiteLLM ist die leichtere, einfachere und in sich geschlossenere Option. Die ehrliche Daumenregel lautet, Kong zu nehmen, wenn du schon ein Kong-API-Mesh betreibst und deinen LLM-Traffic auf demselben Weg regeln willst. Sonst ist LiteLLM deutlich weniger Betrieb.<\/p>\n\n\n\n<h3 id=\"h-litellm-vs-cloudflare-ai-gateway\" class=\"wp-block-heading\">LiteLLM vs Cloudflare AI Gateway<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Cloudflare AI Gateway ist vollst\u00e4ndig gemanagt und verursacht nahezu null Betriebsaufwand. Es legt Caching und Analytics vor deine Provider und spielt seine St\u00e4rke aus, wenn deine Anwendung ohnehin im Cloudflare-\u00d6kosystem lebt. Der Kompromiss ist der bekannte bei gemanagten Diensten: du gibst etwas Kontrolle \u00fcber deine Daten ab und musst daf\u00fcr nichts selbst betreiben. LiteLLM ist die gegenteilige Wahl. Du betreibst es, und im Gegenzug bleibt der komplette Datenpfad in deiner Infrastruktur.<\/p>\n\n\n\n<h3 id=\"h-wo-vllm-und-ollama-hingehoren-keine-gateways\" class=\"wp-block-heading\">Wo vLLM und Ollama hingeh\u00f6ren (keine Gateways)<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Das ist der Vergleich, den Leute am h\u00e4ufigsten falsch ziehen. vLLM und Ollama sind keine Gateways, sondern Inference-Engines und Runtimes, die die Modelle tats\u00e4chlich ausf\u00fchren. Ein Gateway wie LiteLLM sitzt davor: es routet eine Anfrage an ein vLLM- oder Ollama-Backend genau so, wie es sie an einen Cloud-Provider routen w\u00fcrde. \u201eLiteLLM vs vLLM\u201d oder \u201eLiteLLM vs Ollama\u201d ist damit ein Kategorienfehler. Das eigentliche Muster ist der gemeinsame Einsatz, ein Gateway f\u00fcrs Routing und die Kontrolle, eine Runtime f\u00fcr die Inference. Wenn selbstgehostete Inference dein Ziel ist, sind die verlinkten Ollama-Anleitungen der richtige Startpunkt.<\/p>\n\n\n\n<h3 id=\"h-welches-ai-gateway-solltest-du-nehmen\" class=\"wp-block-heading\">Welches AI Gateway solltest du nehmen?<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Quelloffen und selbst gehostet: LiteLLM.<\/li>\n\n\n\n<li>Governance, Guardrails, Observability: Portkey.<\/li>\n\n\n\n<li>Kong l\u00e4uft schon oder Enterprise-Anforderungen: Kong AI Gateway.<\/li>\n\n\n\n<li>App im Cloudflare-\u00d6kosystem, null Betrieb: Cloudflare AI Gateway.<\/li>\n\n\n\n<li>Eigene Modelle betreiben: LiteLLM als Gateway mit vLLM oder Ollama als Runtime kombinieren.<\/li>\n<\/ul>\n\n\n\n<h2 id=\"h-so-hostest-du-litellm-auf-einem-vps\" class=\"wp-block-heading\">So hostest du LiteLLM auf einem VPS<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Von diesen vier ist LiteLLM am freundlichsten zum Self-Hosting, ein CPU-gebundener Proxy mit einer kleinen PostgreSQL-Datenbank, der bequem auf einem bescheidenen virtuellen Server l\u00e4uft. Ein VPS gibt dir Root-Zugang f\u00fcr Docker, volle Kontrolle \u00fcber deine Daten und die Option auf Datenhaltung in der EU. Willst du auch die Modelle selbst hosten, kombinierst du das Gateway mit einer GPU-Instanz, auf der vLLM oder Ollama l\u00e4uft. Bei Contabo bietet die Core VPS Reihe ein starkes Verh\u00e4ltnis von RAM zu Euro f\u00fcr das Gateway, dazu gibt es GPU-Optionen f\u00fcr die Inference. F\u00fcr das Deployment schau dir die verlinkte Docker-Anleitung an.<\/p>\n\n\n\n<h2 id=\"h-faq-litellm-und-andere-ai-gateways\" class=\"wp-block-heading\">FAQ: LiteLLM und andere AI Gateways<\/h2>\n\n\n\n<div class=\"schema-faq wp-block-yoast-faq-block\"><div class=\"schema-faq-section\" id=\"faq-question-1785931022992\"><strong class=\"schema-faq-question\">Was ist die beste Alternative zu LiteLLM?<\/strong> <p class=\"schema-faq-answer\">Das h\u00e4ngt von deinem Bedarf ab. Portkey ist die n\u00e4chstliegende Alternative, wenn du Governance und Guardrails als Managed Control Plane willst. Kong AI Gateway passt zu Unternehmen, die schon auf Kong sitzen, und Cloudflare AI Gateway zu gemanagten Setups im eigenen \u00d6kosystem. Speziell f\u00fcr quelloffenes Self-Hosting bleibt LiteLLM die f\u00fchrende Wahl.<\/p> <\/div> <div class=\"schema-faq-section\" id=\"faq-question-1785931032376\"><strong class=\"schema-faq-question\">LiteLLM oder Portkey, was ist besser?<\/strong> <p class=\"schema-faq-answer\">Keines von beiden ist pauschal besser. LiteLLM ist besser, wenn du ein quelloffenes Gateway willst, das du selbst hostest und besitzt. Portkey ist besser, wenn du gemanagte Governance, Guardrails, semantisches Caching und Observability willst, ohne die Infrastruktur zu betreiben. Die Entscheidung dreht sich vor allem um das Liefermodell, also Eigentum beim Self-Hosting gegen\u00fcber einer gemanagten Control Plane.<\/p> <\/div> <div class=\"schema-faq-section\" id=\"faq-question-1785931040256\"><strong class=\"schema-faq-question\">Ist vLLM eine Alternative zu LiteLLM?<\/strong> <p class=\"schema-faq-answer\">Nein. vLLM ist eine Inference-Engine, die Modelle ausf\u00fchrt, w\u00e4hrend LiteLLM ein Gateway ist, das Anfragen an Modell-Backends routet. Die beiden arbeiten auf unterschiedlichen Ebenen und werden typischerweise zusammen eingesetzt, LiteLLM davor, routend auf ein vLLM-Backend. vLLM erg\u00e4nzt LiteLLM also, statt es zu ersetzen.<\/p> <\/div> <div class=\"schema-faq-section\" id=\"faq-question-1785931047384\"><strong class=\"schema-faq-question\">Ist Ollama ein LLM Gateway?<\/strong> <p class=\"schema-faq-answer\">Nein. Ollama ist eine lokale Runtime, um Modelle auf eigener Hardware auszuf\u00fchren, kein Gateway. Ein Gateway wie LiteLLM kann davor sitzen und Anfragen an Ollama routen, neben anderen Providern. Willst du lokale Inference, nutzt du Ollama als Backend hinter deinem Gateway, nicht als Ersatz daf\u00fcr.<\/p> <\/div> <\/div>\n","protected":false},"excerpt":{"rendered":"<p>Wenn LiteLLM der quelloffene, selbstgehostete Standard f\u00fcrs Routing von LLM-Traffic ist, dann neigt jede der wichtigsten Alternativen in eine andere Richtung. Portkey legt Governance und Guardrails obendrauf, Kong AI Gateway passt zu Unternehmen, die Kong ohnehin betreiben, und Cloudflare AI Gateway ist die gemanagte, im eigenen \u00d6kosystem verankerte Option. Dieser Vergleich nimmt alle vier auseinander. [&hellip;]<\/p>\n","protected":false},"author":78,"featured_media":31570,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"_uag_custom_page_level_css":"","site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"set","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":"","_members_access_role":[],"_members_access_error":""},"categories":[3172],"tags":[3596,3404],"ppma_author":[4285],"class_list":["post-33095","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-vergleich","tag-ollama","tag-selbstgehostete-ki"],"uagb_featured_image_src":{"full":["https:\/\/contabo.com\/blog\/wp-content\/uploads\/2026\/06\/blog-head_litellm-vs-portkey-kong-cloudflare.webp",1200,630,false],"thumbnail":["https:\/\/contabo.com\/blog\/wp-content\/uploads\/2026\/06\/blog-head_litellm-vs-portkey-kong-cloudflare-150x150.webp",150,150,true],"medium":["https:\/\/contabo.com\/blog\/wp-content\/uploads\/2026\/06\/blog-head_litellm-vs-portkey-kong-cloudflare-600x315.webp",600,315,true],"medium_large":["https:\/\/contabo.com\/blog\/wp-content\/uploads\/2026\/06\/blog-head_litellm-vs-portkey-kong-cloudflare-768x403.webp",768,403,true],"large":["https:\/\/contabo.com\/blog\/wp-content\/uploads\/2026\/06\/blog-head_litellm-vs-portkey-kong-cloudflare.webp",1200,630,false],"1536x1536":["https:\/\/contabo.com\/blog\/wp-content\/uploads\/2026\/06\/blog-head_litellm-vs-portkey-kong-cloudflare.webp",1200,630,false],"2048x2048":["https:\/\/contabo.com\/blog\/wp-content\/uploads\/2026\/06\/blog-head_litellm-vs-portkey-kong-cloudflare.webp",1200,630,false]},"uagb_author_info":{"display_name":"Jie Guo","author_link":"https:\/\/contabo.com\/blog\/de\/author\/jieguo\/"},"uagb_comment_info":0,"uagb_excerpt":"Wenn LiteLLM der quelloffene, selbstgehostete Standard f\u00fcrs Routing von LLM-Traffic ist, dann neigt jede der wichtigsten Alternativen in eine andere Richtung. Portkey legt Governance und Guardrails obendrauf, Kong AI Gateway passt zu Unternehmen, die Kong ohnehin betreiben, und Cloudflare AI Gateway ist die gemanagte, im eigenen \u00d6kosystem verankerte Option. Dieser Vergleich nimmt alle vier auseinander.&hellip;","authors":[{"term_id":4285,"user_id":78,"is_guest":0,"slug":"jieguo","display_name":"Jie Guo","avatar_url":"https:\/\/secure.gravatar.com\/avatar\/4e0d981b06988d6d456834e9d55bc9e713e918fa8444325543d14f448154106b?s=96&d=mm&r=g","author_category":"","user_url":"","last_name":"Guo","first_name":"Jie","job_title":"","description":""}],"_links":{"self":[{"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/posts\/33095","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/users\/78"}],"replies":[{"embeddable":true,"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/comments?post=33095"}],"version-history":[{"count":3,"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/posts\/33095\/revisions"}],"predecessor-version":[{"id":33296,"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/posts\/33095\/revisions\/33296"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/media\/31570"}],"wp:attachment":[{"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/media?parent=33095"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/categories?post=33095"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/tags?post=33095"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/contabo.com\/blog\/de\/wp-json\/wp\/v2\/ppma_author?post=33095"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}