{"id":32088,"date":"2026-06-11T12:47:00","date_gmt":"2026-06-11T10:47:00","guid":{"rendered":"https:\/\/contabo.com\/blog\/?p=32088"},"modified":"2026-07-09T14:16:32","modified_gmt":"2026-07-09T12:16:32","slug":"llm-inferenz-gpu-vps-anleitung","status":"publish","type":"post","link":"https:\/\/contabo.com\/blog\/de\/llm-inferenz-gpu-vps-anleitung\/","title":{"rendered":"LLM-Inferenz auf einem GPU-VPS ausf\u00fchren (Anleitung 2026)"},"content":{"rendered":"\n
\"LLM-Inferenz<\/figure>\n\n\n\n

Kurz gesagt.<\/strong> LLM-Inferenz auf einem GPU-VPS gibt dir einen privaten Modell-Endpunkt, volle Datensouver\u00e4nit\u00e4t und planbare Fixkosten statt tokenbasierter Abrechnung. Du brauchst einen GPU-VPS mit ausreichend VRAM f\u00fcr dein Modell, Ubuntu 22.04 oder neuer, CUDA sowie Ollama oder vLLM als Laufzeitumgebung. Von der Bestellung bis zum ersten Inferenz-Call dauert es ca. 15 bis 30 Minuten.<\/p>\n\n\n\n

Wer Inferenz selbst betreibt, beh\u00e4lt die Kontrolle, die verwaltete APIs nicht bieten: Das Modell l\u00e4uft auf deiner Hardware, Prompts und Antworten verlassen deinen Server nicht. Die Kostenlogik ist eine andere. Du zahlst einen festen Monatsbetrag, egal ob du tausend oder eine Milliarde Token verarbeitest \u2013 keine tokenbasierte Rechnung, die mit dem Nutzungsvolumen w\u00e4chst. Eine verwaltete API ist f\u00fcr Prototypen mit geringem Traffic in Ordnung, bringt aber Latenz und macht dich vom Uptime- und Preissystem des Anbieters abh\u00e4ngig. Diese Anleitung richtet einen funktionierenden LLM-Endpunkt auf einem GPU-VPS von Grund auf ein.<\/p>\n\n\n\n

Was du f\u00fcr LLM-Inferenz brauchst<\/h2>\n\n\n\n

Bevor du den Server provisionierst, pr\u00fcfe folgende Voraussetzungen:<\/p>\n\n\n\n

    \n
  1. Ein GPU-VPS mit ausreichend VRAM f\u00fcr dein Zielmodell. F\u00fcr quantisierte 70B-Modelle auf einer einzelnen Karte brauchst du mindestens 48 GB VRAM; f\u00fcr FP8- oder FP16-Inferenz mit 70B sind praktisch gesehen 80 GB oder mehr erforderlich. Die VRAM-Tabelle im n\u00e4chsten Abschnitt ordnet die einzelnen Konfigurationen zu.<\/li>\n\n\n\n
  2. Ubuntu 22.04 LTS oder 24.04 LTS. Alle Befehle in dieser Anleitung sind auf Ubuntu ausgelegt. NVIDIA-Treiber und CUDA sind auf Contabo-Server-Images typischerweise vorinstalliert.<\/li>\n\n\n\n
  3. Root-SSH-Zugriff auf den Server.<\/li>\n\n\n\n
  4. Eine LLM-Laufzeitumgebung: Ollama f\u00fcr ein schnelles Single-User-Setup oder vLLM f\u00fcr Produktions-APIs mit hoher Parallelit\u00e4t. Die Vergleichstabelle weiter unten hilft bei der Entscheidung.<\/li>\n\n\n\n
  5. Speicherplatz f\u00fcr Modellgewichte. Ein 7B-Modell in FP16 belegt ca. 14 GB auf der Festplatte; ein 70B-Modell mit Q4-Quantisierung kommt auf rund 40 GB. Contabo-Server-Pl\u00e4ne beinhalten mindestens 1 TB Speicher, was die meisten Modellkonfigurationen abdeckt.<\/li>\n<\/ol>\n\n\n\n

    F\u00fcr einen selbst gehosteten KI-Inferenz-Server ohne externe Abh\u00e4ngigkeiten m\u00fcssen alle f\u00fcnf Punkte erf\u00fcllt sein, bevor du beginnst.<\/p>\n\n\n\n

    VRAM f\u00fcr dein Modell richtig einplanen<\/h2>\n\n\n\n

    VRAM ist der entscheidende Engpass. Passt das Modell nicht in den GPU-Speicher, weicht die Laufzeitumgebung auf System-RAM aus und die Inferenz wird deutlich langsamer. Nutze diese Tabelle, um die richtige GPU f\u00fcr LLM-Inferenz vor der Bestellung zu bestimmen:<\/p>\n\n\n\n

    Modell<\/strong><\/th>Pr\u00e4zision<\/strong><\/th>VRAM (ca.)<\/strong><\/th>Min. GPU-VRAM<\/strong><\/th><\/tr><\/thead>
    7B<\/td>FP16<\/td>~14 GB<\/td>24 GB<\/td><\/tr>
    7B<\/td>Q4<\/td>~4 GB<\/td>8 GB<\/td><\/tr>
    13B<\/td>FP16<\/td>~26 GB<\/td>32 GB<\/td><\/tr>
    13B<\/td>Q4<\/td>~8 GB<\/td>16 GB<\/td><\/tr>
    70B<\/td>Q4<\/td>~38 GB<\/td>48 GB<\/td><\/tr>
    70B<\/td>FP8<\/td>~70 GB<\/td>80 GB<\/td><\/tr>
    70B<\/td>FP16<\/td>~140 GB<\/td>141 GB<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

    Q4-Quantisierung reduziert den VRAM-Bedarf gegen\u00fcber FP16 um ca. 75 % bei vertretbarem Genauigkeitsverlust, der f\u00fcr die meisten LLM-Hosting- und Inferenz-Aufgaben akzeptabel ist. F\u00fcr FP8- oder FP16-Inferenz mit 70B brauchst du eine GPU mit mindestens 80 GB VRAM auf einer einzelnen Karte.<\/p>\n\n\n\n

    F\u00fcr die meisten selbst gehosteten LLM-Deployments ist eine 48-GB-GPU der praktische Ausgangspunkt. Sie verarbeitet jedes quantisierte 70B-Modell und bietet noch Spielraum f\u00fcr mehrere parallele Sessions. Gr\u00f6\u00dfere Karten lohnen sich nur, wenn dein Workload nicht-quantisierte Genauigkeit erfordert oder an Kontextfenstergrenzen st\u00f6\u00dft.<\/p>\n\n\n\n

    Schritt 1: GPU-Server bestellen<\/h2>\n\n\n\n
      \n
    1. Provisioniere einen GPU-Server mit ausreichend VRAM f\u00fcr dein Zielmodell. Best\u00e4tige deine Anforderung anhand der Tabelle im vorherigen Abschnitt vor der Bestellung.<\/li>\n\n\n\n
    2. W\u00e4hle dein Betriebssystem. Alle Befehle in dieser Anleitung sind auf der aktuellen Ubuntu-Distribution getestet. W\u00e4hle die Region, die deinen Nutzern am n\u00e4chsten liegt, und schlie\u00dfe die Bestellung ab.<\/li>\n\n\n\n
    3. Melde dich per SSH als Root an:<\/li>\n<\/ol>\n\n\n\n
         ssh root@DEINE_SERVER_IP<\/code><\/pre>\n\n\n\n
        \n
      1. Pr\u00fcfe, ob die GPU erkannt wird und der NVIDIA-Treiber geladen ist:<\/li>\n<\/ol>\n\n\n\n
           nvidia-smi<\/code><\/pre>\n\n\n\n
        Eine korrekte Ausgabe zeigt den installierten GPU-Modellnamen in der Titelzeile. Die Kopfzeile gibt Treiber- und CUDA-Version aus: F\u00fcr Pre-Blackwell-GPUs sind Treiber 535.x oder h\u00f6her zu erwarten; f\u00fcr Blackwell und neuere Architekturen 570.x oder h\u00f6her. CUDA 12.x oder neuer wird auf beiden Pfaden vorausgesetzt. Gibt nvidia-smi<\/code> \u201ecommand not found“ zur\u00fcck, ist der Treiber nicht geladen.<\/p>\n\n\n\n
        Schritt 2: CUDA und eine Inferenz-Laufzeit installieren<\/h2>\n\n\n\n
        Der korrekte Treiberpfad h\u00e4ngt von deiner GPU-Architektur ab. NVIDIA unterteilt den Linux-GPU-Support ab Blackwell in zwei Tracks:<\/p>\n\n\n\n