LLM-Inferenz auf einem GPU-VPS ausführen (Anleitung 2026)

Kurz gesagt. LLM-Inferenz auf einem GPU-VPS gibt dir einen privaten Modell-Endpunkt, volle Datensouveränität und planbare Fixkosten statt tokenbasierter Abrechnung. Du brauchst einen GPU-VPS mit ausreichend VRAM für dein Modell, Ubuntu 22.04 oder neuer, CUDA sowie Ollama oder vLLM als Laufzeitumgebung. Von der Bestellung bis zum ersten Inferenz-Call dauert es ca. 15 bis 30 Minuten.

Wer Inferenz selbst betreibt, behält die Kontrolle, die verwaltete APIs nicht bieten: Das Modell läuft auf deiner Hardware, Prompts und Antworten verlassen deinen Server nicht. Die Kostenlogik ist eine andere. Du zahlst einen festen Monatsbetrag, egal ob du tausend oder eine Milliarde Token verarbeitest – keine tokenbasierte Rechnung, die mit dem Nutzungsvolumen wächst. Eine verwaltete API ist für Prototypen mit geringem Traffic in Ordnung, bringt aber Latenz und macht dich vom Uptime- und Preissystem des Anbieters abhängig. Diese Anleitung richtet einen funktionierenden LLM-Endpunkt auf einem GPU-VPS von Grund auf ein.

Was du für LLM-Inferenz brauchst

Bevor du den Server provisionierst, prüfe folgende Voraussetzungen:

1. Ein GPU-VPS mit ausreichend VRAM für dein Zielmodell. Für quantisierte 70B-Modelle auf einer einzelnen Karte brauchst du mindestens 48 GB VRAM; für FP8- oder FP16-Inferenz mit 70B sind praktisch gesehen 80 GB oder mehr erforderlich. Die VRAM-Tabelle im nächsten Abschnitt ordnet die einzelnen Konfigurationen zu.
2. Ubuntu 22.04 LTS oder 24.04 LTS. Alle Befehle in dieser Anleitung sind auf Ubuntu ausgelegt. NVIDIA-Treiber und CUDA sind auf Contabo-Server-Images typischerweise vorinstalliert.
3. Root-SSH-Zugriff auf den Server.
4. Eine LLM-Laufzeitumgebung: Ollama für ein schnelles Single-User-Setup oder vLLM für Produktions-APIs mit hoher Parallelität. Die Vergleichstabelle weiter unten hilft bei der Entscheidung.
5. Speicherplatz für Modellgewichte. Ein 7B-Modell in FP16 belegt ca. 14 GB auf der Festplatte; ein 70B-Modell mit Q4-Quantisierung kommt auf rund 40 GB. Contabo-Server-Pläne beinhalten mindestens 1 TB Speicher, was die meisten Modellkonfigurationen abdeckt.

Für einen selbst gehosteten KI-Inferenz-Server ohne externe Abhängigkeiten müssen alle fünf Punkte erfüllt sein, bevor du beginnst.

VRAM für dein Modell richtig einplanen

VRAM ist der entscheidende Engpass. Passt das Modell nicht in den GPU-Speicher, weicht die Laufzeitumgebung auf System-RAM aus und die Inferenz wird deutlich langsamer. Nutze diese Tabelle, um die richtige GPU für LLM-Inferenz vor der Bestellung zu bestimmen:

Q4-Quantisierung reduziert den VRAM-Bedarf gegenüber FP16 um ca. 75 % bei vertretbarem Genauigkeitsverlust, der für die meisten LLM-Hosting- und Inferenz-Aufgaben akzeptabel ist. Für FP8- oder FP16-Inferenz mit 70B brauchst du eine GPU mit mindestens 80 GB VRAM auf einer einzelnen Karte.

Für die meisten selbst gehosteten LLM-Deployments ist eine 48-GB-GPU der praktische Ausgangspunkt. Sie verarbeitet jedes quantisierte 70B-Modell und bietet noch Spielraum für mehrere parallele Sessions. Größere Karten lohnen sich nur, wenn dein Workload nicht-quantisierte Genauigkeit erfordert oder an Kontextfenstergrenzen stößt.

Schritt 1: GPU-Server bestellen

1. Provisioniere einen GPU-Server mit ausreichend VRAM für dein Zielmodell. Bestätige deine Anforderung anhand der Tabelle im vorherigen Abschnitt vor der Bestellung.
2. Wähle dein Betriebssystem. Alle Befehle in dieser Anleitung sind auf der aktuellen Ubuntu-Distribution getestet. Wähle die Region, die deinen Nutzern am nächsten liegt, und schließe die Bestellung ab.
3. Melde dich per SSH als Root an:

   ssh root@DEINE_SERVER_IP

4. Prüfe, ob die GPU erkannt wird und der NVIDIA-Treiber geladen ist:

   nvidia-smi

Eine korrekte Ausgabe zeigt den installierten GPU-Modellnamen in der Titelzeile. Die Kopfzeile gibt Treiber- und CUDA-Version aus: Für Pre-Blackwell-GPUs sind Treiber 535.x oder höher zu erwarten; für Blackwell und neuere Architekturen 570.x oder höher. CUDA 12.x oder neuer wird auf beiden Pfaden vorausgesetzt. Gibt nvidia-smi „command not found“ zurück, ist der Treiber nicht geladen.

Schritt 2: CUDA und eine Inferenz-Laufzeit installieren

Der korrekte Treiberpfad hängt von deiner GPU-Architektur ab. NVIDIA unterteilt den Linux-GPU-Support ab Blackwell in zwei Tracks:

• Blackwell und neuer: erfordern den Open-GPU-Kernelmodul-Treiber, verfügbar ab Version 570. Ein älterer proprietärer Treiber funktioniert auf Blackwell-Hardware nicht.
• Pre-Blackwell (Hopper, Ada Lovelace, Ampere und früher): nutzen den traditionellen proprietären Kernelmodul-Treiber, verfügbar ab Version 535.

Prüfe, ob Treiber und CUDA verfügbar sind:

nvidia-smi
nvcc --version

Für Pre-Blackwell-GPUs meldet ein funktionierendes nvidia-smi einen Treiber 535.x oder höher. Für Blackwell und neuer wird 570.x oder höher erwartet. Wenn der falsche Treiber für deine Architektur installiert ist oder nvcc „command not found“ zurückgibt, installiere die korrekte Version:

# Blackwell und neuer: Open-GPU-Kernelmodul-Pfad (Treiber 570+)
sudo apt update && sudo apt install -y nvidia-open

# Pre-Blackwell: traditioneller proprietärer Pfad (falls Neuinstallation nötig)
sudo apt update && sudo apt install -y nvidia-driver-535

# CUDA-Toolkit (auf beiden Pfaden erforderlich, falls nicht vorhanden)
sudo apt update && sudo apt install -y cuda-toolkit-12-4

Mit bestätigtem CUDA wählst du deine Laufzeitumgebung.

Ollama

Ollama installiert sich mit einem einzigen Befehl und registriert sich sofort als Systemdienst:

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

Einen Einblick in die Automatisierungsmöglichkeiten von Ollama, einschließlich der Integration in n8n-Workflows, findest du im Artikel Was ist Ollama und wie nutzt du es mit n8n?.

vLLM

vLLM benötigt Python 3.9 oder neuer und CUDA 11.8 oder neuer. Installation per pip:

pip install vllm
python -c "import vllm; print(vllm.__version__)"

vLLM benötigt zusätzlich zum GPU-VRAM mindestens 8 GB System-RAM. Falls du in einer geteilten Python-Umgebung arbeitest, richte zuerst eine virtuelle Umgebung ein:

python -m venv .venv && source .venv/bin/activate
pip install vllm

Schritt 3: Modell starten und testen

Ollama

Lade ein Modell per Name und teste den lokalen Endpunkt:

# Modellgewichte herunterladen
ollama pull llama3.2:8b

# Ollama startet automatisch als Dienst auf Port 11434

# Synchronen Test-Request senden
curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2:8b","prompt":"Was ist 2+2?","stream":false}'

Eine erfolgreiche Antwort ist ein JSON-Objekt mit einem response-Feld, das die Modellantwort enthält. Das ist dein LLM-Inferenz-Endpunkt, der lokal läuft. Um den Server für andere Geräte im Netzwerk erreichbar zu machen, setze OLLAMA_HOST=0.0.0.0 vor dem Start des Dienstes.

vLLM

Starte den OpenAI-kompatiblen API-Server und sende einen Test-Completion:

# Server starten
python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-3.2-8B-Instruct \
  --host 0.0.0.0 --port 8000

# Test
curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"meta-llama/Llama-3.2-8B-Instruct","prompt":"Was ist 2+2?","max_tokens":50}'

Llama-3-Modelle auf Hugging Face erfordern das Akzeptieren der Meta-Lizenzvereinbarung, bevor der Download startet. Führe zuerst huggingface-cli login aus und bestätige die Bedingungen auf huggingface.co/meta-llama. Danach kann jeder OpenAI-kompatible Client auf http://DEINE_SERVER_IP:8000/v1 zeigen, ohne weitere Code-Änderungen.

Ollama vs. vLLM: Welche Laufzeit?

Die Entscheidung hängt von einer einzigen Variable ab: Wie viele parallele Nutzer werden den Endpunkt gleichzeitig nutzen?

Wähle Ollama, wenn du ein internes Tool baust oder alleine iterierst – oder immer dann, wenn ein Agent mit einem lokalen Modell mit minimalem Setup kommunizieren soll. Von der Installation bis zum ersten Inferenz-Call vergehen etwa zwei Minuten, ohne Konfigurationsaufwand. Die OpenAI-kompatible API bedeutet außerdem, dass dein Client-Code den Unterschied nicht kennen muss.

Wähle vLLM, wenn du einen geteilten API-Endpunkt über ein Team hinweg betreibst oder eine Produktionsanwendung mit parallelem Traffic bedienst. Der PagedAttention-Algorithmus übernimmt die Speicherverwaltung, die Hochlast-Inferenz erst möglich macht – auf Kosten einer aufwändigeren Ersteinrichtung. Da beide Laufzeiten dieselbe OpenAI-kompatible API-Oberfläche bieten, ist eine spätere Migration von Ollama zu vLLM eine einzige Base-URL-Änderung in deiner Client-Konfiguration.

FAQ: LLM-Inferenz auf einem GPU-VPS