KI Server mieten: Anbieter im Vergleich

von Christopher Prüfer Webhosting-Experte

Warum du hosttest vertrauen kannst

Seit 2006

aktiv

13’074

Kundenbewertungen seit 2006

13’601

Angebote im Vergleich

> 400

Anbieter

Unsere Testmethodik Über uns

Wie viel VRAM benötigt ein KI Server mit GPU für ein LLM?

Beim klassischen VPS ist vor allem der Arbeitsspeicher entscheidend. Beim LLM Hosting auf einem GPU Server rückt dagegen der VRAM der Grafikkarte in den Mittelpunkt.

Als grobe Orientierung können folgende Größenklassen dienen:

Für viele eigene KI-Anwendungen stellt ein Server mit 24 bis 48 GB VRAM einen besonders interessanten Bereich dar. Hier lassen sich bereits Modelle mit rund 20 bis 35 Milliarden Parametern betreiben, ohne direkt auf sehr kostspielige H100- oder H200-Systeme ausweichen zu müssen.

Warum ist VRAM beim AI Hosting so wichtig?

Damit ein Sprachmodell schnell auf einer GPU ausgeführt werden kann, sollten die benötigten Modellgewichte möglichst vollständig im Speicher der Grafikkarte liegen.

Passt das Modell nicht in den verfügbaren VRAM, können Teile davon in den normalen Arbeitsspeicher des Servers ausgelagert werden. Dieses sogenannte CPU Offloading ermöglicht zwar den Betrieb größerer Modelle, reduziert die Geschwindigkeit jedoch teilweise erheblich.

Ein Server mit viel System-RAM ist deshalb kein vollständiger Ersatz für ausreichend GPU-Speicher.

Für eine schnelle und interaktive LLM-Inferenz sollte die GPU daher genügend Reserven für folgende Bereiche besitzen:

• Modellgewichte
• KV-Cache
• Context Window
• Batch-Verarbeitung
• Framework und zusätzliche Berechnungen

Warum Quantisierung bei großen LLMs wichtig ist

Auch auf einem GPU Server spielt die Quantisierung eine zentrale Rolle. Ein Modell mit 70 Milliarden Parametern benötigt beispielsweise in BF16 allein für seine Modellgewichte grob mehr als 140 GB Speicher.

Mit einer 4-Bit-Quantisierung kann der Speicherbedarf erheblich reduziert werden. Dadurch lassen sich Modelle betreiben, für die ansonsten mehrere große Server-GPUs benötigt würden.

Für GPU-Inferenz kommen unter anderem folgende Formate infrage:

• GPTQ
• AWQ
• INT4
• FP8
• NVFP4

Welche Variante sinnvoll ist, hängt sowohl vom Modell als auch von der verwendeten GPU und Inferenzsoftware ab. Für maximale Modellqualität können BF16 oder FP16 interessant sein, während quantisierte Varianten meist ein deutlich besseres Verhältnis aus Speicherbedarf, Geschwindigkeit und Kosten bieten.

Welche GPU eignet sich für einen KI Server?

Nicht nur die Rechenleistung, sondern insbesondere die Speichergröße unterscheidet verschiedene GPUs deutlich voneinander.

NVIDIA L4 mit 24 GB:
Die L4 ist eine energieeffiziente Rechenzentrums-GPU und eignet sich gut für kleinere und mittelgroße LLMs. Mit 24 GB VRAM ist sie besonders für quantisierte Modelle bis ungefähr zur 20B- bis 30B-Klasse interessant.

NVIDIA L40S mit 48 GB:
Mit 48 GB VRAM bietet die L40S erheblich mehr Spielraum. Damit lassen sich größere Modelle, längere Context Windows und höhere Batch Sizes realisieren.

NVIDIA H100 mit 80 GB:
Die H100 gehört zu den leistungsstarken Server-GPUs für professionelle KI-Workloads. Neben 80 GB VRAM bietet sie eine sehr hohe Speicherbandbreite und eignet sich für große LLMs sowie hohe Inferenzlasten.

NVIDIA H200 mit 141 GB:
Die H200 erweitert die Hopper-Plattform um deutlich mehr und schnelleren HBM3e-Speicher. Mit 141 GB VRAM ist sie besonders interessant für sehr große Modelle und Anwendungen mit hohem Speicherbedarf.

Neben NVIDIA GPU Servern stehen weitere GPUs mit unterschiedlichen Speichergrößen zur Verfügung. Für die Wahl eines passenden AI Servers sollte daher nicht nur die GPU-Bezeichnung, sondern insbesondere der tatsächlich verfügbare VRAM berücksichtigt werden.

Single-GPU oder Multi-GPU Server?

Kleinere und mittelgroße LLMs lassen sich normalerweise auf einer einzelnen Grafikkarte betreiben. Bei größeren Modellen reicht der Speicher einer einzelnen GPU dagegen teilweise nicht mehr aus.

Dann kann das Modell auf mehrere Grafikkarten verteilt werden. Serving-Frameworks wie vLLM und SGLang unterstützen hierfür unter anderem Tensor Parallelism.

Typische Konfigurationen können beispielsweise sein:

• 1 × 24 GB GPU für kleinere und mittelgroße Modelle
• 1 × 48 GB GPU für Modelle um 30B und größere Context Windows
• 1 × 80 GB GPU für quantisierte 70B-Modelle
• 2 × 48 GB GPU für größere Modelle und mehr Reserven
• 2 × 80 GB oder mehr für große MoE-Modelle
• 4 oder 8 GPUs für sehr große Enterprise-Modelle

Bei Multi-GPU-Systemen spielt außerdem die Verbindung zwischen den einzelnen GPUs eine wichtige Rolle. Schnelle Interconnects wie NVLink können den Datenaustausch zwischen den Grafikkarten deutlich beschleunigen.

Welche Software eignet sich für LLM Hosting auf GPU Servern?

Während llama.cpp besonders für kleinere Modelle und CPU-basierte Systeme interessant ist, kommen bei größeren GPU-Servern häufig spezialisierte Serving-Lösungen zum Einsatz.

Zu den verbreiteten Möglichkeiten gehören:

• vLLM für schnelle und skalierbare LLM-Inferenz
• SGLang für leistungsfähiges Serving und komplexe LLM-Anwendungen
• Hugging Face Transformers für Entwicklung und flexible Modellintegration
• Ollama für einen besonders einfachen Einstieg
• llama.cpp für GGUF-Modelle und CPU-/GPU-Hybridbetrieb

Für produktive APIs mit mehreren gleichzeitigen Nutzern sind vLLM und SGLang besonders interessant. Beide können Modelle als OpenAI-kompatible API bereitstellen, sodass bestehende Anwendungen relativ einfach mit dem eigenen LLM verbunden werden können.

KI Server mit GPU oder normaler VPS für KI Hosting?

Ob ein klassischer VPS oder ein GPU Server die bessere Wahl ist, hängt hauptsächlich von der gewünschten Modellgröße und Geschwindigkeit ab.

Für sehr kleine Modelle bis etwa 4B oder 8B kann ein günstiges KI Hosting mit der CPU eines VPS vollkommen ausreichend sein. Die Kosten bleiben niedrig und für einfache Automatisierungen oder private Projekte genügt die Performance häufig.

Wer dagegen größere Modelle interaktiv einsetzen möchte, profitiert deutlich von einer GPU.

KI Server mit GPU vergleichen

Welcher GPU Server für dein KI Projekt geeignet ist, hängt vor allem vom gewünschten Sprachmodell, dem benötigten VRAM und der erwarteten Nutzung ab. Für ein quantisiertes Modell mit rund 20 bis 30 Milliarden Parametern kann bereits eine GPU mit 24 GB Speicher ausreichen, während große 70B- oder MoE-Modelle deutlich mehr GPU-Ressourcen benötigen.

In unserem KI Server Vergleich kannst du passende Serverangebote anhand von GPU, VRAM, Arbeitsspeicher, Prozessor, Speicherplatz, Standort und Preis vergleichen. So findest du eine passende Infrastruktur für dein eigenes LLM, ohne auf externe KI-APIs angewiesen zu sein.