Kurz gesagt: Ob ein normaler Server reicht oder Sie einen GPU-Server brauchen, hängt vor allem von der Modellgröße und der Zahl gleichzeitiger Nutzer ab. Kleine Sprachmodelle mit 1 bis 8 Milliarden Parametern (Download 1 bis 5 GB) laufen auf einem Server mit ausreichend RAM auch ohne Grafikkarte, nur langsamer. Große Modelle wie Llama 3.1 70B (43 GB) oder das vollständige DeepSeek-R1 (404 GB) brauchen GPU-Server mit sehr viel Grafikspeicher. Für Agenten, die Modelle per API nutzen, reicht ein normaler VPS ohnehin.
Drei Arten von „KI-Server"
- Server für KI-Anwendungen, die ein externes Modell per API nutzen, zum Beispiel Automatisierungen mit n8n, KI-Agenten oder ein MCP-Server. Hier rechnet das Modell beim Anbieter; Ihr Server braucht nur normale CPU, etwas RAM und eine stabile Verbindung. Ein VPS reicht.
- Server, auf dem ein Sprachmodell selbst läuft (LLM-Hosting), zum Beispiel mit Ollama. Hier entscheidet die Modellgröße über CPU oder GPU.
- Server zum Trainieren oder Feinabstimmen von Modellen. Dafür sind GPU-Server praktisch Pflicht.
Wie groß sind aktuelle Open-Source-Modelle?
Ein Modell muss vollständig in den Arbeitsspeicher (bei CPU-Betrieb) beziehungsweise in den Grafikspeicher (bei GPU-Betrieb) passen, dazu kommt Speicher für den Kontext. Die Download-Größen in der Ollama-Bibliothek (Standard-Quantisierung, Stand Oktober 2026):
| Modell | Download-Größe |
|---|---|
| Gemma 3 1B | 806 MB |
| DeepSeek-R1 1.5B | 1,1 GB |
| Gemma 3 4B | 3,4 GB |
| DeepSeek-R1 7B | 4,7 GB |
| Llama 3.1 8B | 4,9 GB |
| Gemma 3 12B | 8,2 GB |
| DeepSeek-R1 14B | 9,0 GB |
| Gemma 3 27B | 17 GB |
| DeepSeek-R1 32B | 20 GB |
| Llama 3.1 70B / DeepSeek-R1 70B | 43 GB |
| DeepSeek-R1 671B (volles Modell) | 404 GB |
Quelle: ollama.com/library. Faustregel (Estimated): Planen Sie als Arbeitsspeicher mindestens die Modellgröße plus einige GB für Kontext, Betriebssystem und Anwendung ein. Ein 8B-Modell mit 4,9 GB läuft also auf einem Server mit 8 GB RAM knapp, mit 16 GB entspannt.
CPU oder GPU: die Entscheidung
| Situation | CPU-Server (z. B. VPS) | GPU-Server |
|---|---|---|
| KI-Agenten / Automatisierungen mit API-Modellen | ✔ reicht | nicht nötig |
| Kleines Modell (bis ca. 8B), wenige Nutzer, Antwortzeit unkritisch | ✔ möglich | schneller |
| Interner Chat für ein Team mit mittelgroßem Modell (12B bis 32B) | nur mit viel RAM und Geduld | ✔ empfohlen |
| Große Modelle (70B und mehr), viele gleichzeitige Nutzer | ✘ | ✔ nötig |
| Training, Feinabstimmung, Bildgenerierung | ✘ | ✔ nötig |
Auf der CPU liefert ein Modell Antworten deutlich langsamer als auf einer passenden GPU. Für Tests, kleine Hilfsaufgaben (Texte zusammenfassen, Daten klassifizieren) oder Hintergrundjobs ist das oft in Ordnung. Für einen Chat, auf den viele Menschen gleichzeitig warten, meist nicht. Ob ein Modell auf CPU oder GPU läuft, zeigt bei Ollama der Befehl ollama ps.
Was kostet ein KI-Server?
- CPU-Server / VPS für Agenten und kleine Modelle: im Bereich normaler VPS-Preise; entscheidend ist ausreichend RAM.
- GPU-Server: deutlich teurer; der Preis hängt vor allem vom Grafikspeicher ab. Vergleichen Sie Stunden- und Monatspreise, und achten Sie auf Mindestlaufzeiten.
KI-Server in Deutschland und DSGVO
Ein eigener Server mit einem lokal laufenden Modell hat einen großen Datenschutz-Vorteil: Eingaben und Dokumente verlassen Ihren Server nicht. Achten Sie trotzdem auf:
- Serverstandort und Auftragsverarbeitungsvertrag mit dem Hoster
- Zugriffsschutz (ein offener Modell-Endpunkt ist für jeden nutzbar)
- Lizenzbedingungen des Modells für die kommerzielle Nutzung
Mehr dazu: KI DSGVO-konform nutzen.
Was GB Hosting anbietet
Für KI-Agenten, Automatisierungen und kleine lokale Modelle auf CPU eignen sich unsere Managed VPS mit dedizierter vCPU und bis zu 32 GB RAM in Deutschland. Wie Sie ein Modell mit Ollama selbst betreiben, zeigt der Artikel Ollama & Open WebUI auf eigenem Server. Für Agenten: KI-Agenten hosten.
Häufige Fragen
Kann ich DeepSeek auf einem normalen Server betreiben?
Die kleinen destillierten Varianten (1.5B bis 8B, 1 bis 5 GB) laufen auf einem Server mit ausreichend RAM auch ohne GPU. Das vollständige DeepSeek-R1 mit 671 Milliarden Parametern (404 GB) braucht spezialisierte GPU-Hardware.
Gibt es Windows Server mit Grafikkarte?
Ja, bei spezialisierten Anbietern. Für KI-Modelle wird aber meist Linux eingesetzt, weil die Werkzeuge dort am besten unterstützt werden.
Was ist besser: KI-API oder eigenes Modell?
Eine API ist einfacher und liefert die stärksten Modelle. Ein eigenes Modell gibt Ihnen volle Kontrolle über die Daten. Viele Teams kombinieren beides: sensible Daten lokal, alles andere per API.