Ollama & Open WebUI auf dem eigenen Server einrichten

Kurz gesagt: Ollama installieren Sie unter Linux mit einem Befehl (curl -fsSL https://ollama.com/install.sh | sh). Danach laden Sie ein Modell (ollama run gemma3) und erreichen die API lokal unter Port 11434. Open WebUI gibt Ihnen eine Chat-Oberfläche im Browser und läuft als Docker-Container. Ollama lauscht standardmäßig nur auf 127.0.0.1; öffnen Sie den Port nie ungeschützt ins Internet, sondern setzen Sie einen Reverse Proxy mit Anmeldung davor.

Was Sie brauchen

• einen Linux-Server mit Root-Zugriff (zum Beispiel einen VPS)
• genug RAM für das Modell: mindestens die Download-Größe des Modells plus einige GB Reserve. Gemma 3 4B ist 3,4 GB groß, Llama 3.1 8B 4,9 GB (Ollama-Bibliothek, Oktober 2026). Welche Modelle auf CPU sinnvoll sind, erklärt KI-Server: CPU oder GPU?
• Docker für Open WebUI (siehe Docker Hosting)
• genug Speicherplatz, weil jedes Modell mehrere GB belegt

Schritt 1: Ollama installieren

curl -fsSL https://ollama.com/install.sh | sh

Das Skript installiert Ollama und richtet einen systemd-Dienst ein, der nach einem Neustart automatisch startet. Wer das Skript nicht direkt ausführen will, kann das Paket laut Ollama-Dokumentation auch manuell herunterladen und entpacken. Prüfen Sie den Dienst mit:

systemctl status ollama

Schritt 2: Ein Modell laden und testen

ollama run gemma3

Der erste Aufruf lädt das Modell herunter und öffnet einen Chat im Terminal. Über die API testen Sie so:

curl http://localhost:11434/api/generate -d '{"model": "gemma3", "prompt": "Was ist ein VPS?"}'

Mit ollama ps sehen Sie, welche Modelle geladen sind und ob sie auf CPU oder GPU laufen („100% CPU" bedeutet: komplett im Arbeitsspeicher). Standardmäßig bleibt ein Modell nach der letzten Anfrage 5 Minuten im Speicher; das steuern Sie mit dem Parameter keep_alive.

Schritt 3: Open WebUI per Docker starten

Open WebUI ist eine Chat-Oberfläche für Ollama und andere Modelle. Laut offizieller Quick-Start-Anleitung starten Sie sie so (Ollama läuft auf demselben Server):

docker run -d -p 127.0.0.1:3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  -e WEBUI_SECRET_KEY=<langes-zufaelliges-geheimnis> \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Wir haben die Portfreigabe gegenüber der Originalanleitung auf 127.0.0.1 beschränkt, weil Docker-Ports sonst an der Firewall vorbei erreichbar sind. Der Zugriff von außen läuft über den Reverse Proxy (Schritt 4). Beim ersten Aufruf legen Sie das Administratorkonto an; tun Sie das sofort, bevor jemand anderes es kann.

Schritt 4: Sicher von außen erreichbar machen

• Ollama nicht öffentlich freigeben. Laut Ollama-FAQ bindet Ollama standardmäßig an 127.0.0.1:11434. Ändern Sie das (über OLLAMA_HOST) nur, wenn ein anderer Server darauf zugreifen muss, und dann nur im privaten Netz oder mit Zugriffsschutz.
• Reverse Proxy mit HTTPS (Caddy, Traefik, nginx) vor Open WebUI, auf Port 443.
• Anmeldung erzwingen: Open WebUI hat eigene Benutzerkonten; deaktivieren Sie die freie Registrierung, wenn nur Ihr Team Zugang haben soll.
• Firewall: nur 443 (und 80 für Zertifikate) öffnen.

Realistische Erwartungen an CPU-Server

Auf einem Server ohne Grafikkarte antworten Modelle spürbar langsamer als auf einer GPU. Für kleine Modelle, wenige gleichzeitige Nutzer und Hintergrundaufgaben (Zusammenfassen, Klassifizieren, Entwürfe) ist das gut nutzbar. Für viele gleichzeitige Nutzer oder große Modelle brauchen Sie einen GPU-Server. Testen Sie mit Ihrem Modell und Ihren typischen Anfragen, bevor Sie sich festlegen.

Updates und Backups

• Ollama aktualisieren: das Installationsskript erneut ausführen.
• Open WebUI aktualisieren: neues Image ziehen und den Container neu erstellen; das Volume open-webui behält Ihre Daten.
• Sichern: das Volume open-webui (Konten, Chats, Einstellungen). Modelle müssen Sie nicht sichern, sie lassen sich neu herunterladen.

Ollama-Server mieten bei GB Hosting

Für kleine Modelle auf CPU eignen sich unsere Managed VPS mit dedizierter vCPU und bis zu 32 GB RAM, Root-Zugriff und Browser-Terminal, in Deutschland und mit AVV. Managed VPS ansehen

Häufige Fragen

Wie viel RAM braucht Ollama?

So viel wie das größte Modell, das Sie gleichzeitig laden, plus Reserve. Für Modelle bis etwa 8 Milliarden Parameter (bis ca. 5 GB) sind 16 GB RAM ein komfortabler Startpunkt.

Kann ich Ollama mit mehreren Nutzern teilen?

Ja, über Open WebUI mit Benutzerkonten. Bei vielen gleichzeitigen Anfragen wird ein CPU-Server aber schnell zum Engpass.

Ist Ollama DSGVO-konform?

Ollama verarbeitet Eingaben lokal auf Ihrem Server. Ob Ihr Betrieb DSGVO-konform ist, hängt vom Server, dem AVV mit dem Hoster und Ihrem Zugriffsschutz ab.