Lokale KI auf dem eigenen Rechner: Ollama, LM Studio & Co.

Sprachmodelle lassen sich heute auch lokal betreiben, ohne dass Texte das eigene Gerät verlassen. Ein Überblick für Einsteiger:

Werkzeuge

• Ollama: Kommandozeile und lokale Schnittstelle, Modelle mit einem Befehl laden.
• LM Studio: grafische Oberfläche, Modelle suchen und direkt ausprobieren.
• llama.cpp: die Basis vieler Werkzeuge, für Bastler.

Was braucht man?

Entscheidend ist der Speicher: Das Modell muss in den Grafikspeicher oder den Arbeitsspeicher passen. Kleinere Modelle laufen auf normalen Laptops, große brauchen viel VRAM. Quantisierte Varianten (häufig im GGUF-Format) brauchen deutlich weniger Speicher, kosten aber etwas Qualität.

Realistische Erwartungen

• Lokale Modelle sind gut für Zusammenfassungen, Umformulieren, einfache Code-Hilfe und Experimente.
• Sie erfinden Fakten genauso wie Cloud-Modelle. Prüfen bleibt Pflicht.
• Lizenzen der Modelle lesen, besonders bei kommerzieller Nutzung.

Welche Modelle laufen bei euch gut, auf welcher Hardware? Bitte Hardware mit angeben, sonst sind Vergleiche schwierig.