Werbehinweis: Dieser Beitrag enthält Affiliate-Links, gekennzeichnet mit einem Sternchen (*). Als Amazon-Partner verdiene ich an qualifizierten Verkäufen. Für dich ändert sich am Preis nichts.
Kurz gesagt: Für ein lokales Sprachmodell, das Texte zusammenfasst, Logs erklärt und beim ABAP hilft, reicht ein Rechner mit mindestens 24 GB Arbeitsspeicher, etwa ein Mac mini M4 mit 24 oder 32 GB. Für größere Modelle mit rund 30 Milliarden Parametern ist ein Mac mini M4 Pro mit 48 GB die leise Allround-Lösung. Wer auch die ganz großen offenen Modelle wie gpt-oss-120b betreiben will, greift zu einem Mini-PC mit AMD Ryzen AI Max+ 395 und 128 GB. Die Software (Ollama oder LM Studio) ist kostenlos. Stand: Oktober 2026
Warum sollte man sich als SAP-Berater überhaupt einen eigenen KI-Rechner hinstellen, wenn ChatGPT, Claude und Copilot im Browser laufen? Die Antwort ist einfach: wegen der Daten. Logs, Workshop-Notizen, Spezifikationen mit Kundennamen. Vieles davon gehört nicht in ein Cloud-Tool, zumindest nicht ohne Auftragsverarbeitungsvertrag und Freigabe des Kunden. Warum das so ist, habe ich in Darf ich SAP-Kundendaten in ChatGPT kopieren? ausführlich beschrieben.
Ein lokales Sprachmodell läuft komplett auf deinem Rechner. Kein Text verlässt das Gerät, und du kannst es auch im Zug ohne Netz nutzen. Seit OpenAI, Meta, Google und Alibaba ihre Modelle offen anbieten, ist das kein Bastelprojekt mehr.
Was lokale Modelle können und was nicht
Ich will hier nichts schönreden. Ein lokales Modell auf einem Mac mini ist nicht so gut wie die großen Cloud-Modelle. Bei komplexen Architekturfragen oder langen Code-Reviews merkt man den Unterschied deutlich.
Für einen großen Teil der Alltagsarbeit reicht es aber locker: Workshop-Mitschriften zusammenfassen, einen Kurzdump erklären, eine Mail an den Kunden umformulieren, einen ersten Entwurf für ein Fachkonzept schreiben oder ABAP-Code kommentieren.
Und es gibt einen Einsatz, den ich besonders praktisch finde: Das lokale Modell anonymisiert einen Text, ersetzt also Namen, Benutzerkennungen und Adressen durch Platzhalter. Den bereinigten Text gibst du dann an das große Cloud-Modell. So bekommst du die bessere Antwort, ohne Kundendaten herauszugeben.
Wie viel Speicher brauchst du?
Die wichtigste Zahl bei lokaler KI ist nicht der Prozessor, sondern der Speicher. Das Modell muss komplett in den Arbeitsspeicher (beim Mac und bei Mini-PCs mit gemeinsamem Speicher) oder in den Grafikspeicher passen. Die Werte gelten für die üblichen komprimierten Versionen (4-Bit-Quantisierung), plus etwas Puffer für längere Texte.
| Modellgröße | Beispiele | Speicherbedarf | Reicht für |
|---|---|---|---|
| 7 bis 8 Mrd. Parameter | Llama 3.1 8B, Qwen3 8B | ca. 5 bis 6 GB | Zusammenfassen, Umformulieren, einfache Fragen |
| ca. 20 Mrd. (Mixture of Experts) | gpt-oss-20b | ca. 16 GB frei | Guter Allrounder, auch für Code-Erklärungen |
| ca. 30 Mrd. | Qwen3 32B, Gemma-Modelle | ca. 20 bis 24 GB | Längere Analysen, Fachkonzepte, ABAP |
| ca. 70 Mrd. | Llama 3.3 70B | ca. 42 bis 48 GB | Nah an älteren Cloud-Modellen, aber langsam |
| ca. 120 Mrd. (Mixture of Experts) | gpt-oss-120b | ca. 65 bis 80 GB | Nur mit 96- bis 128-GB-Systemen |
Faustregel: Plane rund 8 GB zusätzlich für Betriebssystem und Programme ein. Ein Mac mit 16 GB ist für gpt-oss-20b also zu knapp, mit 24 GB klappt es.
Die zweite wichtige Zahl ist die Speicherbandbreite. Sie bestimmt, wie schnell die Antwort kommt. Grafikkarten sind hier weit vorn, normaler Arbeitsspeicher in einem Büro-Laptop ganz hinten. Deshalb ist ein älteres Notebook mit 64 GB RAM zwar groß genug, aber quälend langsam.
Die drei Wege zum lokalen KI-Rechner
| Option | Speicher | Stärken | Für wen | Empfehlung |
|---|---|---|---|---|
| Mac mini M4 | 24 bis 32 GB | Leise, sparsam, klein, günstig | Einstieg, Modelle bis ca. 20 Mrd. Parameter | Mac mini M4* |
| Mac mini M4 Pro | bis 48 GB | Doppelte Bandbreite, schnell bei 30-Mrd.-Modellen | Allrounder für den Schreibtisch | Mac mini M4 Pro* |
| Mini-PC mit Ryzen AI Max+ 395 | 128 GB | Viel Speicher fürs Geld, große Modelle | Wer gpt-oss-120b und Co. lokal will | GMKtec EVO-X2* |
| Desktop mit Grafikkarte | 16 bis 32 GB Grafikspeicher | Am schnellsten bei kleinen und mittleren Modellen | Wer ohnehin einen PC hat oder auch spielt | RTX 5060 Ti 16 GB* |
Mac mini M4: Der günstige Einstieg
Der Mac mini ist für lokale KI fast schon die Standardempfehlung, und das zu Recht. Apple Silicon nutzt einen gemeinsamen Speicher für Prozessor und Grafik, das Modell kann also den ganzen Arbeitsspeicher nutzen. Dazu ist das Gerät leise, braucht im Betrieb nur wenige Watt und passt neben jeden Monitor.
Wichtig ist die Konfiguration. Das Grundmodell mit 16 GB ist für lokale KI zu knapp. Nimm mindestens 24 GB, besser 32 GB. Der Speicher lässt sich später nicht aufrüsten.
Der Haken: Für Modelle ab etwa 30 Milliarden Parametern ist der normale M4 zu schwach und zu klein. Wer mit SAP GUI arbeitet, braucht außerdem den SAP GUI for Java oder eine virtuelle Maschine, weil es SAP GUI for Windows für macOS nicht gibt.
Mac mini M4 bei Amazon ansehen*
Mac mini M4 Pro: Der leise Allrounder
Der M4 Pro hat mit 273 GB/s rund doppelt so viel Speicherbandbreite wie der normale M4. Mit 48 GB passen auch Modelle mit 30 Milliarden Parametern bequem hinein, und die Antworten kommen in einem Tempo, mit dem man flüssig arbeiten kann. Für mich ist das der Rechner, den ich den meisten Beratern empfehlen würde, die lokale KI ernsthaft nutzen wollen.
Der Haken: Mit 48 GB wird der Mac mini schnell vierstellig. Und die ganz großen Modelle mit 70 Milliarden Parametern laufen darauf nur knapp oder gar nicht.
Mac mini M4 Pro bei Amazon ansehen*
Mini-PC mit AMD Ryzen AI Max+ 395 und 128 GB
Diese Mini-PCs, etwa der GMKtec EVO-X2 oder der Beelink GTR9 Pro, sind die Überraschung der letzten Monate. Sie haben 128 GB schnellen Arbeitsspeicher, von dem sich ein Großteil als Grafikspeicher nutzen lässt. Damit läuft sogar gpt-oss-120b, laut Tests mit rund 30 Token pro Sekunde, also gut lesbar. Für so viel Speicher zahlt man bei Apple oder bei Grafikkarten deutlich mehr.
Der Haken: Bei großen klassischen Modellen wie Llama 3.3 70B wird es mit wenigen Token pro Sekunde zäh. Das Einlesen langer Texte ist ebenfalls spürbar langsamer als auf einer Nvidia-Grafikkarte. Und die Software-Unterstützung für AMD ist gut, aber nicht ganz so rund wie bei Nvidia oder Apple.
GMKtec EVO-X2 bei Amazon ansehen* · Beelink GTR9 Pro bei Amazon ansehen*
Desktop-PC mit Grafikkarte
Wer schon einen Desktop-PC hat, kommt mit einer Grafikkarte oft am günstigsten zu lokaler KI. Eine RTX 5060 Ti mit 16 GB reicht für gpt-oss-20b und kleinere Modelle und ist dabei sehr schnell. Eine RTX 5090 mit 32 GB schafft auch 30-Mrd.-Modelle mit Abstand am flottesten.
Der Haken: Mehr als 32 GB Grafikspeicher gibt es im Consumer-Bereich nicht. Für 70-Mrd.-Modelle reicht es also auf einer Karte nicht. Dazu kommen Lautstärke und Stromverbrauch, die RTX 5090 zieht unter Last bis zu 575 Watt. Welche Komplett-PCs sich anbieten, steht in Die besten PCs für Home-Office und Gaming.
RTX 5060 Ti 16 GB bei Amazon ansehen* · RTX 5090 bei Amazon ansehen*
Software: In 15 Minuten zum ersten lokalen Modell
Für den Start brauchst du nur ein kostenloses Programm. LM Studio hat eine grafische Oberfläche, in der du Modelle suchst, herunterlädst und wie in ChatGPT mit ihnen chattest. Ollama arbeitet über die Kommandozeile und eignet sich gut, wenn du das Modell später in andere Tools einbinden willst. Beide laufen unter Windows, macOS und Linux.
Mit Ollama sieht der Start so aus:
ollama run gpt-oss:20bBeim ersten Aufruf lädt Ollama das Modell herunter, bei gpt-oss-20b sind das rund 13 GB. Danach kannst du direkt loslegen. Wer eine Oberfläche im Browser möchte, kann zusätzlich Open WebUI installieren.
Ein Hinweis aus der Praxis: Installiere so etwas nicht auf dem Kunden-Laptop, ohne vorher die IT zu fragen. Lokale KI gehört auf deinen eigenen Rechner. Wer zwischen Kunden-Laptop und eigenem Gerät hin- und herwechselt, dem hilft ein KVM-Switch fürs Homeoffice.
Meine Empfehlung nach Budget
- Du willst es einfach mal ausprobieren: Nimm deinen vorhandenen Rechner und LM Studio mit einem kleinen 8-Mrd.-Modell. Kostet nichts.
- Du willst lokale KI täglich nutzen: Mac mini M4 mit 32 GB. Leise, sparsam, reicht für gpt-oss-20b.
- Du willst Modelle mit 30 Mrd. Parametern flüssig nutzen: Mac mini M4 Pro mit 48 GB oder ein PC mit RTX 5090.
- Du willst die größten offenen Modelle: Mini-PC mit Ryzen AI Max+ 395 und 128 GB.
Wer lieber mobil arbeitet, findet die passenden Notebooks in Welcher Laptop für lokale KI?. Und wie man den Arbeitsplatz rund um so einen Rechner einrichtet, steht in Der ideale KI-Arbeitsplatz.
Mein Fazit
Lokale KI ist für SAP-Berater kein Ersatz für die großen Cloud-Modelle, aber eine sehr gute Ergänzung. Alles, was du nicht guten Gewissens in die Cloud geben würdest, bleibt auf deinem Schreibtisch. Für die meisten reicht ein Mac mini mit 32 GB völlig aus. Wer mehr will, sollte zuerst auf den Speicher schauen und erst dann auf alles andere.
Die Preise für Arbeitsspeicher sind 2026 stark gestiegen. Vergleiche vor dem Kauf deshalb die aktuellen Angebote, die Unterschiede zwischen den Händlern sind teils erheblich.
Häufige Fragen
Welcher Rechner eignet sich für lokale KI?
Für den Einstieg ein Mac mini M4 mit 24 oder 32 GB Arbeitsspeicher. Für größere Modelle ein Mac mini M4 Pro mit 48 GB oder ein PC mit einer Grafikkarte mit 16 bis 32 GB Grafikspeicher. Für die größten offenen Modelle eignen sich Mini-PCs mit AMD Ryzen AI Max+ 395 und 128 GB.
Wie viel RAM brauche ich für gpt-oss-20b?
gpt-oss-20b braucht rund 16 GB freien Speicher. Plane zusätzlich etwa 8 GB für Betriebssystem und Programme ein. Ein Rechner mit 24 GB Arbeitsspeicher oder eine Grafikkarte mit 16 GB Grafikspeicher reicht also aus.
Ist lokale KI DSGVO-konform?
Wenn das Modell vollständig auf deinem Rechner läuft, verlassen die Daten das Gerät nicht. Damit entfällt die Übermittlung an einen Cloud-Anbieter. Du bleibst aber für den Umgang mit den Kundendaten verantwortlich und musst die Vorgaben deines Kunden einhalten.
Ollama oder LM Studio, was ist besser?
LM Studio ist einfacher, weil es eine grafische Oberfläche wie ChatGPT hat. Ollama arbeitet über die Kommandozeile und lässt sich besser in andere Programme einbinden. Beide sind kostenlos und laufen unter Windows, macOS und Linux.
Sind lokale Modelle so gut wie ChatGPT?
Nicht ganz. Bei komplexen Aufgaben sind die großen Cloud-Modelle deutlich besser. Für Zusammenfassungen, Umformulierungen, Code-Erklärungen und das Anonymisieren von Texten reichen lokale Modelle mit 20 bis 30 Milliarden Parametern im Alltag aber gut aus.
Dieser Beitrag wurde mit KI-Unterstützung erstellt und von Andreas Böhm inhaltlich geprüft und redaktionell verantwortet. Angaben zu Speicherbedarf und Geschwindigkeit basieren auf Herstellerangaben und veröffentlichten Tests, ohne eigenen Langzeittest. Preise und Verfügbarkeit können sich ändern.
