Werbehinweis: Dieser Beitrag enthält Affiliate-Links zu Amazon, gekennzeichnet mit einem Sternchen (*). Kaufst du darüber, erhalte ich eine kleine Provision. Für dich ändert sich am Preis nichts.
Kurz gesagt: Für lokale KI zählt bei der Grafikkarte vor allem eins: der Grafikspeicher (VRAM). Er entscheidet, welche Sprachmodelle überhaupt laufen. 16 GB sind 2026 das sinnvolle Minimum, damit laufen Modelle bis etwa 14 Milliarden Parameter flüssig und gpt-oss-20b passt gerade so. Mein Einstiegstipp ist die RTX 5060 Ti mit 16 GB, aber nur die 16-GB-Version. Wer Modelle um 30 Milliarden Parameter will, braucht 24 bis 32 GB, also eine gebrauchte RTX 3090 oder eine RTX 5090. Durch die Speicherknappheit sind die Preise seit Ende 2025 stark gestiegen, und die RTX 50 Super mit mehr Speicher ist auf frühestens 2027 verschoben. Stand: Oktober 2026
Du hast keine Zeit, den ganzen Artikel zu lesen? Dann findest du hier vorab meine Empfehlungen auf einen Blick. Die Begründungen stehen weiter unten.
| Einsatzbereich | Empfehlung |
|---|---|
| Einstieg in lokale KI | RTX 5060 Ti 16 GB* Mein Tipp |
| Mehr Tempo bei 16 GB | RTX 5070 Ti 16 GB* |
| 24 GB zum kleinsten Preis | RTX 3090 24 GB (gebraucht oder generalüberholt)* |
| Maximum auf einer Karte | RTX 5090 32 GB* |
| AMD statt NVIDIA | Radeon RX 9060 XT 16 GB* |
| Sehr große Modelle (70 Mrd. Parameter) | Keine Grafikkarte, sondern Mac mini oder Mini-PC mit viel Speicher |
Ich nutze lokale KI für alles, was ich nicht in einen Cloud-Dienst kopieren will: anonymisierte Fehlermeldungen erklären lassen, Konzeptentwürfe glätten, ABAP-Code kommentieren. Welche Grafikkarte dafür reicht, ist die erste Frage, sobald man das zu Hause ausprobieren will. Hier meine Einordnung, ohne Gaming-Brille, aus Sicht von jemandem, der damit arbeiten will.
Warum der Grafikspeicher wichtiger ist als die Rechenleistung
Ein Sprachmodell muss komplett in den Grafikspeicher passen, damit es schnell läuft. Passt es nicht, lagert die Software Teile in den normalen Arbeitsspeicher aus, und das Tempo bricht drastisch ein. Eine langsamere Karte mit mehr Speicher ist für lokale KI deshalb oft die bessere Wahl als eine schnelle Karte mit wenig Speicher.
Als Faustregel gilt: Ein Modell braucht in der üblichen 4-Bit-Variante (Q4) etwa 0,6 GB pro Milliarde Parameter, dazu kommen 2 bis 4 GB für den Kontext, also den Text, den das Modell gerade verarbeitet. Lange Dokumente brauchen mehr Kontext und damit mehr Speicher.
| Grafikspeicher | Was realistisch läuft | Meine Einschätzung |
|---|---|---|
| 8 GB | Kleine Modelle bis etwa 8 Mrd. Parameter, mit wenig Kontext | Zu knapp, nicht für KI kaufen |
| 12 GB | Modelle bis etwa 12 Mrd. Parameter | Geht, aber du stößt schnell an Grenzen |
| 16 GB | Modelle bis 14 Mrd. bequem, gpt-oss-20b knapp | Das sinnvolle Minimum 2026 |
| 24 GB | Modelle um 27 bis 32 Mrd. Parameter | Deutlich bessere Antworten, guter Sweet Spot |
| 32 GB | 30-Mrd.-Modelle mit langem Kontext | Komfortabel, aber teuer |
| 40 GB und mehr | 70-Mrd.-Modelle | Mit einer Consumer-Karte nicht machbar |
Für den Berateralltag reichen Modelle mit 14 bis 30 Milliarden Parametern in den meisten Fällen. Sie fassen Workshop-Notizen zusammen, erklären Kurzdumps und formulieren Testfälle. An die großen Cloud-Modelle kommen sie nicht heran, aber dafür bleiben die Daten auf deinem Rechner.
Die Grafikkarten im Vergleich
Die Preise sind Richtwerte aus deutschen Preisvergleichen im Oktober 2026. Sie schwanken derzeit stark, deshalb lohnt sich ein Blick auf den aktuellen Preis.
| Grafikkarte | Speicher | Preis ca. (Okt. 2026) | Für wen | Link |
|---|---|---|---|---|
| RTX 5060 Ti 16 GB | 16 GB | ab ca. 770 € | Einstieg, gutes Verhältnis aus Preis, Strom und Software | RTX 5060 Ti 16 GB* |
| Radeon RX 9060 XT 16 GB | 16 GB | ab ca. 680 € | Wer AMD will und etwas Einrichtung nicht scheut | RX 9060 XT 16 GB* |
| RTX 5070 Ti | 16 GB | ab ca. 1.200 € | Gleicher Speicher, aber deutlich schneller | RTX 5070 Ti* |
| RTX 3090 (gebraucht) | 24 GB | stark schwankend, gebraucht | Am meisten Speicher fürs Geld | RTX 3090* |
| RTX 5090 | 32 GB | deutlich über 3.000 € | Schnellste Consumer-Karte, größter Speicher | RTX 5090* |
| Radeon AI Pro R9700 | 32 GB | stark schwankend | Workstation-Karte mit 32 GB für KI | Radeon AI Pro R9700* |
Einstieg: RTX 5060 Ti 16 GB
Für die meisten SAP-Berater ist das die Karte, mit der ich anfangen würde. 16 GB reichen für die Modelle, die im Alltag wirklich helfen, der Stromverbrauch ist moderat, und mit NVIDIA laufen Ollama und LM Studio ohne Bastelei. In Tests liegt sie bei einem 8-Mrd.-Modell bei rund 75 Tokens pro Sekunde. Zum Vergleich: Ab etwa 10 bis 15 Tokens pro Sekunde liest sich eine Antwort flüssig mit.
Achte beim Kauf genau auf die Bezeichnung. Die RTX 5060 Ti gibt es auch mit 8 GB, und die ist für KI die falsche Wahl, auch wenn sie ein paar hundert Euro günstiger ist.
RTX 5060 Ti 16 GB bei Amazon ansehen*
Mehr Tempo: RTX 5070 Ti
Die 5070 Ti hat ebenfalls 16 GB, rechnet aber deutlich schneller. Das merkst du vor allem, wenn du lange Dokumente einliest, denn das Verarbeiten der Eingabe hängt stark an der Rechenleistung. Mehr oder größere Modelle passen damit aber nicht drauf. Wer vor allem größere Modelle will, ist mit 24 GB besser bedient.
RTX 5070 Ti bei Amazon ansehen*
24 GB fürs Geld: gebrauchte RTX 3090
Die RTX 3090 ist von 2020, hat aber 24 GB Speicher und ist bei lokaler KI immer noch erstaunlich schnell. In Tests schafft sie bei einem 8-Mrd.-Modell rund 119 Tokens pro Sekunde, also mehr als die 5060 Ti. Damit laufen Modelle um 27 bis 32 Milliarden Parameter, die spürbar bessere Antworten liefern.
Die Nachteile: Neu gibt es sie praktisch nicht mehr, gebraucht hast du meist keine Garantie, und sie zieht unter Last rund 350 Watt. Auch die Gebrauchtpreise sind durch die Speicherknappheit gestiegen. Anfang 2026 lagen sie bei etwa 800 bis 950 Euro, seitdem eher darüber. Prüf vor dem Kauf, was vergleichbare Karten tatsächlich verkauft wurden, nicht nur die Angebotspreise.
Maximum: RTX 5090
32 GB, die schnellste Consumer-Karte, bei einem 8-Mrd.-Modell rund 250 Tokens pro Sekunde. Technisch die beste Wahl für lokale KI auf einer Karte. Der Preis ist aber 2026 völlig aus dem Ruder gelaufen und liegt deutlich über 3.000 Euro. Dazu kommt ein Netzteil mit mindestens 1.000 Watt. Für einen Berater, der KI nebenbei nutzt, ist das in meinen Augen nicht wirtschaftlich. Ein 70-Mrd.-Modell passt übrigens auch hier nicht in der üblichen Qualität in den Speicher.
NVIDIA, AMD oder Intel?
NVIDIA ist für lokale KI die bequemste Wahl. Fast jede Software ist zuerst für CUDA gebaut, und Ollama, LM Studio und llama.cpp laufen ohne Zusatzaufwand.
AMD ist inzwischen eine echte Alternative. Ollama und LM Studio unterstützen Radeon-Karten über ROCm oder Vulkan. Mit der Radeon AI Pro R9700 gibt es außerdem eine Karte mit 32 GB, die deutlich günstiger gestartet ist als eine RTX 5090. Rechne aber damit, dass die Einrichtung je nach Betriebssystem mehr Zeit kostet.
Intel bietet mit den Arc-Pro-Karten B60 (24 GB) und B70 (32 GB) viel Speicher, die Software ist aber noch weniger ausgereift. Das ist etwas für Leute, die gern basteln, nicht für den schnellen Einstieg.
Lohnt es sich, auf die RTX 50 Super zu warten?
Seit über einem Jahr kursieren Berichte über eine RTX 5070 Super mit 18 GB und eine RTX 5080 Super mit 24 GB. Für lokale KI wären das spannende Karten. NVIDIA hat sie aber bis heute weder angekündigt noch bepreist, der Start ist laut Berichten auf frühestens Anfang 2027 verschoben. Dazu kommt: Die größeren Speicherbausteine sind derzeit knapp und teuer, eine günstige 24-GB-Karte ist also auch dann nicht zu erwarten.
Meine Empfehlung: Wenn du jetzt mit lokaler KI arbeiten willst, kauf jetzt eine Karte mit 16 GB. Wenn du ohnehin keinen Druck hast, kannst du die Ankündigungen Anfang 2027 abwarten.
Was der Rest des Rechners braucht
- Netzteil: Für eine RTX 5060 Ti reichen meist 550 bis 650 Watt, für eine RTX 3090 oder 5070 Ti solltest du 750 bis 850 Watt einplanen, für eine RTX 5090 mindestens 1.000 Watt. Netzteile mit 850 Watt ansehen*
- Arbeitsspeicher: 32 GB sind das Minimum, 64 GB sind angenehm, wenn du nebenbei SAP GUI, Teams und den Browser offen hast.
- SSD: Modelle sind schnell 10 bis 20 GB groß. Eine schnelle NVMe-SSD mit mindestens 1 TB verkürzt die Ladezeiten. NVMe-SSDs ansehen*
- Software: Für den Start reichen Ollama oder LM Studio. Beide sind kostenlos und laden die Modelle mit wenigen Klicks.
Wie du den ganzen Arbeitsplatz rund um die KI aufbaust, steht in Der ideale KI-Arbeitsplatz.
Grafikkarte, Mac mini oder Laptop?
Eine Grafikkarte ist die schnellste Lösung, solange das Modell in den Speicher passt. Wer aber Modelle mit 70 Milliarden Parametern oder mehr laufen lassen will, kommt mit Consumer-Grafikkarten nicht weit. Dafür sind ein Mac mit viel gemeinsamem Speicher oder ein Mini-PC mit Ryzen AI Max+ und 128 GB die bessere Wahl. Die Gegenüberstellung steht in Lokale KI für SAP-Berater: Mac mini oder Mini-PC. Wer vor allem unterwegs arbeitet, findet die passende Hardware in Welcher Laptop für lokale KI?.
Wofür lokale KI im SAP-Projekt taugt
Der größte Vorteil ist der Datenschutz. Was lokal läuft, verlässt deinen Rechner nicht. Trotzdem gilt: Kundendaten gehören nur dann auf deinen Rechner, wenn dein Vertrag mit dem Kunden das erlaubt. Mehr dazu in Darf ich SAP-Kundendaten in ChatGPT kopieren?.
Gut funktionieren lokal das Zusammenfassen von Notizen, das Umformulieren von Konzepttexten, das Erklären von Fehlermeldungen und einfache ABAP-Fragen. Für komplexe Programmierung sind die großen Cloud-Modelle weiterhin klar besser, wie ich in ABAP mit KI: Joule, Copilot und Claude beschreibe. Einen Überblick über alle Werkzeuge gibt es in Die besten KI-Tools für SAP-Berater.
Mein Fazit
Für lokale KI kaufst du Grafikspeicher, nicht Spieleleistung. Die RTX 5060 Ti mit 16 GB ist 2026 der vernünftigste Einstieg. Wer bessere Antworten von größeren Modellen will, greift zu 24 GB, und das ist bei den aktuellen Preisen fast nur über eine gebrauchte RTX 3090 bezahlbar. Die RTX 5090 ist die beste Karte, aber für die meisten Berater kein sinnvolles Investment. Und wenn du Modelle mit 70 Milliarden Parametern willst, ist eine Grafikkarte grundsätzlich der falsche Weg.
Häufige Fragen
Wie viel VRAM brauche ich für lokale KI?
16 GB sind 2026 das sinnvolle Minimum. Damit laufen Modelle bis etwa 14 Milliarden Parameter flüssig. Für Modelle um 30 Milliarden Parameter brauchst du 24 bis 32 GB.
Reicht eine Grafikkarte mit 8 GB für lokale KI?
Für erste Versuche mit kleinen Modellen ja, für die tägliche Arbeit nein. Mit 8 GB bleiben nur kleine Modelle mit wenig Kontext, und die Antworten sind spürbar schwächer.
Welche Grafikkarte ist die beste für Ollama?
Für den Einstieg die RTX 5060 Ti mit 16 GB, weil Ollama auf NVIDIA-Karten ohne Zusatzaufwand läuft. Wer mehr Speicher braucht, nimmt eine gebrauchte RTX 3090 mit 24 GB oder eine RTX 5090 mit 32 GB.
Funktionieren AMD-Grafikkarten für lokale KI?
Ja. Ollama und LM Studio unterstützen Radeon-Karten über ROCm oder Vulkan. Die Einrichtung ist aber je nach Betriebssystem aufwendiger als bei NVIDIA.
Kann ich ein 70-Mrd.-Modell auf einer Grafikkarte laufen lassen?
In der üblichen Qualität nicht. Ein 70-Mrd.-Modell braucht in der 4-Bit-Variante rund 40 GB, mehr als jede Consumer-Karte hat. Dafür eignen sich ein Mac oder ein Mini-PC mit viel gemeinsamem Speicher besser.
Dieser Beitrag wurde mit KI-Unterstützung erstellt und von Andreas Böhm (SAP TM/EWM Berater) inhaltlich geprüft und redaktionell verantwortet. Preise und Leistungswerte stammen aus öffentlichen Preisvergleichen und Tests, Stand Oktober 2026, und können sich schnell ändern.
