AMD hat bei ROCm in den letzten Monaten spürbar aufs Tempo gedrückt. Am 26. August 2026 erschien mit ROCm 10.0.0 die bisher aktuellste Hauptversion, und seit Sommer 2026 taktet der Hersteller neue Releases im starren Sechs-Wochen-Rhythmus, wie Phoronix nach dem Advancing-AI-Event in San Francisco berichtete. Für alle, die lokale Sprachmodelle nicht auf einer Nvidia-Karte, sondern auf einer AMD Radeon laufen lassen wollen, ist das eine gute Nachricht: Das Ökosystem reift spürbar schneller, als viele ältere Anleitungen im Netz suggerieren.
Diese Anleitung zeigt in 12 klaren Schritten, wie du ROCm unter Linux installierst, LM Studio und Ollama auf Radeon-Hardware zum Laufen bringst, dabei die typischen Stolperfallen umgehst und am Ende sogar ein eigenes kleines Chat-Projekt gegen den lokalen Server sprechen lässt. Anders als bei unserer RTX-5090-Anleitung für lokale KI geht es hier nicht um Nvidias CUDA-Welt, sondern um den offenen AMD-Stack, der 2026 in vielen Punkten aufgeholt hat. Wer bereits eine Radeon-Karte im Rechner hat oder aus Preis- oder Prinzipgründen zu AMD greifen will, findet hier den kompletten Weg von der ersten Treiberinstallation bis zum lauffähigen KI-Assistenten.
Warum AMD Radeon 2026 eine echte Alternative für lokale KI ist
Wer heute über lokale KI-Inferenz spricht, meint in den meisten Foren und Guides zuerst Nvidia. Das war lange auch berechtigt, denn CUDA hatte gegenüber ROCm einen jahrelangen Reifevorsprung, sowohl bei der Softwarequalität als auch bei der Zahl unterstützter Frameworks. Doch AMD hat in den letzten zwölf Monaten spürbar aufgeholt. Der Sechs-Wochen-Releasezyklus für ROCm bringt regelmäßig neue GPU-Unterstützung, Performance-Verbesserungen und Bugfixes, für die frühere Versionen oft mehrere Monate gebraucht haben. Gleichzeitig kosten aktuelle Radeon-Karten mit viel Videospeicher oft deutlich weniger als vergleichbare GeForce-Modelle, was für lokale Sprachmodelle direkt relevant ist: Größere Modelle brauchen vor allem eines, nämlich ausreichend VRAM, und nicht zwingend die schnellste verfügbare Rechenleistung.
Dazu kommt ein zweiter Trend auf der Hardwareseite: AMD hat auf der CES 2026 die Ryzen-AI-400-Serie und die Ryzen AI PRO 400 Serie vorgestellt, mit bis zu 60 TOPS NPU-Leistung und vollem ROCm-Software-Support für einen durchgängigen Workflow zwischen Cloud und lokalem Gerät. Das bedeutet in der Praxis: Wer heute ein neues System mit AMD-Plattform plant, bekommt NPU, CPU und eine ROCm-fähige Radeon-GPU aus einer Softwarewelt, ohne zwischen unterschiedlichen Treiberstacks jonglieren zu müssen. Für Notebooks und kompakte Systeme ergänzt das unsere frühere Anleitung zum Core-Ultra-NPU-Setup, nur eben auf der AMD-Seite des Marktes.
Ein weiterer Punkt, der in vielen älteren Vergleichen fehlt: AMD unterscheidet inzwischen klarer zwischen seiner Instinct-Serie für Rechenzentren und den Consumer-Radeon-Karten, die in dieser Anleitung im Mittelpunkt stehen. Die Instinct-Beschleuniger richten sich an Firmenkunden mit entsprechend höheren Preisen, während aktuelle Radeon-RX-Modelle bewusst auch für Hobby-Setups, kleine Büros und Entwickler-Workstations zugänglich bleiben. Genau diese Zielgruppe adressiert der Sechs-Wochen-Releasezyklus von ROCm besonders, weil neue Consumer-Kartengenerationen dadurch schneller offizielle Unterstützung bekommen, statt monatelang auf inoffizielle Community-Patches angewiesen zu sein.
Für Österreich kommt ein drittes Argument dazu, das über reine Hardwarepreise hinausgeht: Wer sensible Firmendaten, Kundendaten oder interne Dokumente verarbeitet, muss beim Einsatz von Cloud-KI-Diensten regelmäßig DSGVO-Fragen klären, etwa zu Auftragsverarbeitung, Serverstandort und Datenspeicherung außerhalb der EU. Ein lokal laufendes Modell auf eigener Hardware verlässt den Rechner nie und macht diese Diskussion in vielen Fällen komplett überflüssig. Das gilt für Einzelpersonen genauso wie für kleine Kanzleien, Ordinationen oder technische Teams, die mit vertraulichem Material arbeiten.
Diese Anleitung richtet sich an Linux-Nutzer, DIY-PC-Bauer und alle, die aus Preis- oder Prinzipgründen bewusst AMD statt Nvidia wählen. Du brauchst keine tiefen Vorkenntnisse in ROCm, solltest aber mit der Kommandozeile grundsätzlich vertraut sein und wissen, wie man ein Terminal öffnet und einfache Befehle ausführt. Alle Zeitangaben in dieser Anleitung gehen von einer normalen Breitbandverbindung aus. Bei langsameren Leitungen dauern die Download-Schritte entsprechend länger.
Was ist ROCm? Die Software-Basis kurz erklärt
ROCm, ausgeschrieben Radeon Open Compute, ist AMDs offener Software-Stack für GPU-Computing, das AMD-Pendant zu Nvidias CUDA. Anders als CUDA ist der Großteil von ROCm quelloffen, was einer der Gründe ist, warum viele Linux-Nutzer und Entwickler aus Prinzip lieber auf AMD setzen. ROCm besteht aus mehreren Schichten, die aufeinander aufbauen: ganz unten der Kernel-Treiber amdgpu, darüber die HIP-Laufzeitumgebung (Heterogeneous-compute Interface for Portability), die CUDA-Code weitgehend automatisiert in AMD-kompatiblen Code übersetzt, und schließlich Bibliotheken für Lineare Algebra, Faltungsoperationen und Deep Learning. Für die tägliche Diagnose kommen zwei Kommandozeilenwerkzeuge zum Einsatz: rocminfo zeigt Geräteinformationen an, rocm-smi liefert Auslastung, Temperatur und Speicherbelegung, ähnlich wie nvidia-smi auf der Nvidia-Seite.
Frameworks wie PyTorch und llama.cpp bauen auf dieser Basis auf, sodass Endanwender-Tools wie LM Studio und Ollama am Ende einfach eine ROCm-fähige GPU als Rechenbeschleuniger ansprechen können, ohne dass du selbst tief in die einzelnen Schichten eingreifen musst. Für dich als Nutzer heißt das konkret: Sobald der Treiber und ROCm sauber installiert sind, “sieht” jede Anwendung, die ROCm oder HIP unterstützt, deine Grafikkarte automatisch als Beschleuniger.
Ein praktisches Beispiel zur Einordnung: Entwickler, die bereits CUDA-Code geschrieben haben, kennen Funktionsaufrufe wie cudaMalloc oder cudaMemcpy für die Speicherverwaltung auf der GPU. HIP bietet dazu direkte Entsprechungen wie hipMalloc und hipMemcpy, die sich in vielen Fällen fast automatisiert aus bestehendem CUDA-Code ableiten lassen. Für die reine Nutzung von LM Studio oder Ollama musst du diese Ebene nie selbst anfassen, aber sie erklärt, warum ROCm in der Entwickler-Community zunehmend als ernstzunehmende Alternative gilt und nicht nur als Notlösung für alle, die keine Nvidia-Karte besitzen.
Wichtig für die Praxis: ROCm läuft nativ am stabilsten unter Linux, primär auf Ubuntu und RHEL, wie die offizielle ROCm-Installationsdokumentation von AMD zeigt. Unter Windows existiert kein offizieller ROCm-Treiberpfad für Consumer-Radeon-Karten in vergleichbarer Tiefe, weshalb Tools dort meist auf ein Vulkan-Backend ausweichen, das GPU-Beschleunigung ohne volle ROCm-Integration bietet. Das ist in der Praxis spürbar langsamer als natives ROCm, funktioniert aber ohne Linux-Umstieg. Wir behandeln in dieser Anleitung beide Wege, den Linux-Weg mit vollem ROCm-Support und die Windows-Alternative über Vulkan.
Voraussetzungen: Hardware, Betriebssystem und Versionen
Bevor du loslegst, solltest du deine Ausgangslage anhand der folgenden Tabelle prüfen. Die Versionsangaben entsprechen dem Stand Anfang September 2026 und werden sich durch den Sechs-Wochen-Zyklus von ROCm regelmäßig ändern, weshalb du vor der eigentlichen Installation immer kurz die aktuelle Versionsnummer auf der offiziellen Seite gegenprüfen solltest.
| Komponente | Minimum | Empfohlen |
|---|---|---|
| GPU | Radeon RX 6800 (16 GB VRAM) | Radeon RX 7900 XTX (24 GB VRAM) |
| Betriebssystem | Ubuntu 22.04 LTS | Ubuntu 24.04.2 LTS |
| ROCm-Version | ROCm 6.4.x | ROCm 10.0.0 (26.08.2026) |
| amdgpu-Treiber | 30.30.x | 31.40.1 (06.08.2026) |
| Arbeitsspeicher (RAM) | 16 GB | 32 GB oder mehr |
| Freier Speicherplatz | 30 GB | 100 GB (für mehrere Modelle) |
| Python | 3.10 | 3.11 oder neuer |
Zur Einordnung: Der aktuelle amdgpu-Treiber in Version 31.40.1 wurde laut der offiziellen AMD-Treiberhistorie am 6. August 2026 veröffentlicht, nur wenige Wochen vor ROCm 10.0.0. Beide Komponenten hängen eng zusammen, ein zu alter Treiber kann eine neue ROCm-Version ausbremsen oder inkompatibel machen, weshalb du bei der Installation im nächsten Abschnitt beide gemeinsam auf den neuesten Stand bringst. Wer bereits einen AMD-Grafiktreiber installiert hat, aber noch nie ROCm eingerichtet hat, findet ergänzende Grundlagen in unserer separaten Anleitung zum AMD-Treiber installieren.
Für Windows-Nutzer reicht zunächst ein aktueller Adrenalin-Treiber, dazu mehr im Abschnitt zur Windows-Alternative weiter unten. Prüfe zusätzlich, ob Secure Boot in deinem BIOS oder UEFI aktiv ist. Das ist keine Pflicht zum Deaktivieren, aber eine der häufigsten Fehlerquellen bei der Kernel-Modul-Signierung unter Linux, die wir im Troubleshooting-Abschnitt weiter unten noch einmal genauer aufgreifen.
Schritt 1 bis 3: Linux vorbereiten, Treiber und ROCm installieren
Schritt 1 ist ein sauberes System-Update. Öffne ein Terminal und bringe Ubuntu auf den aktuellen Stand, bevor du neue Kernel-Module installierst. Ein veraltetes System ist eine der häufigsten Ursachen für Abhängigkeitskonflikte bei der ROCm-Installation, deshalb solltest du diesen Schritt nicht überspringen, auch wenn er auf den ersten Blick unnötig wirkt:
sudo apt update && sudo apt full-upgrade -y
sudo apt install -y wget gnupg2 software-properties-common
sudo rebootSchritt 2 installiert den amdgpu-Kernel-Treiber zusammen mit den ROCm-Paketen. AMD stellt dafür ein eigenes Installationsskript bereit, das Repository und Pakete in einem Rutsch einrichtet, statt dass du manuell Paketquellen anlegen musst:
wget https://repo.radeon.com/amdgpu-install/latest/ubuntu/noble/amdgpu-install_6.4.60400-1_all.deb
sudo apt install -y ./amdgpu-install_6.4.60400-1_all.deb
sudo apt update
sudo amdgpu-install --usecase=graphics,rocm -yDer Parameter --usecase=graphics,rocm installiert sowohl den normalen Grafiktreiber, den du für Desktop und Spiele brauchst, als auch die ROCm-Compute-Pakete, die für KI-Workloads notwendig sind. Beides zusammen zu installieren spart dir später Ärger, falls eine Anwendung eine Bibliothek erwartet, die im reinen Grafikpaket fehlt. Der Vorgang dauert je nach Internetverbindung und Systemleistung zwischen fünf und fünfzehn Minuten, da mehrere hundert Megabyte an Paketen heruntergeladen und installiert werden.
Schritt 3 fügt deinen Benutzer den nötigen Systemgruppen hinzu und startet danach neu, damit die geänderten Rechte tatsächlich greifen. Ohne diesen Schritt sieht dein Benutzerkonto die GPU zwar über Diagnosewerkzeuge, darf sie aber nicht für Compute-Aufgaben nutzen, was zu einem der häufigsten Anfängerfehler führt, den wir weiter unten im Abschnitt zu typischen Fehlern noch einmal aufgreifen:
sudo usermod -aG render,video $LOGNAME
sudo rebootSchritt 4: Installation mit rocminfo und rocm-smi prüfen
Nach dem Neustart solltest du als Erstes prüfen, ob ROCm deine Karte tatsächlich erkennt, bevor du mit LM Studio oder Ollama weitermachst. Zwei Befehle reichen dafür aus und liefern innerhalb weniger Sekunden ein klares Ergebnis:
rocminfo | grep "Marketing Name"
rocm-smi --showproductname --showmeminfo vramErscheint der Name deiner Radeon-Karte und der korrekte VRAM-Wert in der Ausgabe, ist die Basisinstallation erfolgreich abgeschlossen und du kannst mit den nächsten Schritten fortfahren. Bleibt die Ausgabe leer oder bricht der Befehl mit einem Fehler ab, springe direkt zum Troubleshooting-Abschnitt weiter unten, dort steht die häufigste Ursache samt Lösung. Kontrolliere zusätzlich, welche ROCm-Version tatsächlich installiert wurde, weil die Standard-Paketquellen manchmal hinter der neuesten Version zurückliegen:
apt list --installed 2>/dev/null | grep rocm-coreZeigt der Befehl eine ältere Version als 10.0.0 an, kannst du mit sudo apt upgrade rocm-core gezielt nachziehen, sobald das entsprechende Repository eingebunden ist. In der Praxis reicht es meist, wenn du auf der aktuellen Minor-Version der 7er- oder 10er-Reihe landest, eine exakte Punktversion ist für die meisten Anwendungsfälle nicht entscheidend.
Schritt 5 und 6: LM Studio installieren und ROCm-Backend aktivieren
LM Studio ist die verbreitetste grafische Oberfläche für lokale Sprachmodelle und unterstützt AMD-GPUs über ein eigenes ROCm-Backend, ohne dass du selbst Bibliotheken kompilieren musst. Schritt 5: Lade das Linux-AppImage von der offiziellen LM-Studio-Website herunter, mache es ausführbar und starte es direkt aus dem Terminal:
chmod +x LM-Studio-*.AppImage
./LM-Studio-*.AppImageSchritt 6: LM Studio startet standardmäßig mit einem CPU- oder Vulkan-Backend, nicht automatisch mit ROCm. Um ROCm zu aktivieren, öffnest du die Einstellungen über das Zahnrad-Symbol unten links, wechselst zum Reiter Hardware und wählst dort explizit ROCm als Runtime aus der Dropdown-Liste aus. Ein Neustart der Anwendung ist danach erforderlich, damit LM Studio die GPU über den neuen Pfad korrekt initialisiert. Achte in der GPU-Übersicht der Anwendung darauf, dass deine Radeon-Karte mit dem korrekten VRAM-Wert auftaucht und nicht bloß “CPU” als Fallback angezeigt wird, denn genau das ist ein Zeichen dafür, dass die Umstellung nicht funktioniert hat.
Schritt 7 und 8: Erstes Modell laden und über den lokalen Server ansprechen
Schritt 7: Lade über den integrierten Modell-Browser ein quantisiertes Modell, zum Beispiel eine Q4_K_M-Version eines 7B- oder 13B-Modells. Die Quantisierungsstufe bestimmt, wie stark das Modell komprimiert ist, um in den vorhandenen VRAM zu passen: Q4_K_M ist ein guter Kompromiss zwischen Geschwindigkeit, Speicherbedarf und Antwortqualität und passt bereits auf Karten ab 12 GB VRAM. Starte danach im Chat-Tab eine kurze Testkonversation, um die Grundfunktion zu prüfen, bevor du dich um die API-Anbindung kümmerst.
Schritt 8: Für eigene Anwendungen aktivierst du den lokalen API-Server, der eine OpenAI-kompatible Schnittstelle auf Port 1234 bereitstellt. Klicke dazu im linken Menü auf “Local Server” und dann auf “Start Server”. Diese Kompatibilität ist praktisch, weil sie bedeutet, dass fast jede Bibliothek oder jedes Skript, das ursprünglich für die OpenAI-API geschrieben wurde, mit minimalen Anpassungen auch gegen deinen lokalen Server läuft. Anschließend kannst du das Modell per Code ansprechen, etwa mit diesem einfachen Python-Skript:
import requests
response = requests.post(
"http://localhost:1234/v1/chat/completions",
json={
"model": "local-model",
"messages": [
{"role": "user", "content": "Erkläre ROCm in zwei Sätzen."}
],
"temperature": 0.7
}
)
print(response.json()["choices"][0]["message"]["content"])Läuft dieses Skript fehlerfrei durch und liefert eine sinnvolle Antwort zurück, hast du eine funktionierende, komplett lokale KI-Pipeline auf ROCm-Basis, ganz ohne laufende Cloud-API-Kosten und ohne dass Anfragen oder Antworten deinen Rechner verlassen. Das ist der Punkt, an dem sich lokale KI von einem reinen Experiment zu einem echten Werkzeug für den Alltag wandelt.
Schritt 9 und 10: Ollama mit ROCm-Unterstützung einrichten
Ollama ist die command-line-orientierte Alternative zu LM Studio und eignet sich besonders, wenn du Modelle in eigene Skripte, Server-Dienste oder Automatisierungen einbinden willst, statt sie nur über eine grafische Oberfläche zu bedienen. Anders als bei unserer Anleitung zu Ollama auf Apple Silicon, wo die Unified-Memory-Architektur von Apple die Konfiguration vereinfacht, brauchst du unter Linux mit AMD-Hardware den zuvor installierten ROCm-Stack als Voraussetzung. Schritt 9 installiert Ollama mit dem offiziellen Skript, das ROCm automatisch erkennt, sofern die Treiber wie oben beschrieben bereits vorhanden sind:
curl -fsSL https://ollama.com/install.sh | sh
ollama --versionSchritt 10: Lade ein Modell herunter und prüfe in den Systemprotokollen, ob ROCm tatsächlich als Backend genutzt wird, statt stillschweigend auf die CPU zurückzufallen:
ollama pull llama3.1:8b
journalctl -u ollama -n 50 --no-pager | grep -i rocm
ollama run llama3.1:8b "Teste die GPU-Beschleunigung"Zeigt das Log einen Eintrag zu einem erkannten AMD-Gerät statt einer reinen CPU-Ausführung, läuft Ollama korrekt über ROCm. In Communitys wie r/LocalLLaMA berichten Nutzer regelmäßig, dass Tools wie Lemonade, die eine eigene, für AMD kompilierte Variante von llama.cpp mit sowohl Vulkan- als auch ROCm-Support mitbringen, als zusätzliche Option neben Ollama und LM Studio infrage kommen, falls einer der beiden Standardwege bei deiner konkreten Kartengeneration Probleme bereitet. Für den Einstieg reichen Ollama und LM Studio aber in den allermeisten Fällen völlig aus.
Schritt 11 und 12: Die Windows-Alternative mit Adrenalin-Treiber und Vulkan
Nicht jeder will für lokale KI auf Linux umsteigen, und das ist auch nicht zwingend nötig. Schritt 11: Installiere unter Windows den aktuellen AMD-Adrenalin-Treiber direkt von der AMD-Support-Seite für dein konkretes Kartenmodell. Führe danach einen sauberen Neustart durch, denn ein Update über eine bestehende Adrenalin-Installation hinweg hat in Nutzerberichten aus dem AMDHelp-Forum im Sommer 2026 gelegentlich zu entfernten Adrenalin-Komponenten geführt, weshalb eine frische Installation über die deinstallierte alte Version empfehlenswert ist, sobald Probleme auftreten.
Schritt 12: Installiere LM Studio für Windows und wähle in den Hardware-Einstellungen statt ROCm das Vulkan-Backend, da ROCm unter Windows für Consumer-Radeon-Karten keine offizielle Unterstützung bietet. Community-Tests zeigen, dass sich mehrere Radeon-Karten unter Windows in LM Studio gleichmäßig die Last teilen können, wenn Vulkan als Backend aktiv ist, was für Nutzer mit zwei älteren Karten im selben System interessant ist. Die Performance liegt unter Vulkan spürbar unter einem nativen ROCm-Setup auf Linux, für den Einstieg, gelegentliche Nutzung oder wenn du deinen Rechner ohnehin primär für Windows-Anwendungen brauchst, reicht das aber völlig aus.
Welche Radeon-GPU passt zu welcher Modellgröße?
Die Wahl der passenden Grafikkarte hängt fast ausschließlich vom verfügbaren VRAM ab, nicht von der reinen Rechenleistung in Teraflops. Ein 7B-Modell in Q4-Quantisierung braucht grob 5 bis 6 GB Videospeicher, ein 13B-Modell etwa 8 bis 9 GB und ein 70B-Modell in starker Quantisierung schnell 40 GB oder mehr, weit über das hinaus, was eine einzelne Consumer-Karte bietet. Die folgende Tabelle ordnet aktuelle Radeon-Modelle nach ihrem offiziell verbauten Videospeicher und einer realistischen Einschätzung ein, welche Modellgrößen jeweils komfortabel laufen.
| GPU-Modell | VRAM | Empfohlene Modellgröße | ROCm-Unterstützung |
|---|---|---|---|
| Radeon RX 7700 XT | 12 GB | bis 7B (Q4) | Offiziell seit ROCm 6.4.2 |
| Radeon RX 6800 XT | 16 GB | bis 13B (Q4) | Offiziell unterstützt |
| Radeon RX 7900 XT | 20 GB | bis 13B (Q5/Q6) | Offiziell unterstützt |
| Radeon RX 7900 XTX | 24 GB | bis 34B (Q4) | Offiziell unterstützt |
Für sehr große 70B-Modelle brauchst du entweder eine Profi-Karte mit deutlich mehr VRAM oder mehrere Radeon-Karten im Verbund, dazu mehr im Abschnitt zu Profi-Tipps weiter unten. Wer von Anfang an ein System mit mehreren GPUs plant, findet einen ausführlichen Aufbau-Leitfaden in unserer Anleitung zur Multi-GPU-Workstation für KI, deren Grundprinzipien beim Kartenzusammenspiel auch für reine AMD-Systeme gelten. Für die meisten Alltagsaufgaben, von Code-Vervollständigung bis Textzusammenfassung, reicht ein 7B- oder 13B-Modell auf einer Karte mit 16 GB VRAM bereits sehr gut, ohne dass du in die teuersten Kartenklassen investieren musst.
Benchmark: Tokens pro Sekunde im Vergleich
Nach der Einrichtung willst du natürlich wissen, wie schnell dein konkretes Setup tatsächlich ist. Ein einfacher, gut reproduzierbarer Test ist eine feste Prompt-Länge mit fixer Antwortlänge, gemessen über die “tokens per second”-Anzeige, die sowohl LM Studio als auch Ollama direkt im Interface einblenden. Miss dabei immer mehrere Durchläufe hintereinander und bilde den Mittelwert, da der allererste Lauf durch das Laden des Modells in den VRAM spürbar verzerrt ist und keine realistischen Werte liefert. Eine ausführliche, allgemeine Anleitung zur Messmethodik findest du in unserem separaten GPU-Benchmark-Tutorial, dessen Grundprinzipien sich eins zu eins auf lokale KI-Workloads übertragen lassen.
| Setup | Modell | Backend | Richtwert Tokens/Sek |
|---|---|---|---|
| RX 6800 XT, Linux | 7B Q4_K_M | ROCm | ca. 35–45 |
| RX 7900 XTX, Linux | 13B Q4_K_M | ROCm | ca. 45–55 |
| RX 7900 XTX, Linux | 7B Q4_K_M | ROCm | ca. 70–85 |
| RX 7900 XT, Windows | 7B Q4_K_M | Vulkan | ca. 40–55 |
Diese Richtwerte schwanken je nach Kontextlänge, Hintergrundlast des Systems und exakter Quantisierungsmethode spürbar, dienen aber als grobe Orientierung, um dein eigenes Setup realistisch einzuordnen. Auffällig und in mehreren Community-Berichten aus dem LocalLLaMA-Forum bestätigt: Natives ROCm unter Linux liegt in der Praxis meist merklich vor Vulkan unter Windows, besonders bei größeren Modellen und langen Kontextfenstern. Wer regelmäßig mit langen Dokumenten arbeitet, profitiert also überproportional vom Umstieg auf Linux.
AMD Radeon vs. Nvidia GeForce: Was lohnt sich für lokale KI?
Die Entscheidung zwischen AMD und Nvidia für lokale KI ist selten rein technisch, sondern hängt stark vom Budget, dem gewünschten Betriebssystem und davon ab, ob du bereits Erfahrung mit einem der beiden Ökosysteme hast. Nvidia punktet nach wie vor mit dem reiferen Software-Stack: CUDA ist seit über 15 Jahren die Standardplattform für GPU-Computing, entsprechend läuft nahezu jedes KI-Framework dort ohne Umwege, wie wir auch in unserer Anleitung zur RTX 5080 für lokale KI gezeigt haben. Wer maximale Kompatibilität mit möglichst wenig Fehlersuche will, ist mit Nvidia nach wie vor auf der sicheren Seite.
AMD punktet dafür an anderer Stelle. Radeon-Karten mit viel VRAM sind im Vergleich zu ähnlich ausgestatteten GeForce-Modellen oft günstiger zu bekommen, was für lokale Sprachmodelle direkt einzahlt, weil die Modellgröße meist stärker vom Videospeicher als von der reinen Rechenleistung begrenzt wird. Dazu kommt der offene Charakter von ROCm: Wer aus Prinzip auf Open-Source-Software setzt oder unter Linux entwickelt, findet in AMD ein Ökosystem, das näher an den eigenen Werten liegt als ein primär geschlossener Treiberstack. Der Sechs-Wochen-Releasezyklus zeigt außerdem, dass AMD den Rückstand ernst nimmt und aktiv daran arbeitet, ihn zu verkleinern, statt Community-Kritik zu ignorieren.
Die praktische Empfehlung: Wer bereits eine aktuelle Radeon-Karte besitzt, sollte sie unbedingt für lokale KI nutzen, der Aufwand aus dieser Anleitung amortisiert sich schnell. Wer eine neue Karte explizit für KI-Workloads kauft und maximale Kompatibilität ohne Umwege will, sollte den etwas höheren Preis für eine vergleichbare Nvidia-Karte gegen den Zeitaufwand für ROCm-Troubleshooting abwägen. Für die allermeisten Alltagsanwendungen, von lokalen Chatbots bis zu Code-Assistenten, liefert eine gut konfigurierte Radeon-Karte 2026 aber Ergebnisse, die sich vor der Konkurrenz nicht verstecken müssen.
Ein oft übersehener Aspekt bei diesem Vergleich ist die Stromrechnung im Dauerbetrieb. Wer ein lokales Modell nicht nur gelegentlich testet, sondern etwa als dauerhaft laufenden Support-Bot oder Dokumenten-Assistenten betreibt, sollte die Leistungsaufnahme der jeweiligen Karte unter Volllast in die Rechnung einbeziehen, nicht nur den Anschaffungspreis. Radeon-Karten mit hohem VRAM liegen bei der Leistungsaufnahme in einer ähnlichen Größenordnung wie vergleichbare GeForce-Modelle, größere Unterschiede ergeben sich meist erst zwischen unterschiedlichen Leistungsklassen, nicht zwischen den Herstellern selbst. Für eine belastbare eigene Kalkulation lohnt sich ein kurzer Blick in rocm-smi während eines längeren Inferenzlaufs, das Tool zeigt die aktuelle Leistungsaufnahme direkt mit an.
Docker-Alternative: ROCm ohne Eingriffe ins Basissystem
Wer nicht direkt Treiber und Pakete auf dem Hauptsystem installieren will, etwa weil der Rechner auch für andere Aufgaben läuft, kann ROCm-Workloads stattdessen in einem Docker-Container isolieren. AMD stellt dafür offizielle Images bereit, die bereits die passenden ROCm-Bibliotheken enthalten. Der Host-Rechner braucht dabei trotzdem den amdgpu-Kernel-Treiber aus Schritt 2, aber nicht zwingend das vollständige ROCm-Userland-Paket, was Konflikte mit anderer Software reduziert:
docker pull rocm/dev-ubuntu-24.04:latest
docker run -it --device=/dev/kfd --device=/dev/dri \
--group-add video --group-add render \
rocm/dev-ubuntu-24.04:latest rocminfoDie beiden Device-Flags geben dem Container direkten Zugriff auf die GPU-Hardware, während die Group-Add-Parameter dieselben Berechtigungen weitergeben, die du in Schritt 3 für deinen eigenen Benutzer eingerichtet hast. Dieser Weg eignet sich besonders für Entwickler, die verschiedene ROCm-Versionen parallel testen wollen, ohne bei jedem Wechsel das Basissystem neu aufzusetzen, oder für Serverumgebungen, in denen ein sauber abgegrenzter Container ohnehin Pflicht ist.
5 häufige Fehler beim ROCm-Setup – und wie du sie vermeidest
Die meisten Probleme beim ersten ROCm-Setup lassen sich auf eine Handvoll wiederkehrender Ursachen zurückführen, die in praktisch jedem einschlägigen Support-Forum in ähnlicher Form auftauchen. Wer diese fünf Punkte vorab kennt und gezielt gegenprüft, spart sich beim eigenen Aufbau viel Zeit und einiges an Frust, gerade beim allerersten Versuch:
- Falsche Ubuntu-Version: ROCm unterstützt jeweils nur bestimmte Ubuntu-LTS-Releases offiziell, nicht jede beliebige Zwischenversion. Prüfe vor der Installation auf der ROCm-Dokumentationsseite, ob deine genaue Version gelistet ist, statt blind die allerneueste Ubuntu-Version zu installieren, die möglicherweise noch keine offizielle ROCm-Unterstützung hat.
- Secure Boot blockiert Kernel-Module: Ist Secure Boot im BIOS aktiv, verweigert der Kernel unsignierte amdgpu-Module und die Installation scheint erfolgreich, funktioniert aber nicht. Entweder deaktivierst du Secure Boot im BIOS, oder du signierst die Module manuell mit einem eigenen MOK-Schlüssel (Machine Owner Key), was etwas mehr Aufwand bedeutet, aber Secure Boot aktiv lässt.
- Benutzergruppen vergessen: Ohne Mitgliedschaft in den Gruppen render und video sieht dein System die GPU zwar über rocminfo, aber Anwendungen wie LM Studio verweigern den Zugriff mit kryptischen Rechtefehlern, die auf den ersten Blick nach einem Installationsfehler aussehen, aber reine Berechtigungsprobleme sind.
- Veraltetes Paket-Repository: Wer das ROCm-Repository einmal eingebunden hat und danach nie wieder ein System-Update durchführt, bleibt oft auf einer alten Minor-Version hängen und verpasst neue GPU-Unterstützung und Bugfixes aus dem Sechs-Wochen-Zyklus, ohne es überhaupt zu bemerken.
- Falsches Backend in LM Studio gewählt: Bleibt das Backend in den Einstellungen auf “CPU” oder “Auto” stehen, nutzt LM Studio die GPU gar nicht oder nur über den spürbar langsameren Vulkan-Pfad. Stelle es aktiv auf ROCm um und starte die Anwendung danach vollständig neu, ein bloßes Neuladen des Fensters reicht dafür oft nicht aus.
Troubleshooting: 8 typische Probleme und Lösungen
Auch bei sorgfältiger Installation nach Anleitung tauchen gelegentlich Probleme auf, die auf den ersten Blick verwirrend wirken. Diese Tabelle deckt die häufigsten Fälle ab, wie sie in Community-Foren wie r/ROCm und r/LocalLLaMA immer wieder diskutiert werden, zusammen mit der jeweils wahrscheinlichsten Ursache und einer konkreten Lösung, die du direkt ausprobieren kannst.
| Problem | Wahrscheinliche Ursache | Lösung |
|---|---|---|
| rocminfo zeigt keine GPU | Benutzer nicht in Gruppe render/video | usermod -aG render,video ausführen, neu starten |
| Installation bricht mit Abhängigkeitsfehler ab | Nicht unterstützte Ubuntu-Version | Auf gelistete LTS-Version wechseln oder Docker-Image nutzen |
| LM Studio erkennt ROCm nicht als Option | Veraltete LM-Studio-Version | Auf aktuelle Version aktualisieren, App neu installieren |
| Inferenz extrem langsam trotz GPU-Erkennung | Modell läuft teilweise auf CPU (Offloading falsch konfiguriert) | GPU-Layer-Anzahl in den Modelleinstellungen manuell erhöhen |
| Absturz bei langen Kontexten | VRAM durch Kontextfenster erschöpft (Out of Memory) | Kontextlänge reduzieren oder stärker quantisiertes Modell laden |
| Mehrere GPUs werden ungleich genutzt | Kein Multi-GPU-Split konfiguriert | Tensor-Split-Option im Frontend aktivieren |
| Windows: Adrenalin-Suite nach Update weg | Fehlerhaftes Treiber-Update | Alten Treiber vollständig deinstallieren, sauber neu installieren |
| API-Server unter Port 1234 nicht erreichbar | Firewall blockiert lokalen Port | Portfreigabe in der Firewall für localhost prüfen |
Falls dein Problem nicht in dieser Liste auftaucht, lohnt sich ein Blick in die Ausgabe von dmesg | tail -50 direkt nach dem Auftreten des Fehlers. Die meisten treiberbezogenen Probleme hinterlassen dort eine konkrete Fehlermeldung, die sich gezielt googeln lässt, statt auf gut Glück verschiedene Lösungen durchzuprobieren. Achte beim Suchen speziell auf Meldungen mit den Begriffen amdgpu, kfd oder hip, das sind die drei Bausteine, die bei den meisten Startproblemen betroffen sind.
Bei hartnäckigen Fällen, die auch nach mehreren Anläufen nicht verschwinden, hilft oft ein kompletter Rückbau statt weiterer Einzelfixes: ROCm und den amdgpu-Treiber vollständig deinstallieren, das System neu starten und die Installation aus Schritt 1 bis 3 von Grund auf wiederholen. Das kostet zwar zusätzliche Zeit, behebt aber zuverlässig Probleme, die durch mehrere übereinanderliegende, halb erfolgreiche Installationsversuche entstanden sind, ein Muster, das in Support-Threads überraschend häufig auftaucht.
Profi-Tipps: Quantisierung, Speculative Decoding und Multi-GPU
Wenn die Grundinstallation läuft und stabil funktioniert, lohnen sich drei weitere Optimierungen, die den Unterschied zwischen einem funktionierenden und einem wirklich schnellen Setup ausmachen. Erstens die Quantisierungsstufe bewusst wählen statt die Standardeinstellung zu übernehmen: Q4_K_M ist ein guter Standard für die meisten Anwendungsfälle, aber Q5_K_M oder Q6_K bieten spürbar bessere Antwortqualität bei nur wenig mehr VRAM-Bedarf, sofern deine Karte den nötigen Spielraum hat. Der Unterschied macht sich vor allem bei komplexeren Aufgaben wie Codegenerierung oder mehrstufigem Reasoning bemerkbar.
Zweitens Speculative Decoding nutzen, sofern dein Frontend es unterstützt: Ein kleines, schnelles Entwurfsmodell schlägt dabei mehrere Tokens auf einmal vor, die das eigentliche große Modell nur noch bestätigen oder verwerfen muss, statt jedes Token einzeln zu berechnen. Das kann die effektive Tokengeschwindigkeit spürbar erhöhen, ohne die Antwortqualität zu verschlechtern, weil das große Modell weiterhin die finale Kontrolle über jede Ausgabe behält.
Drittens, bei mehreren Radeon-Karten im selben System: Über die Umgebungsvariable HIP_VISIBLE_DEVICES steuerst du, welche GPUs ROCm überhaupt sieht und ansprechen darf, und über einen Tensor-Split verteilst du ein einzelnes großes Modell auf mehrere Karten gleichzeitig:
export HIP_VISIBLE_DEVICES=0,1
ollama run llama3.1:70b --verboseSo lassen sich auch größere 34B- oder 70B-Modelle auf zwei kleineren, günstigeren Karten betreiben statt auf einer einzelnen, sehr teuren High-End-Karte, allerdings mit einem gewissen Geschwindigkeitsverlust gegenüber einer einzelnen Karte mit ausreichend eigenem VRAM, da Daten zwischen den Karten synchronisiert werden müssen. Für die meisten Hobby- und Kleinbetriebs-Setups ist dieser Kompromiss trotzdem wirtschaftlich sinnvoller als eine einzelne Profi-Karte mit entsprechend hohem Anschaffungspreis.
Komplettes Projekt: Ein lokaler KI-Assistent mit ROCm-Backend
Zum Abschluss folgt ein durchgängiges Mini-Projekt, das alle bisherigen Schritte zu einem greifbaren Ergebnis zusammenführt: ein Kommandozeilen-Chat-Assistent, der gegen den lokalen LM-Studio-Server läuft und dabei den kompletten Gesprächsverlauf mitführt, sodass das Modell auf frühere Nachrichten Bezug nehmen kann. Lege dafür eine neue Datei mit dem Namen chat.py an und füge folgenden Code ein:
import requests
API_URL = "http://localhost:1234/v1/chat/completions"
verlauf = [{"role": "system", "content": "Du bist ein hilfreicher, knapper Assistent."}]
print("Lokaler KI-Assistent (ROCm-Backend). 'exit' zum Beenden.")
while True:
eingabe = input("Du: ")
if eingabe.strip().lower() == "exit":
break
verlauf.append({"role": "user", "content": eingabe})
antwort = requests.post(API_URL, json={
"model": "local-model",
"messages": verlauf,
"temperature": 0.6,
"max_tokens": 512
}).json()
text = antwort["choices"][0]["message"]["content"]
print(f"KI: {text}")
verlauf.append({"role": "assistant", "content": text})Bevor du das Skript startest, installiere die einzige externe Abhängigkeit mit pip install requests. Starte danach LM Studio, aktiviere den lokalen Server mit einem geladenen Modell wie in Schritt 8 beschrieben und führe dann python3 chat.py im Terminal aus. Das Skript läuft komplett offline, sobald das Modell einmal heruntergeladen wurde, es sendet keinerlei Daten an externe Server und nutzt dank ROCm die volle Rechenleistung deiner Radeon-GPU für jede einzelne Antwort. Das ist die Basis, die du für eigene Anwendungen direkt weiterverwenden kannst, etwa für eine interne Support-Bot-Integration, ein persönliches Recherchewerkzeug oder als Ausgangspunkt für eine Weboberfläche mit Flask oder FastAPI obendrauf.
Für den produktiven Einsatz lohnen sich zwei kleine Erweiterungen dieses Grundgerüsts. Erstens ein Speichern des Gesprächsverlaufs in einer lokalen Datei oder SQLite-Datenbank, damit Konversationen einen Neustart des Skripts überdauern. Zweitens ein Timeout-Parameter bei der requests.post-Anfrage, denn ohne diesen wartet dein Skript im Zweifel unbegrenzt lange, falls der lokale Server aus irgendeinem Grund nicht mehr antwortet, etwa weil ein zu großes Modell den verfügbaren VRAM überschritten hat. Beide Ergänzungen brauchen jeweils nur wenige zusätzliche Codezeilen, machen das Projekt aber deutlich alltagstauglicher. Wer das Skript dauerhaft im Hintergrund laufen lassen will, kann es zusätzlich als systemd-Dienst einrichten, sodass es automatisch mit dem System startet und bei einem Absturz selbstständig neu startet, ganz ohne manuellen Eingriff nach einem Neustart des Rechners.
Häufig gestellte Fragen
Läuft ROCm auch unter Windows?
Für Consumer-Radeon-Karten bietet AMD unter Windows keinen vollständigen ROCm-Treiberpfad. LM Studio und ähnliche Tools weichen dort auf ein Vulkan-Backend aus, das GPU-Beschleunigung bietet, aber nicht die volle ROCm-Performance erreicht, die unter Linux möglich ist.
Welche Radeon-GPU ist das Minimum für lokale KI?
Für kleinere 7B-Modelle in Q4-Quantisierung reicht bereits eine Karte mit 12 GB VRAM wie die Radeon RX 7700 XT. Für mehr Komfort, größere Modelle und mehr Spielraum bei der Kontextlänge empfehlen sich 16 GB oder mehr.
Ist LM Studio kostenlos?
Ja, LM Studio steht für den persönlichen Gebrauch kostenlos zur Verfügung und lässt sich direkt von der offiziellen Website herunterladen, ohne dass ein Konto oder eine Kreditkarte nötig ist.
Was ist der Unterschied zwischen LM Studio und Ollama?
LM Studio bietet eine grafische Oberfläche mit Modell-Browser und Chat-Fenster und richtet sich eher an Einsteiger, Ollama ist primär kommandozeilenbasiert und eignet sich besser für die Einbindung in eigene Skripte, Server-Dienste oder Automatisierungen im Hintergrund.
Wie oft aktualisiert AMD ROCm?
Seit Sommer 2026 folgt ROCm laut AMDs eigener Ankündigung und Berichten von Phoronix einem festen Sechs-Wochen-Releasezyklus, beginnend mit ROCm 7.14 als erste Produktivversion in diesem neuen Takt. Neue Hauptversionen wie ROCm 10.0.0 erscheinen entsprechend regelmäßig.
Kann ich mehrere Radeon-Karten kombinieren?
Ja, über die Umgebungsvariable HIP_VISIBLE_DEVICES und Tensor-Split-Einstellungen in Tools wie Ollama oder LM Studio lässt sich ein einzelnes großes Modell auf mehrere Karten verteilen, was größere Modelle auch ohne eine einzelne, sehr teure High-End-Karte ermöglicht.
Brauche ich für ROCm zwingend Linux?
Für die volle, offizielle ROCm-Unterstützung ja. Unter Windows funktioniert lokale KI auf Radeon-Karten über das Vulkan-Backend zwar ebenfalls, allerdings mit spürbar geringerer Geschwindigkeit als unter nativem ROCm auf Linux, besonders bei größeren Modellen.
Was mache ich, wenn meine GPU-Generation offiziell nicht unterstützt wird?
Manche älteren oder sehr neuen Radeon-Modelle stehen nicht auf der offiziellen ROCm-Kompatibilitätsliste. In diesem Fall lohnt sich ein Blick auf Community-Projekte, die inoffizielle ROCm-Bibliotheken für zusätzliche Kartenmodelle bereitstellen, oder alternativ der Umstieg auf das Vulkan-Backend, das eine deutlich breitere Kartenpalette unterstützt, wenn auch mit geringerer Geschwindigkeit.
Lohnt sich der Umstieg von Nvidia auf AMD nur für lokale KI?
Nur wegen lokaler KI allein lohnt sich ein kompletter Systemwechsel meist nicht, besonders wenn eine funktionierende Nvidia-Karte bereits vorhanden ist. Sinnvoller ist der AMD-Weg, wenn ohnehin eine neue Karte ansteht, das Budget begrenzt ist oder du aus anderen Gründen, etwa wegen Linux-Treibern für andere Anwendungen, bereits zu AMD tendierst.
