Framework Desktop 192 GB einrichten: 12 Schritte [2026]

Am 30. September 2026 öffnete Framework die Vorbestellung für eine neue Version seines Mini-Desktops: 192 GB Arbeitsspeicher, angetrieben vom AMD Ryzen AI Max+ PRO 495. Das Gerät zielt direkt auf eine Zielgruppe, die bisher auf teure GPU-Server oder Cloud-Mieten angewiesen war, nämlich Entwickler und Teams, die große Sprachmodelle lokal und ohne Abo laufen lassen wollen. Der Versand startet im November 2026, der Preis beginnt bei 6.799 US-Dollar für die Bausatz-Version. Dieser Leitfaden zeigt, wie Sie das Gerät von der Bestellung bis zum produktiven Multi-Node-Cluster in zwölf nachvollziehbaren Schritten einrichten, inklusive aller Treiber, Benchmarks und der häufigsten Stolperfallen.

Was der Framework Desktop mit Ryzen AI Max+ PRO 495 ändert

Framework verkauft seinen Mini-Desktop seit 2025 mit Ryzen-AI-Max-Chips, doch die 192-GB-Konfiguration ist neu. Sie kombiniert den AMD Ryzen AI Max+ PRO 495 mit 192 GB verlötetem LPDDR5x-8533-Speicher an einem 256-Bit-Bus. Weil CPU, GPU und NPU sich diesen Speicher teilen (Unified Memory), lassen sich laut Framework Modelle im Bereich von 300 Milliarden Parametern bei 4-Bit-Quantisierung lokal betreiben, ein Volumen, das sonst nur mit mehreren Grafikkarten oder einer Cloud-Instanz erreichbar ist. Der Chip bringt 16 Zen-5-Kerne, 32 Threads, 64 MB L3-Cache und eine NPU mit bis zu 55 TOPS mit, dazu eine integrierte Radeon-8065S-GPU mit 40 Compute Units.

Der Zeitpunkt passt zum Markt. Laut Gartner sollten KI-PCs bis Ende 2025 rund 31 Prozent des weltweiten PC-Markts ausmachen, bei 77,8 Millionen verkauften Einheiten. Innerhalb dieses Segments sollen KI-Desktops von 3,8 Prozent im Jahr 2024 auf 16,4 Prozent im Jahr 2025 wachsen, so Gartner weiter. Framework selbst begründet die 192-GB-Version mit der schnellen Entwicklung offener Gewichte und warnt in seinem Community-Beitrag zum Launch, dass Speicherpreise über alle Kapazitäten hinweg in den kommenden sechs Monaten weiter steigen dürften. Wer jetzt plant, lokale KI-Workloads selbst zu betreiben, sollte die Kapazität also am tatsächlichen Modellbedarf ausrichten, nicht am aktuellen Budget.

Technisch unterscheidet sich der Ansatz damit deutlich von einem klassischen Gaming-PC mit dedizierter Grafikkarte. Dort ist der VRAM der Karte strikt von System-RAM getrennt, bei Strix-Halo-Chips wie dem PRO 495 teilen sich CPU, integrierte GPU und NPU denselben physischen Speicherpool. Das bedeutet einerseits, dass ein großes Modell nicht an 16 oder 24 GB VRAM einer einzelnen Grafikkarte scheitert, andererseits aber auch, dass jede andere Anwendung auf dem System denselben Speicher beansprucht, den Sie für das Modell eingeplant haben. Diese Architektur ist der Grund, warum Framework den Desktop ausdrücklich als Werkzeug für den Besitz der eigenen Rechenleistung vermarktet, statt als reine Gaming-Hardware mit KI-Zusatznutzen.

Dieser Artikel richtet sich an Entwickler, die den Desktop als Inferenz-Server oder Entwicklungsmaschine einsetzen wollen. Jeder Schritt ist mit Befehlen, Beispielausgaben und typischen Fehlerquellen versehen, damit Sie nicht die gleichen Umwege nehmen wie die ersten Käufer im Framework-Forum.

Anders als bei einem klassischen Gaming-PC mit separater Grafikkarte gibt es hier keine Treiber-CD und keine fertige Windows-Installation, die Sie einfach durchklicken. Jeder Schritt in diesem Leitfaden setzt auf der Kommandozeile auf, weil genau dort die kleinen Fehler entstehen, die später Stunden Suche kosten. Nehmen Sie sich für die komplette Einrichtung, vom Auspacken bis zum ersten laufenden Modell im Cluster, realistisch zwei bis drei Stunden Zeit, inklusive Download der Modelle über die Leitung.

Voraussetzungen: Hardware, Firmware und Software-Versionen

Bevor Sie bestellen, klären Sie drei Dinge: welche Modellgröße Sie laufen lassen wollen, ob Sie Linux selbst installieren oder die vorinstallierte Variante kaufen, und wie viel Netzwerk-Hardware Sie für einen späteren Cluster brauchen. Die folgende Tabelle zeigt die vier aktuell verkauften Speicherstufen mit ihren jeweiligen Chips, Stand Oktober 2026.

Konfiguration	Prozessor	GPU-Kerne	Speicher	NPU	Preis ab
DIY, 32 GB	Ryzen AI Max 385	32 CU (Radeon 8050S)	32 GB LPDDR5x-8000	bis 50 TOPS	1.269 USD
DIY, 64 GB	Ryzen AI Max+ 395	40 CU (Radeon 8060S)	64 GB LPDDR5x-8000	bis 50 TOPS	ab Werk variabel
DIY, 128 GB	Ryzen AI Max+ 395	40 CU (Radeon 8060S)	128 GB LPDDR5x-8000	bis 50 TOPS	ab Werk variabel
DIY, 192 GB	Ryzen AI Max+ PRO 495	40 CU (Radeon 8065S)	192 GB LPDDR5x-8533	bis 55 TOPS	6.799 USD
Vorinstalliert, 192 GB	Ryzen AI Max+ PRO 495	40 CU (Radeon 8065S)	192 GB LPDDR5x-8533	bis 55 TOPS	7.449 USD

Für die Schritte in diesem Leitfaden benötigen Sie zusätzlich: einen USB-Stick mit mindestens 8 GB für das Installationsmedium, ein Netzwerkkabel für die Ersteinrichtung (5-Gbit-Ethernet via Realtek RTL8126 ist integriert), sowie optional eine Intel-E810-Netzwerkkarte, falls Sie später einen Mehrsystem-Cluster über RDMA aufbauen wollen. Software-seitig arbeiten wir mit Fedora 44 (von Framework für die 192-GB-Version vorinstalliert und empfohlen), ROCm in der aktuell von AMD für Strix-Halo-Chips freigegebenen Version, sowie Ollama und llama.cpp für die Modellausführung. Wer Arch Linux oder CachyOS bevorzugt, profitiert von der mit diesem Launch eingeführten vereinfachten Secure-Boot-Deaktivierung, die Framework ausdrücklich für Distributionen ohne Secure-Boot-Unterstützung nachgerüstet hat.

Bei der Entscheidung zwischen DIY Edition und vorinstallierter Version hilft eine einfache Überlegung: Haben Sie schon einmal einen PC von Grund auf zusammengebaut, spart die DIY Edition rund 650 US-Dollar bei nur geringem Mehraufwand. Fehlt diese Erfahrung, nimmt Ihnen die vorinstallierte Version nicht nur die Montage ab, sondern liefert auch gleich ein lauffähiges Fedora-System samt Secure-Boot-Konfiguration, die bei Linux-Neulingen oft die größte Hürde darstellt. Rechnen Sie bei der DIY-Variante außerdem mit einem zusätzlichen Zeitaufwand für den Download und die Installation der Linux-Distribution selbst, der in der von Framework angegebenen Aufbauzeit von fünf Minuten nicht enthalten ist.

Schritt 1: Die richtige Konfiguration wählen und bestellen

Framework bietet die 192-GB-Version in zwei Varianten an: als DIY Edition für 6.799 US-Dollar, bei der Sie Gehäuse, Lüfter und Speicher selbst zusammenbauen (laut Framework etwa fünf Minuten Aufwand, Schwierigkeit “einfach”), oder als vorinstallierte Version für 7.449 US-Dollar mit bereits montiertem 2-TB-NVMe-Speicher und vorinstalliertem Fedora. Der Aufpreis von 650 US-Dollar lohnt sich, wenn Sie Zeit sparen oder keine Erfahrung mit PC-Zusammenbau haben. Wer hingegen bereits ein Framework-Desktop-Gehäuse besitzt, kann auch nur das Mainboard im Mini-ITX-Format kaufen und in das bestehende Gehäuse, eine RackMate-Rack-Tray oder ein beliebiges ATX-kompatibles Gehäuse einbauen.

Framework öffnet die 192-GB-Charge laut eigener Aussage zunächst nur in einer einzigen Bestellwelle, um das vorhandene Speicher-Inventar zu nutzen. Weitere Chargen hängen von Preis und Verfügbarkeit bei den Speicherlieferanten ab. Wenn Sie ein 70-Milliarden- oder 120-Milliarden-Parameter-Modell im Blick haben, reichen in der Regel auch die günstigeren 64-GB- oder 128-GB-Konfigurationen mit dem älteren Ryzen AI Max+ 395. Nur wer Modelle jenseits von 200 Milliarden Parametern lokal quantisiert laufen lassen will, braucht die vollen 192 GB.

Kalkulieren Sie beim Bestellvorgang auch die Versandkosten und Einfuhrabgaben nach Österreich ein, da Framework seine Produkte primär über den US- und EU-Store vertreibt und die Lieferzeit je nach Charge variiert. Wählen Sie bei der Konfiguration zusätzlich sofort die gewünschten Expansion Cards für die Frontports mit aus, denn ein Nachbestellen einzelner Karten dauert in der Regel länger als der Hauptversand des Desktops selbst.

Schritt 2: Lieferumfang prüfen, auspacken und montieren

Beide Editionen liefern mit einem vorinstallierten 120-mm-Noctua-NF-A12x25-HS-PWM-Lüfter, der laut Datenblatt mit 2.400 U/min bei 28,8 dBA Lautstärke und 117,6 m³/h Luftdurchsatz arbeitet. Das Gesamtgehäuse wiegt 3,1 kg bei einem Volumen von 4,5 Litern und misst 96,8 x 205,5 x 226,1 mm. Bei der DIY Edition prüfen Sie zuerst den Lieferumfang: Mainboard mit vormontiertem CPU-Kühler, Seitenteil, Montagekit, austauschbare Gehäuse-Tiles, zwei frei wählbare Expansion Cards für die Frontports sowie ein Schraubendreher.

Bauen Sie zuerst die NVMe-SSDs ein. Das Mainboard bietet zwei M.2-2280-Slots mit PCIe-4.0-x4-Anbindung und Heatspreadern für jeweils bis zu 8 TB. Danach setzen Sie die Expansion Cards in die beiden Frontslots (USB 3.2, im BIOS auf Gen 2 umstellbar) und schließen das 400-Watt-FlexATX-Netzteil an, das nach 80 Plus Gold (110V) beziehungsweise Silver (230V) zertifiziert ist. Prüfen Sie vor dem ersten Einschalten, dass die beiden Front-USB-Type-E-Header und der 9-Pin-Audio-Header korrekt sitzen, das sind die häufigsten Ursachen für einen Desktop ohne Frontanschlüsse.

Schritt 3: Erstinbetriebnahme, BIOS und Secure Boot konfigurieren

Schließen Sie Monitor (HDMI 2.1 oder DisplayPort 2.1 mit bis zu UHBR10), Tastatur und Netzwerkkabel an und starten Sie den Desktop. Rufen Sie das BIOS auf und prüfen Sie zuerst die Firmware-Version. Zum Launch der 192-GB-Version brachte AMD einen BIOS-Patch, der den USB4-Durchsatz bei Punkt-zu-Punkt-Verbindungen von 9 auf rund 30 Gbit/s anhebt, ein Detail, das für den späteren Cluster-Schritt wichtig wird. Aktualisieren Sie die Firmware also zuerst, bevor Sie irgendetwas anderes konfigurieren.

# Firmware-Version und verfügbare Updates prüfen (nach Linux-Installation)
sudo fwupdmgr get-devices
sudo fwupdmgr refresh
sudo fwupdmgr get-updates
sudo fwupdmgr update

Falls Sie Arch Linux, CachyOS oder eine andere Distribution ohne Secure-Boot-Unterstützung installieren wollen, nutzen Sie die mit diesem Launch eingeführte vereinfachte Option im BIOS-Menü unter “Security”, um Secure Boot gezielt zu deaktivieren. Framework kündigte an, diese Vereinfachung auch auf ältere Framework-Desktop-Modelle und die Framework-Laptops zu übertragen. Mit Fedora, der von Framework empfohlenen Distribution, brauchen Sie diesen Schritt in der Regel nicht, da Fedora offiziell signierte Secure-Boot-Module mitbringt.

Schritt 4: Linux-Distribution installieren und Grundkonfiguration

Die vorinstallierte 192-GB-Version kommt direkt mit Fedora 44 und KDE Plasma. Bei der DIY Edition installieren Sie das Betriebssystem selbst, Framework verweist dafür auf eine Liste empfohlener Linux-Distributionen. Wichtig zu wissen: Der Ryzen AI Max+ PRO 495 ist laut Framework ausschließlich für Linux ausgelegt, weder die DIY- noch die vorinstallierte Version bieten eine Windows-Option an. Wer unbedingt Windows braucht, sollte zur älteren 300er-Serie mit Ryzen AI Max 385 oder 395 greifen, nicht zur PRO-495-Version.

# Nach der Fedora-Installation: System aktualisieren und Basis-Tools installieren
sudo dnf update -y
sudo dnf install -y kernel-devel kernel-headers gcc make git cmake
lsblk
sudo dnf install -y lm_sensors radeontop

Führen Sie nach der Installation einen Neustart aus und prüfen Sie mit uname -r, welche Kernel-Version aktiv ist. Für den Ryzen AI Max+ PRO 495 sollte ein Kernel ab Version 6.11 oder neuer laufen, ältere Kernel erkennen die integrierte Radeon-8065S-GPU teilweise nicht vollständig. Fedora 44 bringt einen passenden Kernel standardmäßig mit, bei anderen Distributionen müssen Sie das selbst prüfen.

Wenn Sie den Desktop ausschließlich als KI-Server betreiben und keine grafische Oberfläche brauchen, lohnt sich eine Server-Variante ohne Desktop-Umgebung, etwa Fedora Server statt der KDE-Plasma-Variante. Das spart Arbeitsspeicher, der sonst für Anzeige-Server und Desktop-Dienste reserviert wäre, und reduziert zugleich die Angriffsfläche, da deutlich weniger Hintergrunddienste mitlaufen. Für die Einrichtung über SSH reicht danach eine minimale Installation, die Sie per dnf groupinstall "Minimal Install" wählen, bevor Sie die restlichen Pakete aus diesem Leitfaden nachinstallieren.

Schritt 5: ROCm- und Vulkan-Treiber für die Ryzen-AI-Max-GPU einrichten

Für lokale KI-Inferenz auf der integrierten Radeon-8065S-GPU brauchen Sie entweder ROCm oder den Vulkan-Backend-Pfad, den viele Inferenz-Engines inzwischen alternativ unterstützen. ROCm liefert die bessere Leistung bei größeren Batches, Vulkan ist oft schneller einzurichten und benötigt weniger Kernel-spezifische Anpassungen. Beginnen Sie mit ROCm, da es auch rocm-smi für das spätere Monitoring mitbringt.

# ROCm-Repository einrichten und installieren (Fedora-Beispiel)
sudo dnf install -y https://repo.radeon.com/amdgpu-install/latest/rhel/9.4/amdgpu-install-latest.noarch.rpm
sudo amdgpu-install --usecase=rocm,graphics --no-dkms

# Installation prüfen
rocminfo | grep -A2 "Agent 2"
rocm-smi --showproductname

Eine erfolgreiche Installation zeigt bei rocminfo die GPU als “gfx1151” oder vergleichbare Strix-Halo-Kennung an, zusammen mit der verfügbaren Unified-Memory-Kapazität. Taucht die GPU nicht auf, fehlt meist die Gruppenmitgliedschaft des Nutzers in render und video. Fügen Sie Ihren Benutzer mit sudo usermod -aG render,video $USER hinzu und melden Sie sich neu an. Prüfen Sie danach mit vulkaninfo --summary, ob zusätzlich der Vulkan-Pfad als Fallback für Engines wie llama.cpp verfügbar ist.

Achten Sie beim ROCm-Setup außerdem auf die Kompatibilität zwischen Kernel-Version und ROCm-Release, da AMD die Unterstützung für neue Chip-Generationen wie Strix Halo zunächst nur für bestimmte Kernel-Bereiche freigibt. Ein zu neuer oder zu alter Kernel führt dazu, dass die amdgpu-Kernelmodule zwar laden, die GPU aber nicht als Compute-Gerät erkannt wird. Prüfen Sie im Zweifel die Release Notes von AMD für Strix-Halo-Support, bevor Sie ein größeres Kernel-Update einspielen, und pinnen Sie die Kernel-Version notfalls, bis ROCm nachzieht.

Schritt 6: Ollama und llama.cpp für lokale Modelle konfigurieren

Mit laufenden GPU-Treibern installieren Sie als Nächstes die eigentliche Inferenz-Software. Ollama bietet die einfachere Bedienung über eine REST-API, llama.cpp gibt Ihnen mehr Kontrolle über Quantisierung und Speicherverteilung. Für den Einstieg reicht Ollama, für das spätere Laden sehr großer Modelle greifen wir zusätzlich auf llama.cpp zurück.

# Ollama installieren und ersten Test durchführen
curl -fsSL https://ollama.com/install.sh | sh
ollama --version

# Umgebungsvariable setzen, damit Ollama die GPU nutzt
echo 'export OLLAMA_NUM_GPU=999' >> ~/.bashrc
source ~/.bashrc

# Ein mittelgroßes Modell laden und testen
ollama pull llama3.1:70b
ollama run llama3.1:70b "Erkläre in zwei Sätzen, was Unified Memory ist."

Beobachten Sie während der ersten Anfrage die Ausgabe von rocm-smi in einem zweiten Terminal. Steigt die GPU-Auslastung nicht über wenige Prozent, läuft die Berechnung noch auf der CPU statt auf der integrierten GPU, meist weil die Umgebungsvariable nicht geladen wurde oder der ROCm-Treiber ein falsches Gerät als primär markiert hat. Ein Neustart des Ollama-Dienstes mit sudo systemctl restart ollama löst das in den meisten Fällen.

Bei der Modellwahl lohnt sich ein schrittweises Vorgehen statt direkt mit dem größten verfügbaren Modell zu starten. Beginnen Sie mit einem kleineren Modell wie einer 8B- oder 13B-Variante, um Treiber und Konfiguration zu validieren, bevor Sie Stunden in den Download eines 300-Milliarden-Parameter-Modells investieren. Erst wenn die kleinere Variante stabil mit voller GPU-Auslastung läuft, lohnt sich der nächste Schritt zu größeren Gewichten, da sich Konfigurationsfehler so deutlich schneller eingrenzen lassen.

Schritt 7: Speicherbandbreite und GPU-Leistung validieren

Der Ryzen AI Max+ PRO 495 erreicht laut Framework-Datenblatt eine Speicherbandbreite, die sich aus 8.533 MT/s an einem 256-Bit-Bus ergibt. Bevor Sie sich auf diese Zahl verlassen, messen Sie die tatsächlich erreichte Bandbreite auf Ihrem System, da Firmware-Version und Speicherkonfiguration Abweichungen verursachen können. Nutzen Sie dafür den integrierten Benchmark von llama.cpp, der neben Tokens pro Sekunde auch die effektive Speicherbandbreite während des Modell-Ladens protokolliert.

# llama.cpp kompilieren mit ROCm-Unterstützung
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1151
cmake --build build --config Release -j$(nproc)

# Benchmark gegen ein bereits geladenes Modell ausführen
./build/bin/llama-bench -m /pfad/zum/modell.gguf -p 512 -n 128

Eine Beispielausgabe zeigt typischerweise zwei Zeilen, eine für die Prompt-Verarbeitung (pp512) und eine für die Token-Generierung (tg128), jeweils in Tokens pro Sekunde. Weicht Ihr Ergebnis stark von den Werten anderer Nutzer mit demselben Modell und derselben Quantisierung ab, prüfen Sie zuerst, ob das BIOS im Energiesparmodus läuft, denn der Ryzen AI Max+ PRO 495 unterscheidet zwischen 120 Watt Dauerleistung und 140 Watt Boost-Leistung. Ein auf Energiesparen gestelltes Profil kann die Leistung messbar drücken.

Führen Sie den Benchmark nach jedem größeren Update erneut aus und notieren Sie die Ergebnisse in einer einfachen Tabelle oder Textdatei. So erkennen Sie sofort, ob ein neuer ROCm-Treiber oder ein Kernel-Update die Leistung verbessert oder verschlechtert hat, statt sich auf das subjektive Gefühl zu verlassen, dass eine Antwort “irgendwie langsamer” wirkt. Gerade bei einer Plattform, die erst seit wenigen Wochen am Markt ist, ändern sich Treiber-Leistungswerte zwischen einzelnen Versionen teilweise deutlich, ein strukturiertes Log lohnt sich hier mehr als bei etablierter Hardware.

Schritt 8: Ein großes Modell laden und die Speichergrenzen austesten

Der eigentliche Zweck der 192-GB-Konfiguration zeigt sich erst bei Modellen, die auf kleineren Konfigurationen gar nicht passen. Framework nennt als Zielgröße Modelle im Bereich von 300 Milliarden Parametern bei 4-Bit-Quantisierung. Die folgende Tabelle gibt eine grobe Orientierung, wie viel Speicher ein Modell je nach Parametergröße und Quantisierung belegt, basierend auf der gängigen Faustregel von einem halben Byte pro Parameter bei 4-Bit-Quantisierung plus einem Aufschlag für den Kontext-Cache.

Modellgröße	Geschätzter Speicherbedarf (4-Bit)	Passende Konfiguration
7B Parameter	ca. 4-5 GB	32 GB reicht komfortabel
34B Parameter	ca. 18-20 GB	64 GB reicht komfortabel
70B Parameter	ca. 38-42 GB	64 GB oder 128 GB
120B Parameter	ca. 65-70 GB	128 GB
235B Parameter	ca. 125-135 GB	192 GB
300B+ Parameter	ca. 160-180 GB	192 GB (knapp)

Diese Werte sind Richtwerte, keine garantierten Messungen, da Kontextlänge, KV-Cache und Betriebssystem-Overhead zusätzlichen Speicher benötigen. Planen Sie bei der 192-GB-Konfiguration realistisch mit einer Reserve von 15 bis 20 GB für das System und den Kontext, bevor Sie ein Modell an der oberen Grenze laden. Laden Sie ein großes Modell zum ersten Mal, beobachten Sie den Arbeitsspeicher mit watch -n1 free -h in einem separaten Terminal, um frühzeitig zu erkennen, ob der Ladevorgang in Richtung Out-of-Memory läuft.

Richten Sie zusätzlich eine moderate Swap-Partition oder Zram-Konfiguration ein, auch wenn 192 GB auf den ersten Blick wie reichlich Puffer wirken. Ein Modell, das knapp über die physische Grenze hinausragt, stürzt ohne Swap sofort mit einem Out-of-Memory-Fehler ab, mit einer kleinen Reserve von 8 bis 16 GB Swap läuft es dagegen oft noch, nur spürbar langsamer. Das ist kein Ersatz für ausreichend Arbeitsspeicher, aber ein nützliches Sicherheitsnetz, während Sie die tatsächliche Speichergrenze Ihres Zielmodells austesten.

Schritt 9: Dauerlasttest, Thermik und Lüfterkurven überwachen

Ein einzelner Benchmark-Lauf sagt wenig über das Verhalten im Alltag aus. Lassen Sie das System mindestens 30 Minuten unter kontinuierlicher Last laufen, etwa durch wiederholte Inferenz-Anfragen, und beobachten Sie dabei Temperatur, Taktrate und Lüftergeschwindigkeit. Der vorinstallierte Noctua-Lüfter ist mit 28,8 dBA bei voller Drehzahl auf niedrige Geräuschentwicklung ausgelegt, bei Dauerlast in einem 4,5-Liter-Gehäuse ist das trotzdem ein Kompromiss, den Sie kennen sollten, bevor das Gerät im Büro oder Wohnzimmer steht.

# Temperatur, Taktrate und Lüfterdrehzahl in Echtzeit beobachten
sudo sensors-detect --auto
watch -n2 sensors

# GPU-Auslastung und Speicherverbrauch der integrierten GPU
radeontop -l 1

Bleibt die CPU-Temperatur dauerhaft über 90 Grad Celsius, drosselt der Chip automatisch die Taktrate, erkennbar an einem stufenweisen Abfall der Tokens-pro-Sekunde-Rate im laufenden Betrieb. Das liegt in den allermeisten Fällen nicht am Lüfter selbst, sondern an unzureichender Gehäusebelüftung in geschlossenen Schränken oder Racks. Stellen Sie sicher, dass mindestens 5 cm Abstand zu Wänden oder anderen Geräten bestehen, besonders wenn Sie später mehrere Desktops im Rack stapeln.

Wenn Ihnen die Lautstärke bei Dauerlast zu hoch ist, lässt sich die Lüfterkurve im BIOS unter dem Punkt “Fan Control” anpassen. Eine flachere Kurve senkt die Drehzahl bei mittlerer Last, verlängert dafür aber die Zeit bis zur vollen Drehzahl bei plötzlichen Lastspitzen. Für einen Dauerbetrieb als Server im Nebenraum oder Serverschrank ist das meist die bessere Wahl als die werksseitig aggressivere Standardkurve, die eher auf schnelle Reaktion als auf Ruhe optimiert ist.

Schritt 10: Netzwerk, PCIe-Erweiterung und Mehrsystem-Cluster vorbereiten

Ein einzelner Framework Desktop mit 192 GB stößt bei Modellen über 300 Milliarden Parametern an seine Grenzen. Framework hat deshalb den PCIe-x4-Slot auf dem neuen Mainboard offen gestaltet, sodass auch physisch größere x8- oder x16-Karten ohne Riser-Kabel passen. Damit lässt sich etwa eine Intel-E810-Netzwerkkarte für RoCE (RDMA over Converged Ethernet) einbauen, die laut Framework 50-Gbit/s-Netzwerk mit sehr niedriger Latenz ermöglicht und damit Tensor-Parallelität über mehrere Knoten mit linearem Geschwindigkeitsgewinn erlaubt.

Für kleinere Cluster ohne zusätzliche Netzwerkkarte reicht auch eine direkte USB4-Verbindung zwischen zwei Geräten. Mit dem zum 192-GB-Launch eingeführten BIOS-Patch steigt der Punkt-zu-Punkt-Durchsatz über USB4 von 9 auf rund 30 Gbit/s, was laut Framework explizit als einfacher Weg gedacht ist, mehrere Framework Desktops zu einem Cluster zu verbinden, ohne zusätzliche Hardware zu kaufen. Das Mini-ITX-Mainboard passt dabei sowohl in das Standardgehäuse als auch in eine halbbreite RackMate-Rack-Tray, was mehrere Geräte im 10-Zoll-Rack realistisch macht.

Planen Sie bei einem Cluster aus mehreren Framework Desktops die Verkabelung von Anfang an durch, statt sie nachträglich zu improvisieren. Jedes Gerät bringt zwei USB4-Ports mit, bei drei oder mehr Knoten reicht eine einfache Punkt-zu-Punkt-Verbindung also nicht mehr aus, hier brauchen Sie entweder einen USB4-Hub mit entsprechender Bandbreite oder steigen direkt auf die RDMA-Lösung über die Intel-E810-Karte und einen dedizierten Switch um. Für den Einstieg mit zwei Knoten reicht die direkte USB4-Verbindung völlig aus und spart die zusätzlichen Kosten für Netzwerkkarte und Switch.

Häufige Fehler bei der Einrichtung

Windows-Kompatibilität erwarten: Der Ryzen AI Max+ PRO 495 ist bei Framework ausschließlich für Linux gelistet. Wer Windows braucht, muss zur älteren 385/395-Serie greifen.
Unified Memory mit VRAM gleichsetzen: 192 GB Unified Memory sind nicht dasselbe wie 192 GB dedizierter VRAM. Betriebssystem, Treiber und andere Anwendungen teilen sich denselben Pool.
Zu knapp kalkulieren: Da der Speicher verlötet und nicht nachrüstbar ist, sollten Sie die Kapazität am größten geplanten Modell ausrichten, nicht am aktuellen Bedarf.
Firmware-Update überspringen: Ohne den AMD-BIOS-Patch bleibt der USB4-Durchsatz bei 9 statt 30 Gbit/s, was spätere Cluster-Pläne unnötig ausbremst.
Secure Boot pauschal deaktivieren: Bei Fedora ist das meist unnötig und reduziert die Systemsicherheit ohne Nutzen. Nur bei Arch Linux oder CachyOS ist der Schritt tatsächlich erforderlich.
PCIe-Karten ohne Prüfung einbauen: Der offene x4-Slot erlaubt x8/x16-Karten, aber nicht jedes Gehäuse bietet dafür ausreichend Platz, prüfen Sie die Kartenlänge vor dem Kauf.
Modell direkt an der Speichergrenze laden: Wer ein Modell exakt an der 192-GB-Grenze lädt, ohne Reserve für Kontext und Betriebssystem einzuplanen, riskiert einen Absturz mitten in einer laufenden Sitzung statt einer sauberen Fehlermeldung beim Start.
Nur eine Bestellwelle abwarten: Da Framework die 192-GB-Charge zunächst begrenzt öffnet, verzögert sich eine verpasste Bestellung möglicherweise um Monate, bis die nächste Charge mit neuen, womöglich höheren Preisen folgt.

Fehlerbehebung: Die häufigsten Probleme lösen

Problem	Wahrscheinliche Ursache	Lösung
System bootet nach Firmware-Update nicht mehr	Unterbrochener Flash-Vorgang	Über Recovery-Modus oder USB-Stick mit Firmware-Image neu flashen, Netzteil währenddessen nicht trennen
`rocminfo` zeigt keine GPU an	Benutzer fehlt in Gruppen `render`/`video`	`sudo usermod -aG render,video $USER` ausführen und neu anmelden
Ollama nutzt nur die CPU	Umgebungsvariable `OLLAMA_NUM_GPU` nicht gesetzt oder Dienst nicht neu gestartet	Variable setzen, `sudo systemctl restart ollama` ausführen
Modell lädt trotz 192 GB nicht (Out-of-Memory)	Kontextlänge und KV-Cache zu groß kalkuliert	Kontextfenster reduzieren oder stärkere Quantisierung (z. B. 4-Bit statt 8-Bit) wählen
USB4-Cluster-Link bleibt bei 9 statt 30 Gbit/s	BIOS-Patch von AMD nicht installiert	`fwupdmgr update` ausführen, danach Verbindung neu testen
Kernel lädt ROCm-Module nicht	Secure Boot blockiert unsignierte Module	Secure Boot im BIOS gezielt deaktivieren oder Module selbst signieren
Hohe Temperaturen, Taktrate fällt unter Last	Unzureichender Abstand zu Wänden oder anderen Geräten	Mindestens 5 cm Freiraum um das Gehäuse schaffen, Lüfterkurve im BIOS anpassen
5-GbE-Verbindung instabil oder langsam	Veraltete Realtek-RTL8126-Treiber	Kernel und Firmware aktualisieren, Autonegotiation am Switch prüfen
NVMe-SSD wird nicht erkannt	SSD nicht vollständig im M.2-Slot eingerastet	Schraube und Sitz der SSD im 2280-Slot kontrollieren, erneut einsetzen
Docker-Container sehen die GPU nicht	`/dev/kfd` oder `/dev/dri` im Compose-File fehlt oder falsch gemountet	Geräte-Mounts in `docker-compose.yml` prüfen, Container neu erstellen mit `docker compose up -d --force-recreate`
Lüfter läuft dauerhaft auf voller Drehzahl	Zu aggressive Standard-Lüfterkurve im BIOS	Lüfterkurve unter “Fan Control” im BIOS auf eine flachere Kennlinie umstellen

Fortgeschrittene Tipps für Produktion und Cluster-Betrieb

Wenn Sie den Framework Desktop produktiv als Inferenz-Server betreiben, lohnt sich ein eigener systemd-Dienst statt eines manuell gestarteten Terminal-Prozesses, damit das Modell nach einem Neustart automatisch wieder lädt. Richten Sie zusätzlich ein regelmäßiges rocm-smi --showtemp --showpower-Logging per Cronjob ein, um Temperatur- und Leistungstrends über Wochen statt nur im Moment zu erkennen. Bei Mehrsystem-Clustern über USB4 oder die optionale Intel-E810-Karte verteilen Frameworks wie llama.cpp und vLLM die Tensor-Parallelität automatisch, solange alle Knoten dieselbe ROCm-Version und denselben Kernel-Stand nutzen, Versionsabweichungen zwischen Knoten sind die häufigste Ursache für Cluster-Instabilität.

Für ernsthaftes Monitoring über mehrere Geräte hinweg lohnt sich ein eigener Prometheus-Node-Exporter pro Desktop, der Temperatur, GPU-Auslastung und Speicherverbrauch zentral in einem Dashboard wie Grafana zusammenführt. So erkennen Sie auf einen Blick, ob ein einzelner Knoten im Cluster thermisch drosselt, während die anderen noch mit voller Taktrate laufen, ein Zustand, der ohne zentrales Monitoring leicht übersehen wird und die Gesamtleistung des Clusters unnötig ausbremst.

Nutzen Sie außerdem die zwei frei wählbaren Expansion-Card-Slots an der Front nicht nur für zusätzliche USB-Anschlüsse, sondern auch für einen schnellen Kartenleser oder ein zweites Ethernet-Modul, falls Sie Management-Traffic vom eigentlichen Inferenz-Netzwerk trennen wollen. Diese physische Trennung reduziert Latenzschwankungen beim RDMA-Betrieb messbar, da Management-Pakete nicht mehr über dieselbe Schnittstelle laufen wie die Tensor-Kommunikation zwischen den Knoten.

Dokumentieren Sie zudem von Anfang an, welche Expansion Card in welchem Slot sitzt und welche IP-Adresse welchem Knoten zugeordnet ist. Bei einem einzelnen Desktop wirkt das übertrieben, bei einem Cluster aus vier oder fünf Geräten mit mehreren Netzwerkschnittstellen pro Knoten verliert man sonst schnell den Überblick, besonders wenn ein Gerät nach einem Firmware-Update neu eingerichtet werden muss und die ursprüngliche Konfiguration nirgends schriftlich festgehalten wurde.

Komplettes Beispielprojekt: Lokaler KI-Server mit Open WebUI

Zum Abschluss folgt ein vollständiges, funktionierendes Setup, das Ollama mit einer Weboberfläche kombiniert, damit mehrere Kollegen im Netzwerk auf denselben Framework Desktop zugreifen können. Legen Sie dafür eine Datei docker-compose.yml an.

version: "3.8"
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    devices:
      - /dev/kfd
      - /dev/dri
    environment:
      - OLLAMA_NUM_GPU=999

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "8080:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - webui_data:/app/backend/data
    depends_on:
      - ollama

volumes:
  ollama_data:
  webui_data:

Starten Sie den Stack mit docker compose up -d und öffnen Sie anschließend http://IP-DES-DESKTOPS:8080 im Browser eines beliebigen Rechners im selben Netzwerk. Beim ersten Aufruf legen Sie ein Administrator-Konto an und laden über die Oberfläche ein Modell Ihrer Wahl, zum Beispiel ein 70B- oder 120B-Modell, je nachdem, wie viel der 192 GB Sie für andere Aufgaben reservieren wollen. Da die Container über /dev/kfd und /dev/dri direkten Zugriff auf die ROCm-Treiber des Hosts erhalten, läuft die Inferenz weiterhin auf der integrierten GPU und nicht nur auf der CPU, vorausgesetzt, Schritt 5 wurde korrekt abgeschlossen.

Neben der Weboberfläche lässt sich derselbe Stack auch direkt per API ansprechen, etwa aus einem eigenen Skript oder einer internen Anwendung heraus. Das ist nützlich, wenn Sie den Framework Desktop nicht nur als Chat-Server, sondern als Backend für eigene Tools nutzen wollen.

# Direkter API-Aufruf gegen Ollama, ohne Open WebUI
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1:70b",
  "prompt": "Fasse die Vorteile von Unified Memory in einem Satz zusammen.",
  "stream": false
}'

Die Antwort kommt als JSON-Objekt mit dem generierten Text im Feld response zurück, inklusive Angaben zur Verarbeitungsdauer in Nanosekunden. Diese Zeitwerte sind nützlicher als eine reine Tokens-pro-Sekunde-Angabe, wenn Sie den Server in eine bestehende Anwendung mit eigenen Latenzanforderungen einbinden wollen, da Sie damit direkt die End-to-End-Antwortzeit für Ihren konkreten Anwendungsfall messen, statt sich auf generische Benchmark-Werte zu verlassen.

Für produktive Teams lohnt sich zusätzlich ein Reverse Proxy wie Caddy oder Nginx vor Open WebUI, mit TLS-Zertifikat und Basis-Authentifizierung, bevor der Port im internen Netzwerk freigegeben wird. Ein Framework Desktop mit 192 GB ersetzt damit für kleine bis mittelgroße Teams einen dedizierten GPU-Server für die alltägliche Modellnutzung, ohne laufende Cloud-Kosten.

Wartung, Backup und langfristiger Betrieb

Ein Framework Desktop, der dauerhaft als KI-Server läuft, braucht dieselbe Sorgfalt wie jeder andere Server im Netzwerk. Sichern Sie zuerst die beiden Docker-Volumes aus dem Beispielprojekt regelmäßig, da sie sowohl die heruntergeladenen Modellgewichte als auch sämtliche Chat-Verläufe und Benutzerkonten aus Open WebUI enthalten. Ein einfacher Cronjob mit docker run --rm -v ollama_data:/data -v /backup:/backup alpine tar czf /backup/ollama-$(date +%F).tar.gz /data reicht für ein tägliches, komprimiertes Backup auf eine externe NVMe-SSD oder ein NAS im selben Netzwerk.

Planen Sie zusätzlich feste Wartungsfenster für Firmware- und Kernel-Updates ein, statt Updates sofort nach Erscheinen einzuspielen. Gerade bei einer so neuen Chip-Generation wie dem Ryzen AI Max+ PRO 495 ändern sich ROCm-Versionen und Kernel-Patches in den ersten Monaten nach Marktstart häufiger als bei etablierten Plattformen. Notieren Sie sich vor jedem Update die aktuell funktionierende Kombination aus Kernel-, ROCm- und Ollama-Version, damit Sie im Problemfall gezielt zurückrollen können, statt mehrere Komponenten gleichzeitig zu verändern und die Fehlersuche unnötig zu verkomplizieren.

Bei Dauerbetrieb über mehrere Monate empfiehlt sich außerdem eine unterbrechungsfreie Stromversorgung (USV), besonders wenn der Desktop gerade ein großes Modell lädt oder eine lange Inferenz-Anfrage verarbeitet. Ein plötzlicher Stromausfall während des Schreibvorgangs auf die NVMe-SSD kann im ungünstigsten Fall das Dateisystem beschädigen, ein Risiko, das bei einem reinen Desktop-PC oft unterschätzt wird, bei einem dauerhaft laufenden Server aber denselben Stellenwert haben sollte wie bei jeder anderen Produktionsmaschine.

Fazit: Für wen sich der Umstieg lohnt

Der Framework Desktop mit Ryzen AI Max+ PRO 495 löst ein konkretes Problem: lokale Inferenz jenseits dessen, was eine einzelne Consumer-Grafikkarte an Speicher bietet, ohne gleich einen mehrere zehntausend Euro teuren Server mit dedizierten KI-Beschleunigern zu kaufen. Zum Preis von 6.799 bis 7.449 US-Dollar bekommen Sie 192 GB Unified Memory in einem 4,5-Liter-Gehäuse, das auf den Schreibtisch oder ins Rack passt, zusammen mit einer Plattform, die Framework ausdrücklich für Erweiterung über mehrere Knoten hinweg vorbereitet hat.

Für Einzelentwickler, die gelegentlich ein mittelgroßes Modell testen wollen, ist die 192-GB-Version meist überdimensioniert, hier reichen die günstigeren Konfigurationen mit dem älteren Ryzen AI Max+ 395 völlig aus, wie sie auch in unabhängigen Vergleichen von Ryzen-AI-Max-Mini-PCs regelmäßig auftauchen. Für kleine Teams, die mehrere Nutzer gleichzeitig an einem größeren Modell arbeiten lassen wollen, oder für alle, die bewusst keine Modell-Daten in eine Cloud-Infrastruktur hochladen wollen, ist der Aufpreis dagegen gut investiert, insbesondere da Framework selbst vor weiter steigenden Speicherpreisen in den kommenden Monaten warnt.

Häufig gestellte Fragen

Kann ich auf dem Framework Desktop mit Ryzen AI Max+ PRO 495 Windows installieren?
Nein, laut Framework ist diese Konfiguration ausschließlich für Linux ausgelegt. Weder die DIY- noch die vorinstallierte Version bieten eine Windows-Lizenz oder offizielle Windows-Unterstützung an.

Wie viel Arbeitsspeicher brauche ich für ein 70-Milliarden-Parameter-Modell?
Bei 4-Bit-Quantisierung belegt ein solches Modell grob 38 bis 42 GB. Die 64-GB- oder 128-GB-Konfiguration mit Ryzen AI Max+ 395 reicht dafür in der Regel aus, die 192-GB-Version ist für größere Modelle gedacht.

Was kostet die 192-GB-Konfiguration genau?
Die DIY Edition startet laut Framework bei 6.799 US-Dollar, die vorinstallierte Version mit 2 TB NVMe-Speicher und Fedora bei 7.449 US-Dollar. Beide Preise gelten für die erste Bestellwelle, spätere Chargen können sich je nach Speicherpreisen ändern.

Kann ich mehrere Framework Desktops zu einem Cluster verbinden?
Ja. Framework nennt dafür zwei Wege, eine direkte USB4-Verbindung mit bis zu rund 30 Gbit/s nach dem aktuellen BIOS-Patch, oder eine optionale Netzwerkkarte wie den Intel E810 über den offenen PCIe-x4-Slot für RDMA-Netzwerke mit rund 50 Gbit/s.

Ist die vorinstallierte Fedora-Version Pflicht?
Nein. Framework empfiehlt Fedora für die vorinstallierte Version, die DIY Edition lässt sich mit jeder von Framework gelisteten Linux-Distribution betreiben, inklusive Arch Linux oder CachyOS nach Deaktivierung von Secure Boot.

Lohnt sich das Upgrade von 128 GB auf 192 GB?
Das hängt vom Zielmodell ab. Wer stabil unter 128 GB Speicherbedarf bleibt, zum Beispiel bei 70B- bis 120B-Modellen, spart mit der günstigeren Konfiguration. Wer Modelle im Bereich von 235 Milliarden Parametern oder mehr laufen lassen will, braucht die 192-GB-Version.

Wie laut ist der Framework Desktop unter Volllast?
Der vorinstallierte Noctua-Lüfter ist laut Datenblatt auf 28,8 dBA bei voller Drehzahl ausgelegt, das gilt für ein offenes Testumfeld. In einem geschlossenen Rack oder Schrank kann die gefühlte Lautstärke durch Resonanzen höher ausfallen.

Kann ich den Speicher später aufrüsten?
Nein, der LPDDR5x-Speicher ist fest auf dem Mainboard verlötet. Die Kapazität muss bereits beim Kauf feststehen, ein nachträglicher Umbau ist bei dieser Chip-Architektur nicht vorgesehen.