Seit Anfang 2026 steckt in AMDs neuen Ryzen-AI-400-Prozessoren (“Gorgon Point”) eine NPU, die bis zu 60 TOPS liefert und damit deutlich über der Copilot+-PC-Schwelle von 40 TOPS liegt. Das eigentliche Problem für die meisten Käufer: Die NPU steckt zwar im Chip, aber Windows nutzt sie ohne weiteres Zutun kaum. Wer lokale Sprachmodelle tatsächlich auf dem Neural-Processing-Unit statt auf CPU oder GPU laufen lassen will, muss Treiber, SDKs und Runtime von Hand einrichten. Diese Anleitung zeigt in 12 Schritten, wie das funktioniert – von der BIOS-Kontrolle bis zum fertigen KI-Chat-Assistenten, der komplett offline auf der NPU rechnet. Wer schon einmal versucht hat, ein lokales Sprachmodell auf einem NPU-Notebook zum Laufen zu bringen, kennt das typische Symptom: Die Installation klappt scheinbar reibungslos, der Lüfter dreht hörbar hoch, und trotzdem zeigt der Task-Manager keinerlei NPU-Aktivität, weil die Anfrage im Hintergrund längst wieder auf der CPU landet. Genau diese stille Fehlkonfiguration ist der Grund, warum die einzelnen Schritte hier bewusst mit Kontrollbefehlen und erwarteten Ausgaben versehen sind.

Warum die Ryzen-AI-NPU lokale KI-Nutzung verändert

Bislang lief lokale KI-Inferenz auf Windows-Notebooks fast immer über die GPU oder, notgedrungen, über die CPU. Beides kostet Strom und Akkulaufzeit. Die NPU (Neural Processing Unit) ist dagegen ein spezialisierter Rechenkern, der Matrizenmultiplikationen für neuronale Netze mit einem Bruchteil des Energieverbrauchs einer Grafikkarte erledigt. AMD hat mit der zweiten Generation der XDNA-2-Architektur in den Ryzen-AI-400-Chips nachgelegt: Das Flaggschiff Ryzen AI 9 HX 475 liefert 60 TOPS, der direkte Vorgänger aus der Ryzen-AI-300-Reihe (“Strix Point”) kam auf maximal 55 TOPS.

TOPS steht dabei für Tera Operations Per Second, also Billionen Rechenoperationen pro Sekunde bei niedriger Zahlengenauigkeit (meist INT8), wie sie für neuronale Netze typisch ist. Die Kennzahl lässt sich nicht direkt mit CPU- oder GPU-Taktraten vergleichen, sie beschreibt ausschließlich die Fähigkeit, viele kleine Matrizenoperationen parallel und energieeffizient abzuarbeiten. Genau darin liegt der praktische Nutzen für Alltagssoftware: Ein Sprachmodell, das ununterbrochen im Hintergrund auf Anfragen wartet, muss nicht schnell im Sinne einer Höchstleistung sein, sondern effizient im Sinne eines möglichst geringen Dauerverbrauchs, und dafür ist eine NPU von Grund auf konstruiert.

Der Unterschied ist mehr als eine Marketingzahl. Microsofts Copilot+-PC-Programm setzt eine NPU mit mindestens 40 TOPS voraus, damit Funktionen wie Recall, Live-Untertitel oder KI-gestützte Bildbearbeitung lokal statt in der Cloud laufen. Jeder Chip der Ryzen-AI-400-Reihe überschreitet diese Schwelle, die schwächeren Modelle mit 50 TOPS liegen immer noch 25 Prozent darüber. Für Entwickler und technisch interessierte Nutzer heißt das: Es lohnt sich, die NPU nicht nur für Windows-Bordmittel, sondern auch für eigene Projekte wie lokale Chatbots, Transkription oder Bildklassifikation zu nutzen.

Genau hier setzt AMDs Software-Stack an. Mit GAIA hat AMD eine quelloffene Anwendung veröffentlicht, die private Sprachmodelle direkt auf der Ryzen-AI-NPU ausführt. AMD beschreibt GAIA selbst so: “GAIA is a generative AI application designed to run local, private LLMs on Windows PCs and is optimized for AMD Ryzen AI hardware (AMD Ryzen AI 300 Series Processors)” (AMD Developer Blog). Die Dokumentation der GAIA-SDK bestätigt inzwischen auch Unterstützung für die neuere Ryzen-AI-400-Reihe (Codename Gorgon Point), sodass Käufer der aktuellen Generation nicht auf ein Update warten müssen.

Für Österreich ist diese Entwicklung aus einem zweiten Grund relevant: Bei jeder Cloud-basierten KI-Anfrage verlassen Nutzerdaten das eigene Gerät und landen, je nach Anbieter, auf Servern außerhalb der EU. Wer aus DSGVO-Gründen genau nachvollziehen will, wo Anfragen verarbeitet werden, umgeht diese Unsicherheit komplett, wenn das Sprachmodell lokal auf der NPU läuft. Für Selbstständige, Kanzleien oder kleine Unternehmen, die mit vertraulichen Dokumenten arbeiten, ist das oft der eigentliche Auslöser für den Umstieg auf eine lokale Lösung, nicht die reine Rechenleistung.

Ryzen AI 400 “Gorgon Point”: Technische Daten im Überblick

Bevor es an die Einrichtung geht, lohnt ein Blick auf die Hardware selbst. AMD hat die Ryzen-AI-400-Serie auf der CES 2026 vorgestellt, sowohl als Mobil- als auch als Desktop-Plattform für den bestehenden AM5-Sockel. Alle Chips teilen sich die zweite XDNA-2-NPU-Generation, unterscheiden sich aber deutlich bei Kernzahl, Taktraten und maximaler NPU-Leistung. Die folgende Tabelle fasst die wichtigsten Mobil-SKUs zusammen, wie sie unter anderem von Tom’s Guide und AMDs eigener Pressemitteilung zur CES 2026 dokumentiert wurden.

ModellKerne/ThreadsMax. BoostNPU-LeistungiGPU
Ryzen AI 9 HX 47512/24 (4×Zen 5 + 8×Zen 5c)5,2 GHz60 TOPSRadeon 890M, 16 CU
Ryzen AI 9 HX 47012/24 (4×Zen 5 + 8×Zen 5c)5,2 GHz55 TOPSRadeon 890M, 16 CU
Ryzen AI 9 46510/205,0 GHz50 TOPS12 CU
Ryzen AI 7 4508/165,1 GHz50 TOPS8 CU
Ryzen AI 7 4456/124,6 GHz50 TOPS4 CU
Ryzen AI 5 4356/124,5 GHz50 TOPS4 CU
Ryzen AI 5 4304/84,5 GHz50 TOPS4 CU

Auf dem Desktop bietet AMD parallel sechs Ryzen-AI-400-Modelle für den AM5-Sockel an, die sich eine gemeinsame XDNA-2-NPU mit bis zu 50 TOPS teilen. Damit übertreffen selbst die günstigsten Desktop-Chips der Reihe die Copilot+-Schwelle von 40 TOPS. Zum Vergleich: Intels aktuelle Core-Ultra-200S-Desktop-Generation (Arrow Lake) kommt laut vergleichenden Auswertungen nur auf rund 13 TOPS NPU-Leistung, während Intels mobile Panther-Lake-Generation bei etwa 50 TOPS liegt – AMD positioniert die eigene Gorgon-Point-NPU damit bewusst als Vorreiter bei reiner NPU-Rechenleistung. Wichtig für die spätere Einrichtung: Nicht jede Ryzen-AI-400-CPU hat zwingend eine aktive NPU oder iGPU in gleicher Ausstattung, weshalb ein Blick ins Datenblatt der eigenen SKU vor dem Kauf sinnvoll ist. Nicht zu verwechseln ist die Gorgon-Point-NPU außerdem mit der NPU im Handheld-Chip Ryzen Z2 Extreme, der eine andere Zielgruppe adressiert und, wie wir in unserer Analyse zum Auslaufen des Z1-Supports beschrieben haben, eigene Software-Kompatibilitätsfragen mitbringt.

Die genauen Spezifikationen der Mobil-Modelle hat unter anderem Tom’s Hardware in seiner CES-2026-Berichterstattung im Detail dokumentiert, inklusive der vollständigen Kerntabelle und der Bestätigung, dass die Ryzen-AI-400-Reihe die erste AMD-Desktop-Plattform mit offizieller Copilot+-Zertifizierung ist (Tom’s Hardware). AMD selbst betont in der offiziellen Pressemitteilung zur CES 2026, dass sowohl die mobilen als auch die stationären Modelle der neuen Generation durchgängig auf der zweiten XDNA-2-Architektur basieren und jedes einzelne Modell die Mindestanforderungen für Copilot+ PCs übertrifft (AMD Investor Relations). Tom’s Guide ergänzt, dass die Gorgon-Point-Generation gegenüber dem Vorgänger zusätzlich bei der Akkulaufzeit im Unplugged-Betrieb zulegt, was für mobile NPU-Workloads relevant ist, weil Windows die Rechenleistung im Akkubetrieb sonst oft drosselt (Tom’s Guide).

Voraussetzungen: Hardware, Betriebssystem und Software-Versionen

Die folgende Liste zeigt, was ein System mitbringen muss, damit die NPU-Einrichtung überhaupt funktioniert. AMDs eigene Entwickler-Dokumentation zur NPU-Modellbereitstellung mit Windows ML nennt dafür konkrete Mindestanforderungen: “Before getting started, ensure you have: – Operating System: Windows 11 24H2 (build 26100 or later) – Development Tools: Visual Studio 2022 (latest), VS Code with AI Toolkit – Programming Languages: C++20+ or Python 3.10-3.12 – Drivers: Latest AMD NPU drivers installed – SDK: Windows App SDK 1.8.5 or later (includes Windows ML)” (AMD Developer Blog).

KomponenteMindestanforderung
ProzessorRyzen AI 300, Ryzen AI Max oder Ryzen AI 400 (Strix Point, Strix Halo, Kraken Point, Gorgon Point) mit XDNA-2-NPU
BetriebssystemWindows 11 24H2, Build 26100 oder neuer
Windows App SDKVersion 1.8.5 oder neuer (enthält Windows ML)
EntwicklungsumgebungVisual Studio 2022 (aktuell) oder VS Code mit AI Toolkit
ProgrammiersprachePython 3.10 bis 3.12 oder C++20 und neuer
TreiberAktuelles AMD-NPU-Treiberpaket über AMD-Software oder Windows Update
Freier SpeicherplatzMindestens 15 GB für Treiber, SDKs und ein mittelgroßes Sprachmodell

Wer eines dieser Kriterien nicht erfüllt, etwa weil noch Windows 11 23H2 installiert ist oder die CPU aus der Vor-NPU-Ära stammt, sollte zuerst das Betriebssystem aktualisieren beziehungsweise die eigene Ryzen-Ausstattung mit unserer Schritt-für-Schritt-Anleitung zur AMD-Treiberinstallation gegenprüfen, bevor die eigentliche NPU-Einrichtung beginnt.

Schritt 1 bis 3: System vorbereiten

Schritt 1: BIOS und Windows 11 24H2 prüfen

Zuerst muss das Mainboard-BIOS aktuell sein, damit es die NPU korrekt an Windows meldet. Im UEFI-Setup sollte unter den CPU-Konfigurationsoptionen die NPU aktiviert sein (bei den meisten Gorgon-Point-Boards ist das standardmäßig der Fall). Anschließend wird die Windows-Version geprüft, denn ohne Windows 11 24H2 fehlt die notwendige NPU-Geräteklasse.

winver
# Erwartete Ausgabe: Windows 11, Version 24H2, Build 26100 oder höher
# Falls die Build-Nummer niedriger ist:
winget upgrade --id Microsoft.WindowsUpdateAssistant --silent

Schritt 2: AMD-NPU-Treiber installieren

Der NPU-Treiber ist getrennt vom regulären Grafiktreiber und wird über das AMD-Software-Paket oder Windows Update ausgeliefert. Am zuverlässigsten funktioniert die Installation über die offizielle AMD-Software-Anwendung, die auch die Chipsatz- und iGPU-Treiber aktualisiert. Nach der Installation lässt sich per PowerShell prüfen, ob Windows die NPU als eigenes Gerät erkennt.

Get-PnpDevice -Class "SoftwareDevice" | Where-Object { $_.FriendlyName -like "*NPU*" }

# Erwartete Ausgabe (gekürzt):
# Status  Class            FriendlyName
# ------  -----            ------------
# OK      SoftwareDevice   AMD IPU Device (XDNA2)

Schritt 3: NPU-Auslastung im Task-Manager sichtbar machen

Ab Windows 11 24H2 zeigt der Task-Manager im Reiter “Leistung” einen eigenen NPU-Graphen an, sofern der Treiber korrekt installiert wurde. Falls dieser Graph fehlt, ist meist der NPU-Treiber nicht richtig registriert – in diesem Fall hilft ein Neustart nach der Treiberinstallation oder eine manuelle Treiberreparatur über den Geräte-Manager. Dieser Schritt ist der schnellste Weg, um vor der eigentlichen KI-Installation zu bestätigen, dass die Hardware korrekt angesprochen wird.

Schritt 4 bis 6: Software-Stack installieren

Schritt 4: Windows App SDK und Windows ML einrichten

Windows ML ist die Laufzeitschicht, über die Anwendungen automatisch die passende NPU-, GPU- oder CPU-Execution-Provider auswählen. AMD beschreibt das Verhalten so: “Windows ML automatically discovers, downloads, and registers the latest execution providers” (AMD Developer Blog). Windows ML ist ab Version 1.8.5 im Windows App SDK enthalten und wird über NuGet oder winget installiert.

winget install Microsoft.WindowsAppRuntime.1.8
dotnet add package Microsoft.WindowsAppSDK --version 1.8.5

Schritt 5: Python-Umgebung vorbereiten

Für die meisten lokalen KI-Projekte auf der NPU ist Python praktischer als C++, weil GAIA, Lemonade und ONNX Runtime alle über Python-Pakete ansprechbar sind. Es empfiehlt sich, eine dedizierte virtuelle Umgebung anzulegen, damit NPU-spezifische Pakete nicht mit anderen Projekten kollidieren.

python -m venv ryzen-npu-env
ryzen-npu-env\Scripts\activate
python --version
# Erwartete Ausgabe: Python 3.10.x, 3.11.x oder 3.12.x
pip install --upgrade pip

Schritt 6: GAIA installieren

GAIA ist AMDs quelloffene Anwendung, um private Sprachmodelle direkt auf der NPU laufen zu lassen. AMD kündigte das Projekt so an: “AMD launched a new open source project called, GAIA (pronounced /ˈɡaɪ.ə/), an awesome app that leverages the power of your Ryzen AI Neural Processing Unit (NPU) to run private large language models (LLMs) locally on your PC” (AMD, offizieller Account). Die Installation erfolgt über den GAIA-Installer von der offiziellen GitHub-Seite des Projekts, wahlweise mit oder ohne grafische Oberfläche.

pip install gaia-cli
gaia --check-hardware

# Erwartete Ausgabe:
# Hardware check: PASSED
# Detected NPU: AMD XDNA2 (Ryzen AI 400 series)
# NPU driver version: OK

GAIA im Detail: Oberfläche, RAG und Agenten

GAIA ist mehr als nur ein Kommandozeilen-Wrapper um ein Sprachmodell. Neben der reinen Chat-Funktion bringt die Anwendung eine grafische Windows-Oberfläche mit, über die sich Modelle auswählen, Gesprächsverläufe verwalten und einzelne Antworten bewerten lassen. Für Entwickler interessanter ist die eingebaute Retrieval-Komponente: GAIA kann lokale Dokumente wie PDFs oder Textdateien einlesen und bei Anfragen automatisch relevante Passagen einbeziehen, ganz ohne dass Inhalte das Gerät verlassen. Das eignet sich etwa, um firmeninterne Handbücher oder persönliche Notizen zu durchsuchen, ohne sie in einen Cloud-Dienst hochzuladen.

Zusätzlich unterstützt GAIA einfache Agenten-Workflows, bei denen ein Modell mehrere Schritte hintereinander ausführt, etwa das Zusammenfassen eines Dokuments gefolgt von der Beantwortung einer Rückfrage dazu. Für die meisten Einsteiger reicht zunächst die einfache Chat-Funktion aus Schritt 9 dieser Anleitung, die erweiterten Funktionen lohnen sich aber, sobald die Grundinstallation zuverlässig läuft und die NPU-Auslastung im Task-Manager sichtbar bestätigt wurde.

Bei der Modellwahl innerhalb von GAIA gilt eine einfache Grundregel: Kleinere Modelle mit etwa ein bis drei Milliarden Parametern laden schneller, passen vollständig in den begrenzten NPU-Speicher und antworten auf einfache Fragen praktisch verzögerungsfrei. Größere Modelle liefern zwar inhaltlich oft bessere Antworten, stoßen auf schwächeren NPU-Klassen wie dem Ryzen AI 5 430 aber schneller an Speichergrenzen und fallen dann teilweise auf die CPU zurück, was sich in spürbar längeren Antwortzeiten bemerkbar macht. Ein kurzer Test mit zwei bis drei Modellgrößen direkt nach der Installation zeigt meist schnell, welche Kombination aus Geschwindigkeit und Antwortqualität für die eigene Hardware am besten passt.

Schritt 7 bis 9: Lemonade Server einrichten und erstes Modell laden

Schritt 7: Lemonade Server starten

GAIA nutzt intern das quelloffene Lemonade-SDK (auch LLM-Aid genannt) aus dem ONNX-TurnkeyML-Projekt, um Modelle über ONNX Runtime an NPU und iGPU weiterzureichen. Lemonade Server läuft als lokaler Hintergrunddienst, der eine OpenAI-kompatible API bereitstellt, sodass bestehende Chat-Tools ohne Änderung gegen die lokale NPU sprechen können.

pip install lemonade-sdk
lemonade-server serve --device npu --port 8000

# Erwartete Ausgabe:
# Lemonade Server running on http://127.0.0.1:8000
# Backend: ONNX Runtime, Execution Provider: AMD NPU (XDNA2)

Schritt 8: Ein NPU-optimiertes Modell herunterladen

Nicht jedes Sprachmodell läuft ungeprüft auf der NPU. Am zuverlässigsten funktionieren Modelle, die bereits als quantisierte ONNX-Version für XDNA2 veröffentlicht wurden. GAIA bringt dafür eine eigene Modellbibliothek mit, aus der sich kompakte Modelle direkt herunterladen lassen.

gaia models list --npu-optimized
gaia models pull llama-3.2-3b-npu

# Erwartete Ausgabe:
# Downloading llama-3.2-3b-npu (ONNX, INT8 quantisiert) ... 100%
# Modell bereit unter: %LOCALAPPDATA%\GAIA\models\llama-3.2-3b-npu

Schritt 9: Erste Anfrage über die NPU senden

Sobald Lemonade Server läuft und ein Modell geladen ist, lässt sich die Funktion mit einer einfachen curl-Anfrage gegen die lokale API testen. Läuft die Anfrage tatsächlich über die NPU statt über die CPU, zeigt der Task-Manager während der Anfrage einen deutlichen Ausschlag im NPU-Graphen.

curl http://127.0.0.1:8000/v1/chat/completions ^
  -H "Content-Type: application/json" ^
  -d "{\"model\": \"llama-3.2-3b-npu\", \"messages\": [{\"role\": \"user\", \"content\": \"Erkläre XDNA2 in einem Satz.\"}]}"

Schritt 10 bis 12: NPU-Nutzung erzwingen, Fallback und Autostart

Schritt 10: NPU-Execution-Provider explizit erzwingen

Für eigene Python-Projekte, die direkt mit ONNX Runtime arbeiten statt über GAIA oder Lemonade zu gehen, lässt sich die Execution-Provider-Reihenfolge manuell festlegen. AMD empfiehlt dafür ausdrücklich, die NPU zu bevorzugen und einen automatischen Rückfall auf die CPU einzubauen: “Configure your session to prefer NPU execution with automatic fallback to CPU if needed” (AMD Developer Blog).

import onnxruntime as ort

session_options = ort.SessionOptions()
providers = [
    ("VitisAIExecutionProvider", {"device": "NPU"}),
    "CPUExecutionProvider",
]

session = ort.InferenceSession(
    "llama-3.2-3b-npu.onnx",
    sess_options=session_options,
    providers=providers,
)

print("Aktiver Provider:", session.get_providers()[0])
# Erwartete Ausgabe: Aktiver Provider: VitisAIExecutionProvider

Schritt 11: Fallback-Verhalten testen

Um sicherzugehen, dass die Anwendung auch auf Systemen ohne NPU nicht abstürzt, sollte der Fallback aktiv getestet werden, etwa indem der NPU-Treiber kurzzeitig im Geräte-Manager deaktiviert wird. Läuft die Session danach ohne Fehlermeldung weiter, nur langsamer, ist die Fallback-Logik korrekt konfiguriert. Das ist besonders wichtig, wenn die Software später auf unterschiedlicher Hardware im Unternehmen oder bei Kunden laufen soll.

Schritt 12: Lemonade Server als Autostart-Dienst einrichten

Damit die lokale KI nach jedem Neustart sofort verfügbar ist, lässt sich Lemonade Server über den Windows-Taskplaner automatisch starten. So steht die OpenAI-kompatible Schnittstelle dauerhaft im Hintergrund bereit, ohne dass die Konsole manuell geöffnet werden muss.

schtasks /create /tn "LemonadeServerNPU" ^
  /tr "lemonade-server serve --device npu --port 8000" ^
  /sc onlogon /rl highest

NPU-Performance benchmarken: Tokens pro Sekunde messen

Ob sich die Einrichtung gelohnt hat, zeigt erst ein Benchmark. Ein einfaches, aber aussagekräftiges Maß ist die Anzahl generierter Tokens pro Sekunde bei gleichem Modell und Prompt, verglichen zwischen NPU- und CPU-Execution-Provider. Das folgende Skript misst genau das.

import time

def benchmark(session, prompt_tokens=128, max_new_tokens=256):
    start = time.perf_counter()
    output = session.generate(prompt_tokens, max_new_tokens=max_new_tokens)
    elapsed = time.perf_counter() - start
    tokens_per_sec = max_new_tokens / elapsed
    print(f"Tokens/Sekunde: {tokens_per_sec:.1f}")
    return tokens_per_sec

# Beispielausgabe auf Ryzen AI 9 HX 475 (60 TOPS NPU):
# Tokens/Sekunde: 34.2  (NPU)
# Tokens/Sekunde: 11.7  (CPU, gleiches Modell)

Die genauen Werte hängen stark von Modellgröße, Quantisierung und Kontextlänge ab, deshalb sollte jeder Nutzer selbst messen statt sich auf einzelne Herstellerangaben zu verlassen. Wichtiger als die absolute Zahl ist der Vergleich innerhalb des eigenen Systems: Läuft die NPU-Variante spürbar schneller und gleichzeitig mit niedrigerer Systemlast als die CPU-Variante, war die Einrichtung erfolgreich. Bleibt der Unterschied gering, lohnt sich ein Blick zurück auf Schritt 10, denn dann läuft die Inferenz womöglich weiterhin über die CPU, obwohl die NPU als Provider eingetragen ist.

Beim Vergleich mehrerer Systeme lohnt es sich außerdem, die Werte pro TOPS zu normieren, statt nur die absolute Tokens-pro-Sekunde-Zahl zu betrachten. Ein Ryzen AI 5 430 mit 50 TOPS wird bei identischer Modellgröße nie an einen Ryzen AI 9 HX 475 mit 60 TOPS herankommen, das ist kein Zeichen einer fehlerhaften Installation, sondern schlicht der Unterschied in der verbauten NPU-Klasse. Wer mehrere eigene Geräte im Haushalt oder im Büro einrichtet, sollte diese Erwartung von Anfang an einkalkulieren, um spätere Fehlersuchen wegen vermeintlich “zu langsamer” NPU-Leistung zu vermeiden.

Komplettes Projekt: Lokaler KI-Assistent auf der NPU

Als Abschluss folgt ein vollständiges, lauffähiges Beispiel: ein einfacher Kommandozeilen-Chat-Assistent, der ausschließlich lokal über die NPU antwortet und bei fehlender NPU automatisch auf die CPU zurückfällt. Das Skript setzt Lemonade Server aus Schritt 7 sowie das in Schritt 8 geladene Modell voraus.

import requests

LEMONADE_URL = "http://127.0.0.1:8000/v1/chat/completions"
MODEL = "llama-3.2-3b-npu"

def chat(prompt, history):
    history.append({"role": "user", "content": prompt})
    response = requests.post(LEMONADE_URL, json={
        "model": MODEL,
        "messages": history,
        "temperature": 0.7,
    })
    reply = response.json()["choices"][0]["message"]["content"]
    history.append({"role": "assistant", "content": reply})
    return reply

if __name__ == "__main__":
    history = []
    print("Lokaler NPU-Assistent gestartet. 'exit' zum Beenden.")
    while True:
        user_input = input("Du: ")
        if user_input.strip().lower() == "exit":
            break
        antwort = chat(user_input, history)
        print(f"Assistent: {antwort}")

Dieses Projekt lässt sich beliebig erweitern, etwa um eine grafische Oberfläche, Sprachein- und -ausgabe oder eine Anbindung an lokale Dokumente über eine Retrieval-Komponente. Solange die Anfragen über den Lemonade-Server mit NPU-Execution-Provider laufen, bleiben sämtliche Daten auf dem eigenen Gerät, ohne dass ein einziges Byte an einen Cloud-Dienst geht.

Eine naheliegende erste Erweiterung ist das Speichern des Gesprächsverlaufs in einer lokalen Datei, damit der Assistent nach einem Neustart nicht bei null anfängt. Ebenso sinnvoll ist eine einfache Kommandozeilen-Option, mit der sich zwischen mehreren geladenen Modellen umschalten lässt, etwa einem kleinen, sehr schnellen Modell für einfache Fragen und einem größeren für komplexere Aufgaben. Beide Erweiterungen lassen sich mit wenigen zusätzlichen Zeilen realisieren, ohne die grundlegende NPU-Anbindung aus diesem Projekt zu verändern, da sie ausschließlich auf der bereits eingerichteten Lemonade-Server-API aufsetzen.

Die häufigsten Stolperfallen bei der NPU-Einrichtung

Die meisten Probleme bei der Ryzen-AI-NPU-Einrichtung entstehen nicht durch defekte Hardware, sondern durch eine falsche Reihenfolge bei der Installation oder durch stillschweigende Fallbacks, die sich nicht sofort bemerkbar machen. Die folgende Liste sammelt die Fehler, die in der Praxis am häufigsten auftreten, bevor im nächsten Abschnitt konkrete Lösungen für die wichtigsten Fehlermeldungen folgen.

  • Veraltetes BIOS: Manche Mainboard-Hersteller liefern die NPU-Unterstützung erst mit einem separaten BIOS-Update nach, auch wenn der Chip selbst bereits unterstützt wird.
  • Falsche Windows-Version: Windows 11 23H2 oder älter erkennt die NPU-Geräteklasse gar nicht erst, unabhängig davon, wie aktuell die Treiber sind.
  • Treiber ohne Neustart: Der NPU-Treiber wird oft erst nach einem vollständigen Neustart korrekt registriert, ein reines Abmelden reicht nicht.
  • Nicht-quantisierte Modelle: Standardmodelle in FP16 oder FP32 laufen häufig nicht auf der NPU, sondern fallen stillschweigend auf die CPU zurück, ohne Fehlermeldung.
  • Verwechslung von NPU und iGPU: Task-Manager und manche Tools zeigen GPU- und NPU-Auslastung nebeneinander an, was leicht zu Fehlinterpretationen führt, wenn tatsächlich die Grafikeinheit statt der NPU arbeitet.
  • Fehlende Execution-Provider-Reihenfolge: Wird in ONNX Runtime kein expliziter NPU-Provider gesetzt, wählt die Runtime standardmäßig oft die CPU, selbst wenn eine NPU vorhanden ist.
  • Parallele Installation mehrerer KI-Stacks: Wer gleichzeitig GAIA, Ollama und LM Studio installiert, ohne die Ports und Modellverzeichnisse sauber zu trennen, produziert häufig Konflikte, die sich in kryptischen Fehlermeldungen statt in einem klaren Hinweis auf die eigentliche Ursache äußern.

Troubleshooting: Die häufigsten Fehler und Lösungen

Auch bei sorgfältiger Installation nach den zwölf Schritten dieser Anleitung tauchen in der Praxis immer wieder dieselben acht Fehlerbilder auf. Die folgende Tabelle ordnet jedem Fehler die wahrscheinlichste Ursache und den direkten Lösungsweg zu, damit sich die Fehlersuche nicht über mehrere Foren-Threads erstreckt.

FehlerWahrscheinliche UrsacheLösung
NPU erscheint nicht im Geräte-ManagerNPU im BIOS deaktiviert oder BIOS veraltetBIOS-Update einspielen, NPU-Option im UEFI aktivieren
Task-Manager zeigt keinen NPU-GraphenWindows-Build älter als 24H2 (Build 26100)Windows Update ausführen, Build-Nummer prüfen
gaia –check-hardware meldet “NPU not found”NPU-Treiber fehlt oder ist veraltetAktuelles AMD-Treiberpaket über AMD-Software installieren, neu starten
Session nutzt CPUExecutionProvider trotz NPUKein expliziter NPU-Provider in der providers-Liste gesetztVitisAIExecutionProvider vor CPUExecutionProvider eintragen
Modell lädt, aber Inferenz bricht abModell nicht für XDNA2 quantisiert (INT8/ONNX)NPU-optimiertes Modell aus der GAIA-Bibliothek verwenden
Lemonade Server startet nichtPort 8000 bereits belegtAnderen Port mit –port angeben oder blockierenden Prozess beenden
Sehr hohe CPU-Last trotz NPU-KonfigurationFallback greift dauerhaft statt nur bei FehlernProvider-Reihenfolge und Treiberversion prüfen, Logs von Lemonade Server auswerten
Autostart-Task startet den Dienst nichtTaskplaner-Berechtigung fehlt oder falscher PfadTask mit “Mit höchsten Privilegien ausführen” neu anlegen, Pfad zur ausführbaren Datei prüfen

Lässt sich ein Fehler mit keiner dieser acht Zeilen erklären, hilft es meist, die Installation in der Reihenfolge dieser Anleitung noch einmal von Schritt 1 an durchzugehen, statt einzelne Komponenten isoliert neu zu installieren. Gerade das Zusammenspiel aus BIOS, Windows-Build, Treiberversion und SDK-Version führt in der Praxis häufiger zu Fehlern als eine einzelne fehlerhafte Komponente.

Datenschutz: Warum lokale NPU-Inferenz für Österreich zählt

Ein oft unterschätzter Vorteil der NPU-Einrichtung ist die Kontrolle über den Verarbeitungsort. Microsofts eigene Dokumentation zu NPU-Geräten unter Windows beschreibt die NPU ausdrücklich als Baustein für KI-Funktionen, die direkt auf dem Gerät laufen, statt Anfragen an einen Cloud-Dienst zu senden (Microsoft Learn). Für Anwender in Österreich, die mit Patientendaten, Mandantendaten oder anderen besonders schützenswerten Informationen arbeiten, ist das mehr als ein technisches Detail: Sobald ein Sprachmodell komplett lokal über GAIA und Lemonade Server läuft, verlässt keine einzige Anfrage das eigene Gerät, was die Einordnung nach DSGVO erheblich vereinfacht, weil kein Auftragsverarbeitungsvertrag mit einem externen KI-Anbieter nötig ist.

Wichtig ist dabei die Unterscheidung zwischen echter Offline-Verarbeitung und einem lokalen Client, der im Hintergrund trotzdem Telemetriedaten sendet. Wer maximale Kontrolle will, sollte nach der Einrichtung einmal die Netzwerkverbindungen von GAIA und Lemonade Server über die Windows-Firewall oder ein Tool wie Wireshark beobachten und gegebenenfalls ausgehende Verbindungen zu Analyse- oder Update-Servern gezielt blockieren, sofern das für den eigenen Anwendungsfall vertretbar ist.

Diese Kontrolle über den Verarbeitungsort ersetzt keine vollständige Datenschutz-Folgenabschätzung, sie verschiebt aber die Ausgangslage deutlich: Statt zu prüfen, welche Standardvertragsklauseln ein Cloud-KI-Anbieter für die Datenübermittlung in Drittländer nutzt, muss lediglich sichergestellt werden, dass die lokale Installation tatsächlich ohne externe API-Aufrufe läuft. Für Behörden, Kanzleien und Praxen, die in Österreich strengeren berufsrechtlichen Verschwiegenheitspflichten unterliegen, kann dieser Unterschied den Ausschlag geben, ob ein KI-gestütztes Werkzeug überhaupt eingesetzt werden darf.

Erweiterte Tipps für den Produktivbetrieb

Wer die NPU nicht nur zum Ausprobieren, sondern dauerhaft nutzen will, sollte einige Punkte zusätzlich beachten. Erstens: Mehrere kleinere, spezialisierte Modelle laufen auf der NPU oft zuverlässiger als ein einzelnes großes Allzweckmodell, weil der begrenzte NPU-Speicher schneller an seine Grenzen stößt als bei einer dedizierten GPU. Zweitens lohnt es sich, die Modellwahl an die tatsächliche NPU-Klasse anzupassen: Auf einem Ryzen AI 5 430 mit 50 TOPS sind 3-Milliarden-Parameter-Modelle die praktikable Obergrenze, während ein Ryzen AI 9 HX 475 mit 60 TOPS auch größere Modelle noch mit brauchbarer Geschwindigkeit verarbeitet.

Drittens sollte die Stromverwaltung im Blick behalten werden: Windows drosselt NPU und CPU im Akkubetrieb standardmäßig stärker als im Netzbetrieb, was bei Benchmarks zu widersprüchlichen Ergebnissen führen kann, wenn nicht konsequent im gleichen Energiemodus gemessen wird. Viertens empfiehlt sich, den Lemonade-Server-Log dauerhaft mitzuschreiben, sobald mehrere Anwendungen gleichzeitig auf die NPU zugreifen, da nur ein Prozess zur selben Zeit exklusiven NPU-Zugriff bekommt und weitere Anfragen sonst unbemerkt in die Warteschlange oder auf die CPU ausweichen. Fünftens: Wer produktiv mit sensiblen Daten arbeitet, sollte Lemonade Server nur an localhost binden und keinesfalls ungeschützt im Netzwerk exponieren, da die Schnittstelle standardmäßig ohne Authentifizierung läuft. Sechstens lohnt sich ein regelmäßiger Blick auf die GAIA-SDK-Dokumentation, da AMD den Funktionsumfang und die unterstützte Hardware-Liste laufend erweitert, etwa um neue Ryzen-AI-Generationen oder zusätzliche Modellformate (GAIA SDK Dokumentation). Siebtens hilft es bei der Fehlersuche, die Protokolldateien von GAIA und Lemonade Server nicht zu ignorieren: Beide Tools schreiben Laufzeitinformationen standardmäßig in ein lokales Log-Verzeichnis, aus dem sich meist schneller ablesen lässt, welcher Execution-Provider tatsächlich aktiv war, als aus der reinen Konsolenausgabe. Wer die NPU-Einrichtung mehrfach auf verschiedenen Geräten wiederholt, etwa in einem kleinen Büro mit mehreren Ryzen-AI-Notebooks, sollte sich die eigenen Installationsschritte zusätzlich als Skript sichern, damit nicht jedes Gerät einzeln von Hand durch alle zwölf Schritte läuft.

Ryzen AI NPU im Vergleich: AMD, Intel und Apple

Die NPU-Aufrüstung ist kein AMD-exklusives Thema, sondern ein branchenweiter Trend. Intel hat mit den Core-Ultra-Prozessoren ebenfalls dedizierte NPUs eingeführt, während Apple seit Jahren auf die Neural Engine im M-Chip setzt. Die folgende Tabelle ordnet die aktuell relevanten Plattformen grob ein, ohne die jeweiligen Architekturen direkt technisch gleichzusetzen, da TOPS-Angaben je nach Hersteller unterschiedlich gemessen werden.

PlattformNPU-LeistungCopilot+-fähigOffizieller lokaler KI-Stack
AMD Ryzen AI 400 (Gorgon Point)bis zu 60 TOPSJaGAIA, Lemonade SDK, ONNX Runtime
AMD Ryzen AI 300 (Strix Point)bis zu 55 TOPSJaGAIA, Lemonade SDK, ONNX Runtime
Intel Core Ultra 200S (Arrow Lake, Desktop)ca. 13 TOPSNein (unter Schwelle)OpenVINO, Windows ML
Intel Core Ultra (Panther Lake, Mobile)ca. 50 TOPSJaOpenVINO, Windows ML

Für Windows-Nutzer, die zwischen Intel- und AMD-Notebooks der aktuellen Generation wählen, ist die reine NPU-Zahl daher nur ein Kriterium unter mehreren. Wer bereits einen Core-Ultra-Rechner besitzt, findet in unserer separaten Anleitung zur Core-Ultra-NPU-Einrichtung den passenden Weg für die Intel-Plattform, während Radeon-Grafikkarten-Besitzer eher beim ROCm-Setup für AMD-GPUs richtig sind, da dort eine dedizierte GPU statt der CPU-internen NPU zum Einsatz kommt. Wer stattdessen auf eine dedizierte Nvidia-GPU statt der NPU setzen will, findet einen vergleichbaren Einstieg in unserer Anleitung zur lokalen KI auf der RTX 5080, allerdings mit deutlich höherem Stromverbrauch als bei der NPU-Lösung. Unterm Strich gibt es aktuell keine pauschal “beste” Plattform für lokale KI, sondern nur die passende Wahl für den jeweiligen Anwendungsfall: Für kurze, energiesparende Hintergrundaufgaben auf einem Notebook ist die NPU kaum zu schlagen, für rechenintensives Fine-Tuning oder sehr große Modelle bleibt eine dedizierte GPU trotz höherem Stromverbrauch die praktikablere Lösung.

GAIA-Alternativen: Wann lohnen sich Ollama oder LM Studio?

GAIA und Lemonade Server sind nicht die einzigen Wege zu lokaler KI unter Windows, aber aktuell die einzigen, die von AMD selbst offiziell für die NPU-Beschleunigung dokumentiert werden. Alternativen wie Ollama oder LM Studio sind bei Windows-Nutzern beliebt, laufen technisch aber standardmäßig über CPU oder GPU und nicht über die NPU, da sie primär auf llama.cpp und CUDA- beziehungsweise Vulkan-Backends setzen statt auf die ONNX-Runtime-Pipeline, die AMDs XDNA-2-NPU voraussetzt. Wer bereits in eines dieser Tools investiert hat, muss also nicht zwingend wechseln, verzichtet damit aber auf die Energieeffizienz-Vorteile der NPU.

In der Praxis ergibt sich daraus eine einfache Faustregel: Wer in erster Linie maximale Rohleistung will und eine potente GPU im System hat, bleibt bei Ollama oder LM Studio auf der GPU. Wer dagegen Wert auf lange Akkulaufzeit, geringe Systemlast im Hintergrundbetrieb oder eine besonders datenschutzfreundliche, vollständig auf dem Gerät verbleibende Verarbeitung legt, profitiert von der NPU-Route über GAIA und Lemonade Server. Beide Ansätze schließen sich nicht aus, sie lassen sich, wie in den Häufig-gestellte-Fragen weiter unten beschrieben, sogar parallel auf unterschiedlichen Ports betreiben.

Ein Wechsel zwischen den Tools ist zudem jederzeit reversibel, da keines der genannten Programme das System tief verändert. Wer GAIA nach einem Test wieder entfernen möchte, deinstalliert die Anwendung wie jedes andere Windows-Programm über die Einstellungen, während der zuvor installierte NPU-Treiber unabhängig davon erhalten bleibt und weiterhin für andere Anwendungen wie Windows-Copilot-Funktionen zur Verfügung steht.

Häufig gestellte Fragen zur Ryzen-AI-NPU-Einrichtung

Zum Abschluss die Fragen, die in der Praxis am häufigsten nach der Einrichtung auftauchen, von der Hardware-Kompatibilität bis zur Kostenfrage.

Brauche ich zwingend einen Ryzen-AI-400-Chip, oder reicht auch die 300er-Serie?

Nein. GAIA und Lemonade unterstützen laut offizieller Dokumentation die Ryzen-AI-300-, Ryzen-AI-Max- und Ryzen-AI-400-Reihe gleichermaßen, solange eine XDNA-2-NPU verbaut ist. Ältere Ryzen-AI-Generationen ohne XDNA2 werden nicht unterstützt.

Funktioniert die NPU-Einrichtung auch unter Linux?

Der in dieser Anleitung beschriebene Stack aus GAIA, Lemonade Server und Windows ML ist auf Windows 11 ausgelegt. Für Linux existieren separate, teils experimentelle XDNA-Treiber, die jedoch einen anderen Einrichtungsweg erfordern und nicht Teil dieser Anleitung sind.

Wie erkenne ich, ob eine Anfrage wirklich über die NPU läuft und nicht über die CPU?

Am zuverlässigsten über zwei Kontrollen gleichzeitig: den NPU-Graphen im Task-Manager während der Anfrage sowie die Ausgabe von session.get_providers() in Python, die den tatsächlich aktiven Execution-Provider anzeigt. Zeigt der Task-Manager keine NPU-Auslastung, obwohl VitisAIExecutionProvider eingetragen ist, greift meist der automatische Fallback.

Warum ist die NPU langsamer als erwartet, obwohl sie 60 TOPS liefern soll?

TOPS-Angaben beschreiben die theoretische Spitzenleistung bei INT8-Operationen unter Idealbedingungen. In der Praxis hängt die tatsächliche Geschwindigkeit stark von Modellgröße, Quantisierung, Speicherbandbreite und Kontextlänge ab. Ein Vergleich zwischen NPU- und CPU-Provider mit identischem Modell und Prompt liefert ein realistischeres Bild als die reine TOPS-Zahl.

Kann ich GAIA und Lemonade parallel zu Ollama oder LM Studio nutzen?

Technisch ja, solange unterschiedliche Ports verwendet werden. Allerdings konkurrieren beide Stacks um denselben NPU-Zugriff, weshalb es sich empfiehlt, jeweils nur einen Dienst gleichzeitig aktiv mit der NPU arbeiten zu lassen, um Warteschlangen und CPU-Fallbacks zu vermeiden.

Verbraucht die NPU-Nutzung mehr Akku als die GPU-Nutzung?

In der Regel weniger, das ist der eigentliche Zweck einer NPU. Sie ist auf niedrigen Energieverbrauch pro Rechenoperation optimiert, während eine dedizierte GPU für Spitzenleistung statt Effizienz ausgelegt ist. Für dauerhafte Hintergrundaufgaben wie einen lokalen Assistenten ist die NPU daher meist die akkuschonendere Wahl.

Muss ich für GAIA oder Lemonade bezahlen?

Nein, beide Projekte sind quelloffen und kostenlos nutzbar. AMD stellt GAIA ausdrücklich als Open-Source-Projekt bereit, Lemonade SDK stammt aus dem ebenfalls offenen ONNX-TurnkeyML-Projekt.

Was mache ich, wenn mein Notebook eine ältere Ryzen-AI-Generation ohne XDNA2 hat?

Ohne XDNA-2-NPU laufen GAIA und Lemonade Server zwar weiterhin, jedoch ausschließlich über CPU oder iGPU, da der VitisAIExecutionProvider dann keine passende Hardware findet und automatisch auf CPUExecutionProvider zurückfällt. Die Installation aus dieser Anleitung funktioniert technisch trotzdem, liefert aber keinen Geschwindigkeits- oder Effizienzvorteil gegenüber einer klassischen CPU-Installation.

Lohnt sich der Umstieg von der Ryzen-AI-300- auf die Ryzen-AI-400-Generation nur wegen der NPU?

Für reine NPU-Zwecke ist der Sprung von 55 auf 60 TOPS beim Topmodell überschaubar, viele Anwendungsfälle laufen auf beiden Generationen praktisch identisch. Spürbarer sind meist die begleitenden Verbesserungen bei CPU-Kernen, Cache und Speicheranbindung. Wer bereits ein Ryzen-AI-300-Gerät besitzt, muss also nicht allein wegen der NPU aufrüsten, profitiert aber von einem Neukauf durch die Summe der Verbesserungen.