Samma modell. Samma vecka. Samma test. Två poäng som skiljer 37 procentenheter åt. Det är kärnan i den kris som just nu skakar tilliten till AI-benchmark som mätmetod, sedan ARC Prize den 3 september 2026 publicerade sin utvärdering av OpenAIs nya flaggskeppsmodell GPT-6 Astra på testet ARC-AGI-3. Under standardtestriggen landade Astra på 62,7 procent. Under en anpassad testrigg byggd av OpenAI självt nådde samma modell 99,9 procent. Kontroversen har på bara en vecka blivit ett skolboksexempel på hur AI-branschens mätverktyg kan vridas till att visa nästan vad som helst, och den kommer mitt i en säsong där minst åtta nya modeller lanserats på under två veckor.
Vad hände: 62,7 procent möter 99,9 procent på samma AI-benchmark
ARC-AGI-3 är det senaste testet i serien från forskningsstiftelsen ARC Prize, känd för att mäta abstrakt resonemang hos AI-modeller på ett sätt som är svårt att träna sig runt. När OpenAI lanserade GPT-6 Astra den 3 september 2026 marknadsfördes modellen med en poäng på 99,9 procent på just detta test, en siffra som fick företagsledningen att beskriva testet som “mättat” av Astra. Problemet är att ARC Prizes egen, leverantörsneutrala körning av samma modell gav 62,7 procent, en skillnad på drygt 37 procentenheter mellan de två siffrorna.
Skillnaden ligger inte i modellen utan i testriggen. ARC Prizes standardrigg körs identiskt för alla leverantörer och kostade cirka 26 098 dollar att slutföra för Astra. Den andra körningen använde en så kallad Provider Adapter, en testrigg som OpenAI byggt själv och som ARC Prize sedan valt att inkludera som en separat, frivillig kategori. Med adaptern kostade körningen bara cirka 18 817 dollar, gick enligt ARC Prizes egna mätningar ungefär 3,66 gånger snabbare och använde 49 procent färre tokens än standardriggen för jämförbara uppgifter, enligt en analys från The Decoder.
Så fungerar de två testriggarna i ARC-AGI-3
Den centrala tekniska skillnaden handlar om minne mellan anrop. ARC Prizes standardrigg behandlar varje pussel som en fristående serie anrop utan att modellen bär med sig internt tillstånd mellan dem, ett medvetet val för att göra testet jämförbart mellan leverantörer som OpenAI, Anthropic, Google och Alibaba. Provider Adapter-riggen gör tvärtom: den bevarar ett “dolt resonemangstillstånd” mellan anropen och sammanfattar automatiskt långa körningar åt modellen, vilket i praktiken ger Astra ett persistent arbetsminne den kan bygga vidare på genom hela testet.
ARC Prize själva skriver i sin analys, publicerad på arcprize.org, att Astra med adaptern “bygger de mest exakta symboliska modellerna av nya miljöer vi sett”. Det är ett genuint imponerande resultat rent tekniskt, men det beskriver enligt stiftelsen en kombination av modell och byggnadsställning snarare än den nakna språkmodellens förmåga. Just den distinktionen, mellan “modell” och “modell plus system”, är vad som gör siffrorna svåra att jämföra rakt av mellan konkurrenter.
Tabell: ARC-AGI-3-resultat beroende på testrigg
| Modell | Testrigg | Resonemangsnivå | Poäng | Kostnad per körning |
|---|---|---|---|---|
| GPT-6 Astra | Standard (leverantörsneutral) | – | 62,7 % | ~26 098 dollar |
| GPT-6 Astra | Provider Adapter | Hög | 99,9 % | ~18 817 dollar |
| GPT-6 Astra | Provider Adapter | Max | 98,6 % | Ej redovisad separat |
| Claude Opus 5 | Standard (leverantörsneutral) | – | 30,2 % | Ej redovisad |
Källa: ARC Prizes egen resultatpublicering och analyser hos IBL.ai, publicerade 3–7 september 2026. Tabellen visar varför en enskild AI-benchmark-siffra utan angiven testrigg numera bör läsas med försiktighet.
ARC Prize och OpenAI: vem sa vad om siffrorna
OpenAIs lanseringskommunikation lyfte inledningsvis 99,9-siffran, och siffran 98,6 procent cirkulerade också i uttalanden från bolagets ledning kring lanseringen. Efter att ARC Prize publicerat sin fullständiga uppdelning uppdaterade OpenAI sin egen dokumentation för att tydligare skilja på standardpoängen och adapterpoängen, enligt en genomgång från AI Intel Report. Det beskrivs som en förtydligande revidering snarare än en tillbakadragen siffra: de höga talen finns kvar i materialet, men nu med tydligare märkning av vilken testrigg de kommer från.
ARC Prize å sin sida har varit konsekventa i att peka ut standardriggens 62,7 procent som det tal som bör användas vid jämförelser mellan leverantörer, samtidigt som stiftelsen fortsätter publicera adapterresultaten öppet av transparensskäl. Flera oberoende tekniska genomgångar, bland annat från Orbilon Tech, drar samma slutsats: det är inte fusk i traditionell mening, men det är ett tydligt exempel på hur mätmetoden i sig kan formas efter vem som mäter.
Det som gör fallet extra känsligt är att båda parter i grunden har rätt. OpenAI har inte fabricerat en siffra, adapterresultaten är verkliga och reproducerbara under sina egna villkor. ARC Prize har inte heller underkänt Astra, stiftelsen erkänner öppet att modellen bygger anmärkningsvärt exakta interna representationer av nya miljöer. Konflikten handlar i stället om vilken fråga en AI-benchmark egentligen ska svara på: hur bra är den råa modellen, eller hur bra är hela systemet en leverantör kan bygga runt sin egen modell? Svaret avgör vilken siffra som hamnar i en rubrik.
Goodharts lag: när måttet blir målet i AI-branschen
Ekonomen Charles Goodhart myntade principen att ett mått slutar fungera som bra mått så fort det blir ett mål i sig. AI-branschen citerar den lagen allt oftare just nu, och Astra-fallet har blivit ett standardexempel. När ARC-AGI-3 gick från forskningsverktyg till marknadsföringsargument fick leverantörerna ett direkt incitament att optimera hela systemet, inte bara språkmodellen, för att maximera just den siffran. Resultatet är en testrigg skräddarsydd för att plocka ut bästa möjliga tal snarare än att mäta generell förmåga under realistiska förutsättningar.
Det här mönstret är inte nytt, men det blir tydligare för varje kvartal. Redan under 2023 och 2024 varnade forskare för att flera stora språkmodeller sannolikt exponerats för innehåll från just de testuppsättningar de sedan utvärderades mot, vilket blåste upp poängen utan att spegla verklig generalisering. MMLU, länge branschens favoritmått för allmän kunskap, är ett sådant exempel: när alla ledande modeller passerade 90 procent tappade testet sin förmåga att skilja mellan dem, och det klassas nu officiellt som “mättat” av flera benchmark-spårare.
September 2026: en explosion av nya AI-modeller
Astra-kontroversen kommer mitt i en av de tätaste lanseringsperioderna branschen sett. Enligt spårningstjänsten BenchLM skedde åtta modellsläpp från sju olika leverantörer bara under de första tio dagarna av september 2026. Det är en fortsättning på en trend där BenchLM räknat in 140 namngivna AI-modellsläpp under de senaste tolv månaderna fram till den 8 september 2026, i snitt ett nytt släpp ungefär var tredje dag.
| Datum 2026 | Modell | Leverantör | Notering |
|---|---|---|---|
| 26 augusti | Qwen3.8 Flash | Alibaba Cloud | Snabbare, billigare Qwen-variant |
| 1 september | Claude Fable 5.1 | Anthropic | Allmän lansering, samma pris som Fable 5 |
| 2 september | Gemini 3.8 Flash | Ny Flash-generation | |
| 2 september | Muse Spark 1.3 | Meta | Uppdaterad öppen modell |
| 3 september | Qwen3.8 Max (0902) | Alibaba Cloud | Flaggskeppsuppdatering |
| 3 september | GPT-6 Astra + Astra Pro | OpenAI | Lansering, ARC-AGI-3-kontrovers samma vecka |
| Tidig september | Mercury 2.5 | Inception | Ny modellgeneration |
| Tidig september | On-device-svit, 12 varianter | Desert Ant Labs | Riktad mot lokal körning på enheter |
Källa: BenchLM:s septemberöversikt och AIMultiples benchmarksida, båda senast uppdaterade 8–9 september 2026.
Tempot är i sig en del av historien. När sju leverantörer skickar ut nya modeller inom loppet av tio dagar hinner ingen extern granskare göra en fullständig, oberoende genomlysning innan nästa lansering redan tagit över nyhetsflödet. Det skapar ett informationsgap där leverantörens egna siffror, ofta hämtade från gynnsamt inställda testriggar, blir det första och ibland enda intrycket allmänheten och köpare får av en ny modells faktiska förmåga. ARC Prizes granskning av Astra fick genomslag just för att den kom förhållandevis snabbt, redan samma vecka som lanseringen.
MMLU pensioneras: vad ersätter de gamla testerna
Parallellt med Astra-kontroversen pågår ett bredare skifte i vilka AI-benchmark som räknas. BenchLM klassar nu MMLU som “pensionerat på grund av mättnad”, eftersom samtliga frontlinjemodeller ligger över 90 procent och testet inte längre särskiljer dem. I stället växer nyare, svårare mått fram. Ett exempel som lyfts i O’Reillys septembergenomgång av branschtrender är SWE-Bench ProMax, ett flerspråkigt test byggt på verklig kod i sju programmeringsspråk som specifikt mäter förmågan att göra storskalig refaktorering, en betydligt svårare uppgift än att lösa isolerade kodproblem.
Enligt BenchLM:s statistiksida spårar plattformen nu 427 olika AI-benchmark fördelade på tio kategorier för 418 modeller totalt, en fragmentering som gör det svårare för både utvecklare och inköpare att veta vilket mått som faktiskt är relevant för deras användningsfall. Trenden går mot fler, smalare och mer domänspecifika tester i stället för enstaka allmänna poäng som en gång kunde sammanfatta en hel modells kapacitet.
Claude Fable 5.1 toppar BenchAlign: vad 84,36 poäng betyder
Medan Astra dras med sin ARC-AGI-3-debatt har Anthropics Claude Fable 5.1 tagit förstaplatsen på BenchAlign, en ledartavla som specifikt mäter säkerhet, tillförlitlighet och följsamhet snarare än ren resonemangsförmåga. Modellen nådde 84,36 poäng på den ledartavlan den 8 september 2026, och gick allmänt tillgänglig redan den 1 september till samma prissättning som föregångaren Fable 5, cirka 10 dollar per miljon indata-token och 50 dollar per miljon utdata-token.
Att en alignment-fokuserad ledartavla får uppmärksamhet samtidigt som en resonemangsbenchmark ifrågasätts är ingen slump. Branschen rör sig mot att komplettera rena kapacitetsmått med mått på hur pålitligt en modell beter sig i produktion, särskilt för företag i reglerade sektorer som finans, hälsa och offentlig förvaltning där oförutsägbart beteende är dyrare än en lägre råpoäng.
Marknadspåverkan: så ändrar företag sitt AI-inköp
Astra-episoden landar hos inköpsansvariga som redan brottas med att hantera 418 modeller och över 400 olika benchmark. Flera tekniska genomgångar pekar på samma praktiska konsekvens: enskilda toppsiffror utan angiven testrigg går inte längre att lita på i en upphandling. Inköpsteam efterfrågar i allt högre grad en uppdelning per testrigg, kontextlängd och kostnad snarare än en enda marknadsföringssiffra, och många kräver nu pilottester i sin egen miljö innan större kontrakt tecknas.
Det här driver också efterfrågan på aggregatorer som BenchLM och liknande plattformar, som samlar många mått i en och samma vy i stället för att låta en leverantörs egen pressrelease sätta ramen. Effekten blir en förskjutning från “vilken modell har högst poäng” till “vilken modell presterar konsekvent över flera oberoende mått”, en mer tidskrävande men rimligare fråga att ställa innan man binder upp sig i ett AI-avtal.
Nordisk kontext: vad benchmark-krisen betyder för svenska bolag
För svenska och nordiska organisationer som just nu utvärderar vilken AI-leverantör de ska bygga vidare på blir Astra-fallet ett konkret argument för att inte basera beslut på en enda benchmark-siffra från en leverantörs egen lansering. Offentlig upphandling i Norden bygger redan i stor utsträckning på principer om leverantörsoberoende och reproducerbara tester, vilket ligger i linje med den riktning ARC Prize själva förespråkar genom att hålla fast vid sin standardrigg som jämförelsemått.
Praktiskt innebär det att nordiska IT-avdelningar och upphandlare bör efterfråga dokumentation om exakt vilken testrigg, kontextfönster och kostnadsnivå en leverantörs marknadsförda AI-benchmark-poäng bygger på, snarare än att ta en enskild siffra för given. Det gäller oavsett om jämförelsen handlar om GPT-6 Astra, Claude Fable 5.1, Gemini 3.8 Flash eller någon av de kinesiska modellerna från Alibaba som också konkurrerar om samma företagskunder i regionen.
Konkurrentjämförelse: fyra modeller, fyra strategier
De fyra modellerna som dominerat nyhetsflödet i september 2026 representerar också fyra olika strategier för hur leverantörer positionerar sig i benchmark-debatten. GPT-6 Astra satsar på maximal råstyrka i resonemangstester, med kontroversen som följd. Claude Fable 5.1 satsar i stället på att synas högst på ett mått för pålitlighet och säkerhet snarare än ren kapacitet. Gemini 3.8 Flash och Qwen3.8 Max representerar den motsatta trenden: mindre, billigare modeller optimerade för kostnad och hastighet i produktion snarare än toppresultat på enskilda ledartavlor.
| Modell | Leverantör | Primärt fokus | Lanserad | Aktuell status |
|---|---|---|---|---|
| GPT-6 Astra | OpenAI | Resonemang, agentkapacitet | 3 sep 2026 | Under granskning för testrigg-diskrepans |
| Claude Fable 5.1 | Anthropic | Säkerhet, följsamhet | 1 sep 2026 | Etta på BenchAlign, 84,36 poäng |
| Gemini 3.8 Flash | Kostnad, hastighet | 2 sep 2026 | Positionerad för produktionsskala | |
| Qwen3.8 Max (0902) | Alibaba Cloud | Flaggskeppsprestanda | 3 sep 2026 | Konkurrerar i övre skiktet på pris |
Ingen av de fyra har hittills dragits med samma typ av testrigg-kontrovers som Astra, men samtliga körs numera regelbundet genom tredjepartsplattformar som BenchLM och BenchAlign snarare än att bedömas enbart utifrån leverantörens egen lanseringssida. Det är i sig en förändring jämfört med för ett par år sedan, då en presskonferens och en snygg graf ofta räckte för att sätta ribban för hur en ny modell uppfattades i månader framöver.
Fem förutsägelser för AI-benchmark framöver
- Oberoende testorganisationer som ARC Prize kommer sannolikt kräva obligatorisk redovisning av testrigg och kostnad för varje ny ledartavleplacering, inte som frivillig tilläggsinformation.
- Fler leverantörer väntas följa OpenAIs reviderade format och separera “ren modell”-poäng från “modell plus system”-poäng i sin egen dokumentation.
- MMLU-pensioneringen fortsätter, och tester som SWE-Bench ProMax som mäter verkliga arbetsuppgifter i flera språk blir norm snarare än undantag under det kommande året.
- Nordiska och europeiska upphandlare kommer i högre grad kräva reproducerbara, leverantörsneutrala testkörningar i egen regi innan större AI-kontrakt tecknas.
- Fler “testrigg-gap”-kontroverser liknande Astra-fallet väntas dyka upp när nästa generation modeller från Google, Alibaba och Anthropic lanseras med egna, optimerade adaptrar.
Historisk bakgrund: AI-benchmark har manipulerats förut
Astra-fallet är dramatiskt men inte unikt i sitt slag. Benchmark-integritet har varit ett återkommande problem sedan stora språkmodeller började jämföras systematiskt med varandra. Kontamination av testdata, där en modells träningsdata av misstag eller avsiktligt innehåller exempel från just det test den senare utvärderas mot, har varit ett känt problem sedan minst 2023. Effekten är densamma varje gång: poängen stiger utan att den underliggande förmågan faktiskt blir bättre.
MMLU:s väg mot pensionering är ett tydligt exempel på samma mönster i en annan form. Testet var i flera år branschens gyllene standard för allmän kunskap, men i takt med att alla stora leverantörer optimerade mot just det måttet tappade det sin förmåga att särskilja bra modeller från riktigt bra modeller. Astra-kontroversen är i grunden samma historia fast med en teknisk twist: den här gången är det inte träningsdata som blåser upp siffran utan själva testinfrastrukturen runt modellen.
Vanliga frågor om AI-benchmark-krisen och GPT-6 Astra
Vad är ARC-AGI-3?
ARC-AGI-3 är det senaste testet från forskningsstiftelsen ARC Prize, utformat för att mäta abstrakt resonemang och förmågan att bygga interna modeller av nya, tidigare osedda miljöer. Testet är känt för att vara svårare att träna sig runt än många äldre AI-benchmark.
Varför skiljer sig GPT-6 Astras poäng så mycket?
Skillnaden beror på vilken testrigg som används. En leverantörsneutral standardrigg gav 62,7 procent, medan en anpassad rigg byggd av OpenAI, som bevarar minne mellan anrop och sammanfattar långa körningar automatiskt, gav upp till 99,9 procent.
Har OpenAI erkänt problemet?
OpenAI har uppdaterat sin dokumentation för att tydligare separera standardpoäng från adapterpoäng efter att ARC Prize publicerat sin fullständiga uppdelning, men bolaget har inte dragit tillbaka de högre siffrorna.
Vilken siffra ska man lita på vid jämförelser mellan modeller?
ARC Prize rekommenderar själva standardriggens resultat, 62,7 procent för Astra, som den siffra som är jämförbar mellan olika leverantörer, eftersom den körs identiskt för alla modeller som testas.
Vad är Claude Fable 5.1 och hur hänger det ihop?
Claude Fable 5.1 är Anthropics senaste modell, allmänt tillgänglig sedan 1 september 2026. Den toppar ledartavlan BenchAlign, som mäter säkerhet och följsamhet snarare än ren resonemangsförmåga, vilket illustrerar hur branschen breddar vilka mått som räknas.
Varför pensioneras MMLU som AI-benchmark?
MMLU klassas nu som mättat eftersom praktiskt taget alla frontlinjemodeller passerar 90 procent, vilket gör att testet inte längre kan särskilja bättre modeller från sämre. Nyare tester som SWE-Bench ProMax har börjat ta över den rollen.
Vad betyder det här för svenska och nordiska företag som köper AI-tjänster?
Det innebär att en enskild benchmark-siffra i en leverantörs marknadsföring inte bör vara avgörande. Nordiska inköpare bör efterfråga vilken testrigg som använts och gärna komplettera med egna pilottester innan större AI-kontrakt tecknas.
Kommer fler liknande benchmark-kontroverser dyka upp?
Flera analytiker som följer AI-branschen bedömer det som sannolikt, i takt med att fler leverantörer bygger egna testriggar för att visa upp starkast möjliga siffror inför lansering av nästa modellgeneration.
