Fra 15. september 2026 endrer Cloudflare standardinnstillingene for hvordan AI-roboter får tilgang til nettsteder som ligger bak selskapets nettverk. Samtidig har utviklere som bruker Cloudflare Workers og databasetjenesten D1 fått strengere grenser å forholde seg til fra 1. september. Til sammen utgjør endringene den mest omfattende omleggingen av Cloudflares regelverk for AI-trafikk og serverless-utvikling på over et år, og de treffer et nettverk som ifølge selskapet selv håndterer en betydelig andel av verdens HTTP-trafikk. For norske og nordiske mediehus, nettbutikker og skyteam betyr det nye avveininger mellom inntekter, kostnader og kontroll over eget innhold.
Saken har to atskilte, men beslektede spor. Det ene handler om hvem som får lov til å høste innhold til KI-modeller, og på hvilke vilkår. Det andre handler om hvor mye gratis infrastruktur utviklere kan lene seg på når de bygger tjenester på kanten av nettverket (edge computing). Begge sporene peker i samme retning: Cloudflare strammer inn på det som tidligere var åpent eller gratis, og legger mer av beslutningsmyndigheten hos den enkelte nettstedeier.
Hva skjer 15. september: tre kategorier erstatter én bryter
Cloudflare lanserte i juli 2025 en enkel “blokker alle AI-roboter”-bryter som nettstedeiere kunne slå på. Den bryteren er nå pensjonert. I stedet innfører selskapet fra 15. september 2026 tre uavhengige kategorier av roboter, omtalt i Cloudflares egen kunngjøring under navnet “Content Independence Day”: Search, Agent og Training.
Search-roboter er de klassiske søkemotorindekserene som sender trafikk tilbake til nettstedet via lenker og utdrag. Agent-roboter utfører oppgaver i sanntid på vegne av en bruker, for eksempel når en KI-assistent booker en flybillett eller sjekker en pris. Training-roboter høster innhold for å bygge inn i modelltrening, uten at det gir noen direkte trafikk tilbake. Det er det siste som har vært mest omstridt, fordi innholdet i praksis blir en permanent del av en modells “hukommelse” uten kompensasjon til den som skrev det.
Det nye er standardvalget som følger med. For alle nye domener som kobles til Cloudflare, alle nye nettsteder på eksisterende kontoer, og alle nettsteder på gratisplanen, blir Agent- og Training-roboter blokkert som standard på sider som viser annonser. Search-roboter forblir tillatt som standard på de samme sidene. Logikken Cloudflare bruker er at annonser på en side er et signal om at innholdet er laget for et menneskelig publikum, ikke for å mates rett inn i en treningsdatasett.
Nettstedeiere kan overstyre standardvalget for hver av de tre kategoriene, per side eller per sone, gjennom sikkerhetsinnstillingene før fristen 15. september. Det som kompliserer bildet for mange, er at roboter som ikke tydelig skiller mellom søk, trening og agent-oppgaver, i praksis blir rammet av den strengeste kategorien. Det gjelder blant annet en rekke sammensatte roboter som gjør flere ting på én gang, og som dermed blokkeres helt på annonsefinansierte sider med mindre eieren aktivt endrer innstillingen.
Googles motsvar: “ingen effekt” på egne roboter
Cloudflares opprinnelige “Content Signals”-utvidelse av robots.txt-standarden, som kom allerede i 2025, skulle la nettstedeiere signalisere separat samtykke for søk, KI-input og trening. Problemet er at signalet bare virker hvis robotene faktisk respekterer det. Ifølge Search Engine Roundtable har Googles egen talsperson John Mueller uttalt at Content Signals-direktivet ikke har noen effekt på Googles vevsøkere eller store språkmodeller, fordi Google verken anerkjenner eller bruker direktivet i sin nåværende form.
Det gir en ubehagelig situasjon for utgivere: de kan sette opp reglene i Cloudflares grensesnitt, men uten at verdens største søkemotor og KI-leverandør forplikter seg til å følge dem, er signalet i praksis frivillig for mottakeren. En anonym toppleder i et stort mediehus har uttalt til bransjemedier at de ikke ser noen indikasjon på at Google og andre faktisk vil følge signalet, selv om Cloudflare formaliserer det. TechCrunch omtalte allerede i juli 2026 den underliggende strategien som et forsøk på å presse KI-selskaper til å betale for tilgang til utgiveres innhold, fremfor å høste det gratis.
Konsekvensen er at Cloudflares nye standardinnstillinger fungerer best som en teknisk brems, ikke en juridisk garanti. Roboter som følger reglene, altså de fleste mindre og useriøse aktørene samt en del seriøse KI-selskaper som ønsker et ryddig forhold til utgivere, blir stanset. Roboter fra de aller største plattformene kan i prinsippet fortsette som før, med mindre nettstedeieren tar i bruk mer aggressive tekniske mottiltak som IP-blokkering og atferdsbasert bot-deteksjon.
D1-databasen: gratisplanen møter harde vegger
Parallelt med AI-robot-endringene har Cloudflare strammet inn på egen serverless-database, D1. Grensene har alltid vært der på papiret: 5 millioner radlesinger og 100 000 radskrivinger per dag på gratisplanen, med et lagringstak på 5 GB. Fra 1. september 2026 begynner Cloudflare å håndheve grensene reelt, ifølge selskapets endringslogg. Spørringer via både Workers Binding API og REST API vil returnere feil når grensen er nådd, helt til den nullstilles ved midnatt UTC. Lagrede data blir ikke slettet eller påvirket, men appen slutter å svare på nye spørringer.
Utviklere som har bygget sideprosjekter, MVP-er eller mindre kommersielle tjenester på D1 sin gratisplan, får nå e-postvarsel når grensen nås, men ingen automatisk skalering uten å oppgradere til en betalt plan. For nordiske startups og enkeltutviklere som har brukt D1 nettopp fordi det er gratis og enkelt å sette opp, betyr dette at man må begynne å budsjettere for skyforbruk tidligere i produktets livssyklus enn før.
Workflows mister halvparten av lagringstiden
En mindre omtalt, men reell endring gjelder Cloudflare Workflows, verktøyet for å orkestrere flertrinns-prosesser på Workers-plattformen. Fra 10. september 2026 er standard lagringstid for tilstanden til fullførte og feilede instanser kuttet fra 30 til 7 dager for nye Workflows på Workers-planen med betaling. Det er en reduksjon på 23 dager, drevet av et ønske om å kutte lagringskostnader på Cloudflares side. Team som er avhengige av å kunne feilsøke prosesser flere uker tilbake i tid, må nå eksportere logger og tilstand til egen lagring før syvdagersvinduet lukkes.
Den ene lettelsen: Workers får mer plass
Ikke alt går i strammere retning. Cloudflare har fjernet det komprimerte størrelsestaket for Workers, som tidligere var 3 MB på gratisplanen og 10 MB på betalte planer. I stedet gjelder nå én enkelt regel for alle planer: et ukomprimert størrelsestak på 64 MiB, dokumentert i Cloudflares prisoversikt for Workers. Samtidig er Node.js-kompatibilitet slått på som standard, noe som gjør det enklere å flytte eksisterende Node-baserte applikasjoner til kant-plattformen uten omfattende omskriving. Cloudflare har også lagt til et URL-basert modulregister med støtte for import.meta, lat kompilering og delt kode mellom Workers.
Nettoeffekten er at Cloudflare gjør det billigere og enklere å bygge store applikasjoner på Workers, samtidig som det blir dyrere å bruke D1 og Workflows i stor skala uten å betale. Det ligner en bevisst strategi: lokke utviklere inn med et rausere kjøretidsmiljø, og la dem støte på begrensninger idet de skalerer opp database- og orkestreringsbehovet sitt.
Roboter har tatt over internett: tallene bak beslutningen
Bakgrunnen for at Cloudflare strammer inn nettopp nå, handler om en trafikkvending selskapet selv har dokumentert. Ifølge data fra Cloudflare Radar, delt av konsernsjef Matthew Prince 3. juni 2026, utgjorde automatiserte forespørsler 57,5 prosent av all HTML-trafikk til nettinnhold, mot 42,5 prosent fra mennesker. Det er første gang i internetts historie at maskiner har flertallet av trafikken på Cloudflares nettverk.
Enda mer talende er sammensetningen av selve robot-trafikken. 52 prosent av alle robotforespørsler var i juni 2026 knyttet til KI-trening, opp fra 22 prosent våren 2025. Det er mer enn en dobling på litt over ett år, og det forklarer hvorfor Cloudflare nå velger å gjøre Training-kategorien til den som blokkeres strengest som standard. Selskapet har også advart om at hvis dagens trend fortsetter, kan ikke-menneskelig trafikk bli opptil 1000 ganger større enn menneskelig trafikk innen fem år.
En egen analyse av robots.txt-filer på tvers av Cloudflares nettverk, gjennomført i april 2026 og dekkende 200 000 av de mest besøkte domenene, fant at 78 prosent av nettstedene har en robots.txt-fil, men bare rundt 16 prosent inneholder KI-spesifikke regler. Kun 4 prosent hadde på det tidspunktet erklært strukturerte preferanser for KI-bruk. Det betyr at det store flertallet av nettsteder, inkludert mange norske og nordiske, fortsatt ikke har tatt et aktivt standpunkt til hvordan KI-roboter skal behandle innholdet deres, og dermed vil bli påvirket direkte av Cloudflares nye standardinnstillinger fra 15. september.
Markedstall: Cloudflare vokser mens det strammer inn
Innstrammingene kommer ikke fra en økonomisk knipe. Cloudflare rapporterte i sin andre kvartalsrapport for 2026 en omsetning på 696,1 millioner dollar, opp 36 prosent fra året før. Regionen EMEA, som Norge og Norden inngår i, vokste 30 prosent år over år. Selskapet hevet samtidig helårsprognosen til mellom 2,864 og 2,870 milliarder dollar i omsetning, opp fra en tidligere prognose på 2,805 til 2,813 milliarder dollar. Ikke-GAAP driftsresultat lå på 96,1 millioner dollar, tilsvarende 13,8 prosent av omsetningen.
Tallene viser et selskap som vokser raskt på tross av, eller kanskje delvis på grunn av, at det posisjonerer seg som portvakt mellom utgivere og KI-selskaper. Jo mer verdifull kontrollen over robot-tilgang blir, desto mer attraktiv blir Cloudflares infrastruktur for både nettstedeiere som vil beskytte innhold og KI-selskaper som trenger en vei til lovlig, avtalt tilgang.
Slik står Cloudflare mot Akamai og Fastly på robot-styring
Cloudflare er ikke alene om å bygge verktøy for å skille “gode” og “dårlige” roboter. Akamai Bot Manager kombinerer selskapets globale kantnettverk med atferdsbasert analyse og trusseletterretning for å oppdage og stoppe skadelige roboter før de når infrastrukturen. Fastly lanserte i 2026 sin AI Bot Management til generell tilgjengelighet, som gir kundene finmasket kontroll over hvordan KI-roboter samhandler med innholdet deres uten å gå på bekostning av ytelsen.
Forskjellen ligger i utgangspunktet. Cloudflare har valgt å gjøre streng blokkering til standardvalget for nye kunder, og legger byrden med å åpne opp på nettstedeieren. Akamai og Fastly har historisk latt kundene konfigurere reglene fra bunnen av, uten like aggressive standardinnstillinger. IAB Tech Lab publiserte i mai 2026 en veiledning som skiller mellom det de kaller “verdiskapende allierte” (KI-roboter som sender trafikk tilbake til utgiveren) og “ressurstappende utvinnere” (roboter som høster innhold uten å gi noe tilbake). Den distinksjonen ligner påfallende mye på Cloudflares egen tredeling, og tyder på at bransjen er i ferd med å samle seg om en felles forståelse av problemet, selv om de tekniske løsningene fortsatt varierer fra leverandør til leverandør.
| Leverandør | Standardtilnærming til KI-roboter | Nøkkelfunksjon | Status september 2026 |
|---|---|---|---|
| Cloudflare | Blokkerer Agent og Training som standard på annonserte sider | Tre kategorier: Search, Agent, Training | Ny standard fra 15. sep. 2026 |
| Akamai | Kundekonfigurert, ingen felles bransjestandard-default | Atferdsbasert bot-deteksjon og trusseletterretning | Etablert, løpende oppdateringer |
| Fastly | Kundekonfigurert, granulær kontroll per bot-type | AI Bot Management (GA i 2026) | Generelt tilgjengelig i 2026 |
| Google (mottaker) | Anerkjenner ikke Content Signals-direktivet | Egne robots.txt-tolkninger for Googlebot | Uendret ifølge John Mueller |
Historisk kontekst: fra robots.txt til betalte robotavtaler
robots.txt-standarden er fra 1994 og var i utgangspunktet en høflighetsavtale mellom nettstedeiere og søkemotorer, uten noen teknisk håndheving bak seg. Roboten kunne i praksis ignorere filen uten konsekvenser utover at eieren ble irritert. Da generative KI-modeller begynte å skrape store deler av internett for treningsdata fra 2022 og fremover, ble denne mangelen på håndheving et akutt problem for utgivere som så innholdet sitt bli en del av modeller de aldri hadde samtykket til å bidra til.
Cloudflares første svar kom med den enkle “blokker alle AI-roboter”-bryteren i juli 2025, en grovkornet løsning som ikke skilte mellom en søkemotor som sender trafikk tilbake, og en treningsrobot som bare tar. Utvidelsen til Content Signals-direktivet samme høst var et forsøk på å gjøre robots.txt mer uttrykksfullt, ved å legge til maskinlesbare preferanser for søk, KI-input og trening. At Google nå offentlig avviser å følge det direktivet, er en påminnelse om at tekniske standarder uten bransjeoppslutning har begrenset kraft. Det er nettopp derfor Cloudflares nye grep, å gjøre blokkering til standardvalget i stedet for et opt-in, er et forsøk på å flytte forhandlingsmakten fra roboten til nettstedeieren, uansett om roboten formelt anerkjenner signalet eller ikke.
Hva det betyr for norske mediehus og skyteam
Norske mediehus som NRK og Schibsted har de siste årene investert tungt i egen bruk av kunstig intelligens, samtidig som de må ta stilling til hvordan deres eget arkivinnhold skal behandles av eksterne KI-modeller. Nyhetsarkiver, produkttester, fageksperter og lokale nyheter representerer betydelig verdi for KI-systemer som trenger oppdatert og troverdig innhold, men det har vært vanskelig for utgivere å vite nøyaktig hvilke roboter som henter ut innholdet, og hva det brukes til etterpå.
For et mediehus som bruker Cloudflare og har annonsefinansierte sider, betyr 15. september-endringen at Training- og Agent-roboter blokkeres automatisk med mindre noen aktivt går inn og endrer innstillingen. Det er en fordel for utgivere som ønsker strengere kontroll uten å måtte konfigurere alt fra bunnen selv. Samtidig er det en felle for utgivere som faktisk ønsker synlighet i KI-genererte svar og chatboter, og som nå risikerer å bli utestengt uten å vite det, fordi de aldri sjekket standardinnstillingen før fristen.
For norske skyteam og utviklere som bruker Workers og D1 i produksjon, er rådet enklere: sjekk forbruket mot de nye D1-grensene før 1. september-fristen har fått satt seg, og eksporter Workflow-logger som må bevares lenger enn syv dager. Ingen av endringene krever umiddelbar handling for å unngå nedetid, men begge krever at noen faktisk leser endringsloggen, noe som historisk sett er den svakeste lenken i de fleste skyorganisasjoner.
Slik sjekker du og endrer standardinnstillingene
For nettstedeiere som bruker Cloudflares gratis- eller betalte plan, ligger de nye robot-kategoriene under sikkerhetsinnstillingene i dashbordet. Der kan Search, Agent og Training justeres uavhengig av hverandre, per sone eller per side. For team som forvalter mange domener samtidig, er det verdt å sette opp overvåking av D1-forbruket via Cloudflares API, slik at man får varsel god tid før man treffer grensene på 5 millioner radlesinger eller 100 000 radskrivinger per dag.
# Eksempel: sjekk gjeldende robot-kategori-status via Cloudflare API
curl -s -X GET "https://api.cloudflare.com/client/v4/zones/{zone_id}/settings/ai_crawl_control" \
-H "Authorization: Bearer {api_token}" \
-H "Content-Type: application/json"
# Eksempel: overvåk D1-forbruk mot daglige grenser
curl -s -X GET "https://api.cloudflare.com/client/v4/accounts/{account_id}/d1/database/{database_id}/usage" \
-H "Authorization: Bearer {api_token}"Det er verdt å understreke at API-kallene over er illustrative eksempler på hvilke type endepunkter som er relevante å sjekke, ikke en fasit på nøyaktig sti. Utviklere bør alltid verifisere mot Cloudflares offisielle API-dokumentasjon før de setter opp automatisert overvåking i produksjon.
Datatabell: tidslinje for Cloudflares endringer i 2026
| Dato | Endring | Berører | Effekt |
|---|---|---|---|
| Juli 2025 | Lansering av “blokker alle AI-roboter”-bryter | Alle Cloudflare-kunder | Grovkornet, nå pensjonert |
| Høsten 2025 | Content Signals-utvidelse av robots.txt | Nettstedeiere og roboteiere | Frivillig, ikke anerkjent av Google |
| 1. sep. 2026 | D1 håndhever daglige grenser på gratisplanen | Utviklere på Workers Free | Spørringer feiler ved grensebrudd |
| 10. sep. 2026 | Workflows-lagring kuttet fra 30 til 7 dager | Workers-plan med betaling | Kortere feilsøkingsvindu |
| 15. sep. 2026 | Ny standard for Search/Agent/Training-roboter | Nye domener og gratisplan-nettsteder | Agent/Training blokkert som standard på annonserte sider |
Kritikken: fungerer dette i praksis?
Den mest gjennomgående kritikken av Cloudflares fremstøt er at det løser et reelt problem med en løsning som ikke kan håndheves ensidig. Cloudflare kontrollerer trafikken som går gjennom sitt eget nettverk, men kan ikke tvinge en robot utenfor nettverket til å respektere et signal den velger å ignorere. Bransjeobservatører har pekt på at uten støtte fra Google, som fortsatt er den desidert største kilden til henvisningstrafikk for de fleste utgivere, er det lite sannsynlig at Content Signals blir en reell bransjestandard på kort sikt.
Samtidig gir det praktisk mening for Cloudflare å gjøre det uansett. Selv om ikke alle roboter respekterer signalet, vil de useriøse og mindre sofistikerte aktørene, som utgjør en stor andel av den samlede robot-trafikken, sannsynligvis bli filtrert bort. Det reduserer belastningen på opprinnelsesservere og gir nettstedeiere i det minste et verktøy, selv om det ikke er en fullstendig løsning.
Fem spådommer for resten av 2026 og inn i 2027
Basert på trendlinjen fra de siste 18 månedene er det mulig å skissere hvor dette er på vei. For det første vil flere CDN- og edge-leverandører trolig følge Cloudflares eksempel med strengere standardinnstillinger fremfor opt-in-modeller, ettersom regulatorisk press og utgiverfrustrasjon øker. For det andre er det sannsynlig at flere KI-selskaper inngår direkte betalte avtaler med store utgivere for lovlig tilgang til innhold, fremfor å basere seg på ukontrollert skraping, slik TechCrunch-analysen fra juli 2026 antydet som en strategisk retning for Cloudflare selv.
For det tredje vil andelen ikke-menneskelig trafikk trolig fortsette å stige fra dagens 57,5 prosent, ettersom flere KI-agenter tar over oppgaver som tidligere krevde et menneske foran en skjerm. For det fjerde vil flere nordiske skyteam sannsynligvis bli tvunget til å budsjettere for D1- og Workflows-kostnader tidligere i produktutviklingen, ettersom gratisplanene blir strammere håndhevet. For det femte er det grunn til å tro at presset på Google til å anerkjenne en eller annen form for strukturert robotsignal vil øke, særlig hvis regulatoriske myndigheter i EU begynner å interessere seg for maktbalansen mellom plattformer og utgivere.
Ofte stilte spørsmål om Cloudflares nye AI-robotregler
Når trer de nye standardinnstillingene for AI-roboter i kraft?
Fra 15. september 2026 gjelder nye standardregler for alle nye domener på Cloudflare, alle nye nettsteder på eksisterende kontoer, og alle nettsteder på gratisplanen.
Blir eksisterende nettsteder automatisk påvirket?
Eksisterende domener som allerede har konfigurert egne robotregler beholder i utgangspunktet sine innstillinger, men bør likevel sjekke dashbordet for å bekrefte at de tre kategoriene Search, Agent og Training er satt slik man faktisk ønsker.
Må jeg betale for å bruke de nye robot-kategoriene?
Nei, kategoriene Search, Agent og Training er tilgjengelige for alle Cloudflare-kunder uavhengig av plan, inkludert gratisplanen.
Følger Google de nye reglene?
Ifølge uttalelser fra Googles Search Advocate John Mueller anerkjenner ikke Google Content Signals-direktivet, og Googles egne roboter er ikke forpliktet til å følge det.
Hva skjer hvis jeg overskrider D1-grensene på gratisplanen?
Spørringer via både Workers Binding API og REST API vil returnere feil resten av dagen, frem til grensen nullstilles ved midnatt UTC. Lagrede data blir ikke slettet.
Påvirker Workflows-endringen eksisterende instanser?
Nei, den kortere lagringstiden på syv dager gjelder Workflows opprettet fra og med 10. september 2026 på Workers-planen med betaling. Eldre instanser beholder sin opprinnelige lagringspolicy.
Hvorfor økte Workers-størrelsestaket til 64 MiB?
Cloudflare fjernet de tidligere separate grensene på 3 MB (gratis) og 10 MB (betalt) for komprimert kode, og innførte i stedet ett felles ukomprimert tak på 64 MiB for alle planer, samtidig som Node.js-kompatibilitet ble slått på som standard.
Bør norske mediehus blokkere alle KI-roboter?
Det avhenger av forretningsmodellen. Utgivere som ønsker synlighet i KI-genererte svar bør vurdere å tillate Search- og eventuelt Agent-roboter, mens de som primært vil beskytte betalingsmurer og eksklusivt innhold har mest å vinne på å beholde standardblokkeringen av Training-roboter.
