Cloudflare introduceert een ‘Accountable’-aanduiding voor AI-crawlers waarmee website-eigenaren AI-training kunnen weigeren zonder uit zoekresultaten te verdwijnen. Apple, Google en Microsoft voldoen volgens het bedrijf al aan de gestelde criteria. Andere gecombineerde crawlers worden geblokkeerd zodra een website-eigenaar training weigert.
Cloudflare voert nieuwe besturingsfuncties in waarmee website-eigenaren apart kunnen bepalen of hun content wordt gebruikt voor zoekresultaten, AI-training en AI-agenten. Het bedrijf voegt hiervoor een ‘Accountable’-aanduiding toe die crawler-operators krijgen als ze aan een aantal transparantie-eisen voldoen. In combinatie met de instelling ‘AI-training weigeren’ kan een website volgens Cloudflare AI-training uitsluiten terwijl de zichtbaarheid in zoekresultaten intact blijft.
Elf weken geleden kondigde Cloudflare al aan dat website-eigenaren zeggenschap moeten hebben over hoe AI-bedrijven hun content gebruiken. Het bedrijf gaf toen ook aan welke informatie crawler-operators moeten aanleveren om toegang te houden. Apple, Google en Microsoft worden nu als ‘Accountable’ bestempeld omdat ze volgens Cloudflare aan de criteria voldoen of concrete termijnen hebben genoemd om dat te doen.
Veranderende verhouding tussen crawlers en websites
Volgens Cloudflare was de afspraak tussen crawlers en website-eigenaren decennialang eenvoudig: crawlers verzamelden content en stuurden verkeer terug. Gecombineerde crawlers, die content tegelijk verzamelen voor een zoekindex en voor AI-training, vormen inmiddels 36,6 procent van het geverifieerde crawlerverkeer op het netwerk van Cloudflare en zijn daarmee de grootste categorie. Het bedrijf meldt dat minder dan 1 procent van de website-eigenaren zoekmachinecrawlers blokkeert, terwijl 17 procent AI-training beperkt. Tot nu toe verloor een website die training weigerde ook zijn plek in de zoekresultaten van crawlers zonder de juiste besturingsfuncties.
Matthew Prince, medeoprichter en CEO van Cloudflare, stelt dat het bedrijf hiermee de openheid van zoeken wil behouden en tegelijk organisaties zeggenschap wil geven over het gebruik van hun content. Prince zegt de samenwerking met bedrijven als Apple, Google en Microsoft te willen voortzetten om een ecosysteem op te bouwen rond dit onderwerp.
Drie afzonderlijke besturingsfuncties
Cloudflare vervangt de bestaande optie ‘AI-bots blokkeren’ door drie aparte instellingen: één voor zoeken, één voor AI-training en één voor AI-agenten. Nieuwe websites op Cloudflare krijgen instellingen voorgesteld die aansluiten bij hun bedrijfsmodel. Bij websites met advertenties staat zoekmachinecrawling standaard aan, wordt AI-training uitgeschakeld en worden AI-agenten geblokkeerd op pagina’s met advertenties. Bij overige websites staan zoeken, AI-training en AI-agenten standaard allemaal aan, in lijn met hoe dit type website nu al werkt.
Het bedrijf vervangt daarnaast het ‘Managed Robots.txt’-bestand door een functie genaamd ‘Bot Preference Sync’. Hiermee kunnen website-eigenaren hun crawlvoorkeuren eenmalig instellen, waarna deze automatisch worden toegepast op alle ondersteunde crawlers. Instellingen zijn volgens Cloudflare op elk moment aan te passen.
Criteria voor ‘Accountable’ crawlers
Cloudflare hanteert vier voorwaarden waaraan crawler-operators moeten voldoen, of waarvoor ze een concrete termijn moeten aangeven. Operators moeten een duidelijke afmeldmogelijkheid bieden voor AI-training via robots.txt of een vergelijkbare standaard, een afmeldoptie bieden voor AI-gegenereerde zoekresultaten, inzicht geven op URL-niveau in hoe content wordt gebruikt voor zoeken en training, en publiekelijk bevestigen dat afmelden voor training geen invloed heeft op de positie in traditionele zoekresultaten.
Google biedt volgens Cloudflare met Google-Extended al een besturingsfunctie waarmee websites zich kunnen afmelden voor training zonder hun zoekvindbaarheid te verliezen. Andere AI-bedrijven gebruiken aparte crawlers voor zoekopdrachten en training, waardoor Cloudflare trainingscrawlers kan blokkeren zonder de zoekresultaten te raken. De volledige lijst van gekwalificeerde operators is te raadplegen op Cloudflare Radar.
Cloudflare meldt daarnaast betrokken te zijn bij de ontwikkeling van open standaarden binnen de Internet Engineering Task Force, waaronder de specificatie ‘ai-prefs’. Deze in ontwikkeling zijnde standaard moet websites een uniforme, overdraagbare manier bieden om voorkeuren voor AI-toegang vast te leggen. De huidige besturingsfuncties van Cloudflare zijn volgens het bedrijf ontworpen om aan te sluiten op deze standaarden.
