Google wil website-eigenaren een gedeelde manier geven om in robots.txt aan te geven of hun openbare content voor AI-training mag worden gebruikt. De aankondiging van 30 oktober 2026 is relevant voor uitgevers en marketeers die zowel vindbaar willen zijn als bewust willen kiezen wat met hun teksten gebeurt. De kern is het onderscheid tussen AI-training, crawlen voor zoeken en zichtbaarheid in AI-antwoorden.
Stand van zaken op 5 november 2026: Google heeft het plan aangekondigd, maar verwacht de gedeelde controle pas in 2027 te ondersteunen. Er is nu geen definitieve, breed ondersteunde regel die je blind in robots.txt kunt plakken. Het voorstel wordt verder besproken in de IETF-werkgroep AIPREF.
Wat stelt Google voor?
In plaats van voor iedere AI-aanbieder aparte aanwijzingen te beheren, zouden uitgevers met een gedeelde policy token in robots.txt een brede voorkeur voor AI-training kunnen uitdrukken. Deelnemende aanbieders kunnen datzelfde signaal interpreteren. Bedrijfsspecifieke controles blijven daarnaast mogelijk.
Google beschrijft ook hoe het zelf van plan is met de combinatie om te gaan: als een site met de gedeelde token AI-training afwijst en Google-Extended niet expliciet is ingesteld, wil Google dat interpreteren alsof Google-Extended is geblokkeerd. Een expliciete Google-Extended-keuze kan de algemene voorkeur voor Google nader invullen. Dit is de aangekondigde toekomstige werking; de uiteindelijke tekst en ondersteuning kunnen nog veranderen.
Google noemt in dezelfde aankondiging dat sites die Google-Extended uitdrukkelijk toestaan in aanmerking kunnen komen om via grounding in Gemini Apps in antwoorden te verschijnen en klikken te ontvangen. Dat is geen garantie op een vermelding, citaat of bezoek.
Waarom is dit relevant voor contentmarketing?
Een blogartikel kan op meerdere manieren worden gebruikt. Een zoekmachine kan de pagina crawlen en opnemen in zoekresultaten. Een AI-aanbieder kan data gebruiken om een model te trainen. Een AI-product kan een pagina op een later moment als bron ophalen of ernaar verwijzen. Dat zijn verschillende processen met verschillende instellingen en mogelijke gevolgen.
De zakelijke afweging is daarom niet simpelweg ‘AI aan of uit’. Denk aan drie vragen:
- Welke content wil je publiek laten vinden, zoals handleidingen, begrippen en tooluitleg?
- Welke waarde heeft een mogelijke bronvermelding of doorverwijzing in AI-producten voor je merk?
- Welk hergebruik van je originele teksten, data of beeld wil je wel of niet toestaan?
Schrijf het antwoord per contentsoort op. Een openbare GEO-uitleg kan een ander doel hebben dan betaalde onderzoeksdata of klantmateriaal. Houd bij de keuze ook rekening met rechten op materiaal dat niet volledig van jou is.
Wat kun je vandaag al doen?
1. Inventariseer je huidige robots.txt. Bekijk de werkelijk openbare versie op je domein, niet alleen een bronbestand in je repository. Noteer welke crawlers of user-agents expliciet worden genoemd en welke delen van je site mogen worden gecrawld. Een verkeerde algemene regel kan belangrijke pagina's uit de toegang houden.
2. Controleer de bestaande Google-Extended-instelling. Google biedt Google-Extended als afzonderlijke controle. Lees de actuele documentatie voordat je een regel wijzigt. Documenteer wie de keuze heeft gemaakt en wat het doel is. Neem niet aan dat één crawlerregel automatisch alle vormen van AI-gebruik door alle aanbieders regelt.
3. Houd het nieuwe voorstel bij, zonder vooruit te lopen op de syntax. Google heeft nog geen definitieve, door iedereen ondersteunde implementatie voor 2026 aangekondigd. Plaats geen verzonnen policy token en presenteer een toekomstige voorkeur niet als bestaande bescherming. Plan een nieuwe controle wanneer de IETF-tekst en de implementaties van aanbieders duidelijker zijn.
4. Blijf waarde voor lezers maken. Welke AI-voorkeur je ook kiest, bezoekers hebben baat bij heldere uitleg, controleerbare bronnen, originele voorbeelden en onderhouden informatie. De checklist voor content in AI-zoekervaringen helpt bestaande pagina's inhoudelijk te beoordelen. Een robots.txt-regel vervangt dat werk niet.
Een besluitnotitie voor je team
Leg voor je eigen site in een korte notitie vast wie verantwoordelijk is voor de robots.txt, welke pagina's publiek moeten blijven, of Google-Extended expliciet is ingesteld en hoe je nieuwe standaarden volgt. Noteer bij elke wijziging de datum en test daarna de openbare URL. Zo voorkom je dat een technische instelling zonder redactionele context wordt aangepast.
De ontwikkeling is actueel, maar het eindpunt staat nog niet vast. Google noemt 2027 als doel voor ondersteuning van de gedeelde trainingsvoorkeur. Tot die tijd is een gecontroleerde inventarisatie nuttiger dan een haastige wijziging aan je site.