AI-crawlers toestaan of blokkeren in robots.txt

AI-bedrijven gebruiken eigen crawlers, zoals GPTBot en OAI-SearchBot van OpenAI, ClaudeBot van Anthropic en PerplexityBot. Via robots.txt bepaal je per crawler of hij je site mag bekijken. Blokkeer je ze, dan verklein je de kans dat je site in AI-antwoorden als bron verschijnt.

Bijgewerkt op September 25, 2026

Zo controleer en regel je het

Open jouwdomein.nl/robots.txt.
Zoek naar regels met User-agent: gevolgd door namen als GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot of Google-Extended.
Staat daaronder Disallow: /, dan wordt die crawler geblokkeerd.
Bepaal bewust per crawler of je toegang geeft. Veel crawlers hebben aparte varianten voor zoeken en voor het trainen van modellen.
Pas robots.txt aan via je CMS of hosting en controleer het resultaat.
Controleer daarnaast of een firewall of beveiligingsdienst deze bots niet alsnog blokkeert.

Zoeken versus trainen

Sommige bedrijven onderscheiden crawlers voor hun zoekfunctie van crawlers voor het trainen van modellen. Je kunt dus kiezen voor zichtbaarheid in AI-zoekresultaten zonder toestemming te geven voor training. De namen en mogelijkheden veranderen regelmatig; controleer daarom de actuele documentatie van de aanbieders.

Lukt het niet?

Twijfel je welke keuze past bij je organisatie, neem contact op. In een GEO-audit nemen we de technische toegankelijkheid voor AI-systemen mee.

Verder lezen

Gerelateerde kennis

Google-Extended heeft geen invloed op je gewone vindbaarheid in Google Zoeken. Die regel gaat over het gebruik van je content voor de AI-modellen van Google.

SEO & GEO

Kennisbank

Verder lezen

Gerelateerde artikelen

SEO & GEO

Wat is llms.txt en heb je het nodig?

llms.txt is een voorgesteld tekstbestand in de hoofdmap van een website dat AI-toepassingen een overzicht geeft van de belangrijkste pagina’s. Het is (nog) geen officiële standaard en grote AI-zoekdiensten geven niet aan dat ze het gebruiken. Het kan geen kwaad, maar het vervangt geen goede structuur, content en toegankelijkheid voor crawlers.

SEO & GEO

Bing Webmaster Tools instellen

Maak een account aan op Bing Webmaster Tools, importeer je site vanuit Google Search Console of verifieer via een DNS- of metatag, en dien je sitemap in. Bing is naast een zoekmachine ook een bron voor AI-toepassingen, zoals Microsoft Copilot.

SEO & GEO

Controleren hoe AI-assistenten je bedrijf noemen

Stel in ChatGPT, Gemini, Copilot en Perplexity de vragen die je klanten stellen, bijvoorbeeld wie een bepaalde dienst in jouw regio aanbiedt. Noteer of je genoemd wordt, wat er over je gezegd wordt en welke bronnen worden aangehaald. Herhaal dat periodiek met dezelfde vragen.

Kom je er niet uit?

Wij kijken graag met je mee. Stel je vraag over je website, webshop, hosting, e-mail of Google, dan helpen we je verder.

Neem contact op