Robots.txt

Robots.txt is een tekstbestand in de hoofdmap van je website (jouwbedrijf.nl/robots.txt) dat crawlers van zoekmachines en AI-diensten vertelt welke delen van de site ze wel of niet mogen bezoeken.

Hoe werkt robots.txt?

Het bestand bevat regels per crawler (user-agent), zoals Disallow voor paden die niet bezocht mogen worden. Vaak staat er ook een verwijzing naar de XML-sitemap in. Nette crawlers houden zich aan de regels; het is geen beveiliging, want het bestand is voor iedereen leesbaar.

Robots.txt en AI-crawlers

Diensten als OpenAI, Google en Anthropic hebben eigen crawlers met een eigen naam. Via robots.txt bepaal je of die je content mogen lezen. Wie zichtbaar wil zijn in AI Search, blokkeert deze crawlers niet zonder bewuste keuze.

Veelgemaakte fouten

Een Disallow: / van de testomgeving die na livegang blijft staan.
CSS- en JavaScript-bestanden blokkeren, waardoor Google de pagina niet goed kan weergeven.
Robots.txt gebruiken om pagina's uit Google te halen; daarvoor is noindex bedoeld.

Hoe zoekmachines en AI je website lezen: crawlen, indexeren en toegang

Begrippen

Gerelateerd

Verder lezen in de kennisbank

SEO & GEO

Robots.txt controleren

Open jouwdomein.nl/robots.txt en controleer dat er geen regel staat die je hele site of belangrijke mappen blokkeert, zoals Disallow: /. Robots.txt bepaalt wat crawlers mogen bekijken, niet wat er in de index komt.

SEO & GEO

AI-crawlers toestaan of blokkeren in robots.txt

AI-bedrijven gebruiken eigen crawlers, zoals GPTBot en OAI-SearchBot van OpenAI, ClaudeBot van Anthropic en PerplexityBot. Via robots.txt bepaal je per crawler of hij je site mag bekijken. Blokkeer je ze, dan verklein je de kans dat je site in AI-antwoorden als bron verschijnt.

SEO & GEO

Wat is llms.txt en heb je het nodig?

llms.txt is een voorgesteld tekstbestand in de hoofdmap van een website dat AI-toepassingen een overzicht geeft van de belangrijkste pagina’s. Het is (nog) geen officiële standaard en grote AI-zoekdiensten geven niet aan dat ze het gebruiken. Het kan geen kwaad, maar het vervangt geen goede structuur, content en toegankelijkheid voor crawlers.

Kom je er niet uit?

Wij kijken graag met je mee. Stel je vraag over je website, webshop, hosting, e-mail of Google, dan helpen we je verder.

Neem contact op