Robots.txt controleren

Open jouwdomein.nl/robots.txt en controleer dat er geen regel staat die je hele site of belangrijke mappen blokkeert, zoals Disallow: /. Robots.txt bepaalt wat crawlers mogen bekijken, niet wat er in de index komt.

Bijgewerkt op September 25, 2026

Zo controleer je het

Open jouwdomein.nl/robots.txt in je browser.
Zoek naar Disallow: / onder User-agent: *. Die regel blokkeert je hele site voor alle crawlers.
Controleer of belangrijke mappen, zoals je producten of blog, niet worden geblokkeerd.
Controleer of je sitemap erin genoemd wordt met een regel Sitemap: gevolgd door de volledige URL.
Test twijfelgevallen met het robots.txt-rapport in Search Console.

Robots.txt of noindex?

Robots.txt voorkomt dat een crawler een pagina bekijkt. Wil je dat een pagina niet in Google verschijnt, gebruik dan een noindex. Blokkeer je dezelfde pagina ook in robots.txt, dan kan Google de noindex juist niet zien.

Lukt het niet?

Zie je regels die je niet begrijpt, pas dan niets aan op de gok. Neem contact op en we lopen het met je door.

Verder lezen

Hoe zoekmachines en AI je website lezen

Gerelateerde kennis

Na een verhuizing van een testomgeving naar live blijft soms een blokkerende robots.txt of noindex achter. Controleer dat altijd op de dag van livegang.

SEO & GEO

Kennisbank

Verder lezen

Gerelateerde artikelen

SEO & GEO

Wat is llms.txt en heb je het nodig?

llms.txt is een voorgesteld tekstbestand in de hoofdmap van een website dat AI-toepassingen een overzicht geeft van de belangrijkste pagina’s. Het is (nog) geen officiële standaard en grote AI-zoekdiensten geven niet aan dat ze het gebruiken. Het kan geen kwaad, maar het vervangt geen goede structuur, content en toegankelijkheid voor crawlers.

SEO & GEO

Bing Webmaster Tools instellen

Maak een account aan op Bing Webmaster Tools, importeer je site vanuit Google Search Console of verifieer via een DNS- of metatag, en dien je sitemap in. Bing is naast een zoekmachine ook een bron voor AI-toepassingen, zoals Microsoft Copilot.

SEO & GEO

Controleren hoe AI-assistenten je bedrijf noemen

Stel in ChatGPT, Gemini, Copilot en Perplexity de vragen die je klanten stellen, bijvoorbeeld wie een bepaalde dienst in jouw regio aanbiedt. Noteer of je genoemd wordt, wat er over je gezegd wordt en welke bronnen worden aangehaald. Herhaal dat periodiek met dezelfde vragen.

Kom je er niet uit?

Wij kijken graag met je mee. Stel je vraag over je website, webshop, hosting, e-mail of Google, dan helpen we je verder.

Neem contact op