Crawlbudget: wanneer is het belangrijk?

Google bezoekt websites met een crawler, Googlebot. Die heeft niet onbeperkt tijd en capaciteit per website. Hoeveel pagina's Google op je site crawlt, noemt men het crawlbudget. Het onderwerp wordt vaak overschat: Google zegt zelf dat de meeste websites er niet over hoeven na te denken.

Waaruit bestaat crawlbudget?

Google beschrijft twee onderdelen:

• Crawlcapaciteit: hoeveel verzoeken je server aankan zonder te vertragen. Reageert je server snel en zonder fouten, dan kan Google meer crawlen. Bij trage reacties of serverfouten schroeft Google terug.
• Crawlbehoefte: hoeveel Google wil crawlen. Populaire pagina's en pagina's die vaak veranderen, worden vaker bezocht. Pagina's die Google weinig waard vindt, minder vaak.

Wanneer is het relevant?

Google noemt in zijn documentatie vooral zeer grote websites en websites met veel snel wijzigende pagina's. In de praktijk gaat het om:

• webshops met tienduizenden producten of meer;
• websites met filters en sorteringen die elk een eigen URL maken;
• sites met veel automatisch gegenereerde pagina's, zoals kalenders of zoekresultaten;
• websites met veel redirects, dubbele URL's of parameters.

Voor een bedrijfswebsite met enkele tientallen of honderden pagina's speelt crawlbudget vrijwel nooit. Als nieuwe pagina's daar niet in Google verschijnen, ligt de oorzaak meestal bij kwaliteit, interne links of technische blokkades.

Signalen dat crawlbudget een rol speelt

• In Search Console (Indexering → Pagina's) staan veel URL's als "Gevonden - momenteel niet geïndexeerd": Google kent ze, maar heeft ze nog niet gecrawld.
• In Instellingen → Crawlstatistieken zie je veel verzoeken naar URL's met parameters, filters of redirects, en relatief weinig naar je belangrijke pagina's.
• Nieuwe producten of prijswijzigingen verschijnen pas na lange tijd in Google.

Wat kun je doen?

1. Beperk onnodige URL's. Voorkom dat filtercombinaties, sorteringen en sessie-ID's eindeloos nieuwe URL's maken. Zie Filters en facetnavigatie zonder SEO-problemen.
2. Blokkeer wat niet gecrawld hoeft. Interne zoekresultaten en eindeloze parametercombinaties kun je via robots.txt uitsluiten. Let op: een geblokkeerde pagina kan Google ook niet lezen. Zie robots.txt controleren.
3. Ruim redirects en fouten op. Elke redirectketen en elke 404 kost crawlverzoeken.
4. Houd de sitemap schoon. Alleen indexeerbare URL's met een 200-status, met een juiste wijzigingsdatum.
5. Zorg voor een snelle server. Snelle, stabiele reacties verhogen de crawlcapaciteit.
6. Verbeter de kwaliteit. Google crawlt waardevolle pagina's vaker. Dunne en dubbele pagina's verlagen de behoefte.

Voorbeeld

Stel: een webshop met 3.000 producten heeft filters voor kleur, maat, merk en prijs. Elke combinatie krijgt een eigen URL. Daardoor bestaan er honderdduizenden varianten. In de crawlstatistieken blijkt Googlebot het grootste deel van zijn tijd aan deze filter-URL's te besteden. Door alleen waardevolle filtercombinaties indexeerbaar te maken en de rest uit te sluiten, gaat de aandacht weer naar producten en categorieën.

Veelgestelde vragen

Kan ik Google vragen vaker te crawlen?

Niet rechtstreeks. Via URL-inspectie in Search Console kun je individuele pagina's laten indexeren. Structureel helpt een snellere server en betere inhoud.

Helpt noindex om crawlbudget te besparen?

Niet echt. Google moet een pagina crawlen om de noindex te zien. Voor besparing op crawlen is robots.txt bedoeld; noindex is voor uitsluiten van de index.

Is crawlbudget hetzelfde voor andere zoekmachines en AI-crawlers?

Elke crawler heeft zijn eigen werkwijze. De algemene principes, zoals een snelle server en weinig onnodige URL's, helpen voor alle crawlers.

Waar zie ik hoe vaak Google mijn website crawlt?

In Search Console onder Instellingen → Crawlstatistieken. Je ziet daar het aantal verzoeken per dag, de reactietijd van de server en de verdeling naar statuscode.

Moet ik me zorgen maken bij een kleine website?

In de regel niet. Richt je bij een kleine website op goede inhoud, interne links en een correcte technische basis.

Hulp nodig?

Heb je een grote webshop of website en twijfel je of Google je belangrijkste pagina's goed crawlt? Een technische SEO-analyse maakt dat inzichtelijk op basis van crawlstatistieken en een eigen crawl.

Zie je veel pagina's met de status 'Gevonden - momenteel niet geïndexeerd'? Kijk dan eerst naar kwaliteit en dubbele URL's voordat je aan crawlbudget denkt.