AI-bots herkennen in serverlogs

GA4 en vergelijkbare tools meten alleen bezoekers die JavaScript uitvoeren en toestemming geven. Crawlers van zoekmachines en AI-diensten zien ze niet. Wil je weten of AI-crawlers je website lezen, dan kijk je in de serverlogs: het logboek van elk verzoek dat bij je webserver of CDN binnenkomt.

Zie je AI-bots langskomen, maar word je nog niet genoemd? Lees hoe wij werken aan vindbaarheid in ChatGPT.

Welke AI-crawlers zijn er?

Een greep uit veelvoorkomende user-agents (de lijst verandert; controleer de documentatie van de aanbieders):

• GPTBot — Van: OpenAI; Doel (volgens aanbieder): verzamelen voor training van modellen
• OAI-SearchBot — Van: OpenAI; Doel (volgens aanbieder): zoekfunctie in ChatGPT
• ChatGPT-User — Van: OpenAI; Doel (volgens aanbieder): ophalen op verzoek van een gebruiker
• ClaudeBot — Van: Anthropic; Doel (volgens aanbieder): verzamelen voor training
• Claude-SearchBot — Van: Anthropic; Doel (volgens aanbieder): indexering voor zoekresultaten in Claude
• Claude-User — Van: Anthropic; Doel (volgens aanbieder): ophalen op verzoek van een gebruiker
• PerplexityBot — Van: Perplexity; Doel (volgens aanbieder): indexering voor zoekresultaten
• Google-Extended — Van: Google; Doel (volgens aanbieder): geen aparte crawler; een robots.txt-token voor training van Gemini-modellen en gebruik in de Gemini-apps
• Bingbot — Van: Microsoft; Doel (volgens aanbieder): zoekindex, ook gebruikt door Copilot

Het verschil tussen training en zoeken is belangrijk voor je keuzes in robots.txt. Zie GPTBot versus OAI-SearchBot en AI-crawlers toestaan in robots.txt.

Waar vind je de logs?

• Eigen hosting met DirectAdmin of cPanel: onder statistieken of "Raw access logs" kun je de toegangslogs downloaden.
• Managed WordPress-hosting: vaak in het hostingpaneel of op aanvraag bij de hostingpartij.
• Cloudflare: het dashboard toont verkeer van bekende bots (onder Security of Analytics; de indeling verschilt per abonnement).
• Webflow en Shopify: je hebt geen toegang tot ruwe serverlogs. Als je domein via Cloudflare loopt, kun je daar wel botverkeer zien.

Zo filter je

Een toegangslogregel bevat onder meer het IP-adres, de datum, de opgevraagde URL, de statuscode en de user-agent. Zoek in het bestand op de botnamen, bijvoorbeeld met de zoekfunctie van een teksteditor, een spreadsheet of een logviewer. Let op:

• Welke URL's worden opgevraagd? Je belangrijkste pagina's, of vooral robots.txt en afbeeldingen?
• Welke statuscodes? 200 is goed; 403 of 429 betekent geblokkeerd of afgeremd; 404 wijst op oude links.
• Hoe vaak? Eenmalig of regelmatig?

Meer over het lezen van logs in Serverlogboeken lezen.

Echt of nep?

Iedereen kan zich als "GPTBot" voordoen. De grote aanbieders publiceren de IP-reeksen van hun crawlers. Vergelijk bij twijfel het IP-adres uit de log met die lijsten, of gebruik de verificatie van je CDN, dat bekende bots vaak al herkent.

Wat doe je met de uitkomst?

• Geen AI-crawlers te zien, terwijl je ze toelaat: controleer firewall- en botinstellingen en of je website bereikbaar is zonder JavaScript.
• Veel 403's: pas de instellingen van je beveiligingsdienst aan voor de crawlers die je wilt toelaten.
• Crawlers lezen vooral onbelangrijke URL's: verbeter interne links en de sitemap, zodat je belangrijkste pagina's beter bereikbaar zijn.

Zonder toegang tot serverlogs

Op veel gehoste platforms, zoals Webflow en Shopify, kun je de ruwe serverlogs niet inzien. Alternatieven:

• staat je website achter Cloudflare, dan toont het dashboard welke AI-crawlers langskomen; zie Cloudflare voor je website instellen;
• in Bing Webmaster Tools zie je hoe vaak je pagina's als bron in Copilot worden genoemd; zie Waarom de Bing-index telt voor AI-zoekmachines;
• test zelf in AI-assistenten of recente pagina's als bron verschijnen.

Voorbeeld

Stel: een webshop op eigen hosting ziet in de logs van een maand tienduizenden verzoeken van GPTBot en ClaudeBot, maar nauwelijks van OAI-SearchBot en Claude-SearchBot. Bij controle blijkt de robots.txt de zoekcrawlers per ongeluk te blokkeren met een te brede regel, terwijl de trainingscrawlers via een oude uitzondering wel worden toegelaten. Na aanpassing worden de zoekcrawlers toegelaten en de trainingscrawlers geweerd, precies zoals de webshop bedoelde.

Veelgestelde vragen

Zie ik AI-crawlers ook in GA4?

Nee. Crawlers voeren geen analytics-scripts uit. Verkeer van mensen die via een AI-assistent doorklikken, zie je wel in GA4 als verwijzing.

Belasten AI-crawlers mijn server?

Meestal beperkt. Bij een kleine server en zeer actieve crawlers kan het merkbaar zijn; dan kun je via je CDN de snelheid begrenzen.

Moet ik alle AI-crawlers toelaten?

Dat is een bedrijfskeuze. Veel bedrijven laten zoekcrawlers toe en maken een bewuste keuze over trainingscrawlers.

Hoe lang worden logs bewaard?

Dat verschilt per hostingpartij, vaak enkele dagen tot weken. Download ze periodiek als je trends wilt volgen.

Bevatten serverlogs persoonsgegevens?

Logs bevatten IP-adressen van bezoekers, die als persoonsgegevens kunnen gelden. Bewaar ze niet langer dan nodig en deel ze niet zomaar.

Hulp nodig?

Wil je weten of zoekmachines en AI-crawlers je website goed kunnen lezen? Een technische SEO-analyse neemt de logs en firewallinstellingen mee.

Zie je veel 403-statuscodes bij AI-crawlers, dan blokkeert waarschijnlijk een firewall- of botinstelling ze, ook als je robots.txt ze toelaat.