AI bots

AI bots  zijn geautomatiseerde systemen die websites kunnen bezoeken en content ophalen om die op te slaan voor latere training of om direct te reageren op een vraag van een gebruiker.

Trainingscrawlers zoals GPTBot of ClaudeBot, verzamelen content om een AI-model mee te verbeteren. Een agent-bot, zoals ChatGPT-User, doet dat niet: hij bezoekt een pagina omdat een specifieke gebruiker op dat moment iets wil weten en verwerkt die content direct in het antwoord. Grote AI-aanbieders splitsen hun bots daarom steeds vaker in aparte user-agents per doel, zodat een website bijvoorbeeld wél toegankelijk kan zijn voor agent-bezoeken, maar niet voor trainingsdoeleinden.

Wat betekent dit voor websites?

AI bots overspoelen het internet en bezoeken tegenwoordig zelfs meer pagina’s dan mensen dat doen. Steeds meer websites richten daarom aparte toegang in per type bot, in plaats van AI-verkeer in zijn geheel te blokkeren of toe te staan. Wie agent-bots afsluit, loopt het risico niet meer genoemd te worden wanneer gebruikers een AI-assistent om een aanbeveling vragen; wie trainingscrawlers toestaat, geeft daarentegen content vrij voor het trainen van toekomstige modellen.