We naderen een bijzonder moment in de geschiedenis van het internet. In een recent interview gaf Matthew Prince, CEO van Cloudflare aan dat hij verwacht dat er in de loop van 2027 waarschijnlijk meer AI-botverkeer dan menselijk verkeer is op websites. Hoe is dit zo uit de hand gelopen, wat zijn de gevolgen en… moet jij je website gaan aanpassen?
Botverkeer is op zichzelf niks nieuws. Zoekmachines indexeren websites al sinds de jaren 90 met zogenaamde spiders en crawlers. Sinds 1994 om precies te zijn, toen onze boomlange stadgenoot Ed de Goey op doel stond bij het Nederlands elftal en Wim Kok minister-president was.
Sinds de eeuwwisseling kwamen er verschillende bots bij op het internet. Toepassingen die prijzen gingen vergelijken of die ingezet werden voor spamming en hacking. Terwijl websites gemaakt zijn voor mensen, groeide juist geautomatiseerd verkeer gestaag. Tot de grote AI-revolutie, die alles razendsnel veranderde.
Paddenstoelen
In 2022 lanceerde OpenAI ChatGPT en veroorzaakte een schokgolf. Binnen twee maanden hadden ze meer dan 100 miljoen gebruikers. Het gebruik van AI is gemeengoed geworden, zowel op werk als privé. En dat heeft een grote impact op wat er gebeurt op het internet.
Als paddenstoelen schieten deze Large Language Models (LLM’s) uit de grond. We hebben hele gesprekken met ze, en het zijn allround-assistenten geworden die dag en nacht voor ons klaarstaan. Of het nu ChatGPT, Claude, Gemini, Le Chat of Lumo is – nagenoeg iedereen heeft een favoriete ‘go to’ AI-bestie. Daar komt de aap uit de mouw, want hierdoor ondergaat het gebruik van internet een aardverschuiving.
1994
Begin van het crawlen
2000+
Groei van het aantal bots online
2022
De opkomst van AI
Heden
Bots zijn overal
Sterk voorbeeld
LLM’s werken op basis van trainingsdata en vullen dat vaak aan met zoekopdrachten op het internet (live searches). Prince (Matthew Prince dus) gaf een sterk voorbeeld:
Als jij online een camera gaat kopen, bekijk je misschien 5 websites om vergelijkingen te maken. Maar als jij je AI-assistent vraagt om te zoeken, kan deze binnen enkele seconden enorm veel informatie ophalen. In dat geval gebeuren er dus twee dingen:
- Jij bezoekt zelf geen website meer
- De AI-bot bekijkt er honderden of duizenden
Voilà, zo overvleugelt AI het menselijk websiteverkeer.
Voor wie moet je optimaliseren?
Dat roept de vraag op: moeten we nog wel websites maken zoals we dat altijd gedaan hebben, of kunnen we ze beter optimaliseren voor AI-bots? Het goede nieuws is dat het hand in hand kan gaan. Natuurlijk moeten mensen nog steeds je website goed kunnen gebruiken, kunnen vinden wat ze zoeken en tot een conversie komen. Maar wat te doen met al dat botverkeer?
Een AI-bot praat weliswaar op menselijke toon, maar laat je niet foppen. Het blijven softwaregestuurde systemen, die veel makkelijker code kunnen verwerken dan tekst of afbeeldingen die zijn opgemaakt voor menselijke perceptie. Ze kunnen het wel, maar code is gemakkelijker te begrijpen en verlaagt de drempel om op jouw site te komen.
Maak je website extra relevant
Het is dus zaak om code toe te voegen op belangrijke webpagina’s. Een beproefde manier is het gebruiken van structured data, waarmee je specifieke informatie over je bedrijf of organisatie kunt delen, maar ook productgegevens, nieuwsartikelen en vooral FAQ’s. Dat zijn immers, als je het goed doet, de vragen die rechtstreeks gesteld worden aan LLM’s en Google. Door daar direct op in te spelen, wordt je website extra relevant. De kans dat je genoemd gaat worden vergroot je op deze manier en dat bevordert je online zichtbaarheid.
Mijn collega (baas eigenlijk) Wim bracht het als volgt onder woorden: vergelijk structured data met onzichtbare ondertiteling die bots helpt begrijpen wat er op je website staat. Cruciaal gezien de recente ontwikkelingen. Het goed implementeren van structured data is overigens een taak voor een specialist, en de werking moet altijd gecontroleerd worden. Verwacht er niet direct wonderen van: het optimaliseren van je site is essentieel om mee te blijven spelen, maar het is vooral voor zichtbaarheid op de lange termijn, niet voor een directe toename van sitebezoek of kliks.
Overigens blijven ook sterke headings en metadata belangrijk, maar dat is gesneden koek voor SEO-specialisten. Voor meer verdieping en achtergrond over hoe AI zoekopdrachten werken, verwijs ik naar dit interessante artikel van Katrien Vandeur.
Botverkeer in beeld
Nog een belangrijke bijkomstigheid: de parade van AI-bots kan de rapportages van je website aardig overhoop gooien. Google Analytics ziet veel AI-verkeer overigens niet eens, maar de analysetool Clarity van Microsoft heeft daar wel een mooie oplossing voor. Het laat netjes zien hoeveel AI-bots er op de koffie zijn geweest.
Er is dus veel gebeurd sinds 1994. En dat AI-botverkeer, daar staat geen rem op. Volgend jaar is het dus waarschijnlijk meer dan 50 procent van het totaal, en dat zal alleen maar toenemen. Breng eens in kaart hoeveel bottraffic je al hebt, dan zie je of het tijd is om in actie te komen.
