Crawlers

Wat zijn crawlers?

Crawlers, ook wel spiders of webbots genoemd, zijn geautomatiseerde programma’s die het internet systematisch afzoeken om pagina’s te ontdekken en te analyseren. Ze vormen de eerste stap in het proces waarmee zoekmachines content vindbaar maken: crawlen, indexeren en ranken.

Een crawler start doorgaans bij een lijst van bekende URL’s, bijvoorbeeld afkomstig uit een eerdere crawl of een aangeleverde sitemap. Vanaf daar volgt de crawler links op een pagina om weer nieuwe pagina’s te ontdekken, en zo verder, als een spinnenweb dat zich steeds verder uitbreidt. Wat een crawler onderweg tegenkomt, zoals tekst, afbeeldingen en links, wordt opgeslagen zodat de zoekmachine dit later kan indexeren.

Crawlbudget

Elke website krijgt van een zoekmachine een bepaald crawlbudget: het aantal pagina’s dat binnen een bepaalde periode wordt bezocht. Een snelle laadtijd en een overzichtelijke sitestructuur zorgen ervoor dat een crawler dit budget efficiënter benut, wat weer bijdraagt aan een betere indexering.

Niet alle crawlers zijn hetzelfde

Naast Googlebot en Bingbot, de bekendste crawlers van traditionele zoekmachines, doorkruist inmiddels ook een groeiend aantal AI-crawlers het web, elk met een eigen doel: sommige verzamelen data om AI-modellen mee te trainen, andere halen actuele content op om vragen van gebruikers te beantwoorden. Websites kunnen met een bestand als robots.txt per crawler aangeven welke delen van de site wel of niet bezocht mogen worden.