Online marketing zit vol met ingewikkelde termen waar je misschien nog nooit van hebt gehoord. In onze kennisbank behandelen we de meest voorkomende termen. In dit artikel bespreken wij robots.txt.
ROBOTS.TXT
Wat is robots.txt?
Robots.txt is een simpel tekstbestandje in je website dat instructies achterlaat voor botverkeer. Het werd in 1994 bedacht door de Nederlandse internetpionier Martijn Koster.
In die tijd waren de voornaamste bots webcrawlers van zoekmachines. Het idee van robots.txt was om aan te geven welke pagina’s een crawler mocht bekijken, en op welke snelheid. Zo kan robots.txt aangeven dat er bijvoorbeeld een pauze tussen bezoeken in moet zitten, zodat een server niet overbelast raakt.
AI bots
In 2022 kwam er steeds meer AI-botverkeer op het internet. Dat gaf een nieuwe impuls aan het gebruik van robots.txt. Steeds vaker sluiten websites bepaalde AI bots helemaal uit met dit bestandje, om te voorkomen dat content gebruikt wordt als trainingsdata voor AI-tools.
Advies
Robots.txt is een adviserend bestand. Bots met kwaadaardige intenties negeren het. Voor ander botverkeer geldt meestal dat ze eerst robots.txt uitlezen voor instructies.
