Un crawler est un robot d’exploration du web, ayant pour but de découvrir de nouvelles pages pour, éventuellement, en indexer les contenus présents (textes, vidéos, images…)
On parle aussi de spider, robot, agent ou bot (comme Googlebot) pour évoquer ces programmes qui parcourent le web et suivent chaque lien qu’ils découvrent
Les crawlers scannent le web en permanence, ce qui leur permet notamment, lorsqu’ils repassent sur une page qu’ils ont déjà crawlée, de voir si des modifications ont été faites
Découvrez les notions essentielles
du référencement naturel