C’est un fichier consulté par les robots d’exploration (comme Googlebot) qui permet d’indiquer les contenus que ces robots peuvent ou ne peuvent pas consulter
Si un contenu n’est pas consulté, il ne peut pas être indexé par le moteur de recherche, et donc ne pourra pas être affiché dans la page de résultats (SERP)
La page dédiée au fichier robots.txt du site Google Search Central est une ressource intéressante si vous voulez savoir comment créer ce fichier pour votre site web
Découvrez les notions essentielles
du référencement naturel