Votre site contient-il un fichier robots.txt? Alors que l’absence de ce fichier peut sembler inoffensive – surtout si vous n’avez aucun fichier ni répertoire à masquer des résultats générés par les moteurs de recherche – il sert d’abord et avant tout à informer les moteurs de recherche que certains de vos fichiers ne doivent pas être indexés. Quoique facultatif, il faut néanmoins savoir que dans le cas où son absence retourne une erreur 500, cela peut causer de gros problèmes!
Par défaut, la majorité des serveurs retournent une erreur 404 lorsque l’on tente d’atteindre une page ou un fichier qui n’existe pas. Au moment où Google accède à votre site, celui-ci commence toujours par vérifier l’existence du robots.txt et l’explore afin de connaître vos directives. Par la suite, il parcourt les pages de votre site pour indexer celles qui n’auront pas été exclues par le fichier robots.txt.
Si vous accédez à Google Webmaster Tools, vous constaterez que Google considère l’absence du fichier robots.txt comme étant une erreur, même s’il s’agit d’un fichier facultatif. Or, il faut approfondir l’investigation pour comprendre la vraie raison de l’erreur. En poussant la lecture, on constate que Google cesse de parcourir les pages d’un site lorsque l’absence du fichier robots.txt retourne une erreur 500. Cela cause une désindexation progressive des pages et donc, assurément, une baisse du nombre de visiteurs.
Si cette situation vous est familière, vous avez deux options : la première consiste à toujours créer un fichier robots.txt même si vous n’avez rien à inscrire dans le fichier. Il suffit d’héberger ce fichier à la racine de votre site. La seconde option est de vous assurer que votre serveur retourne une erreur 404 lorsque l’on tentera d’accéder au fichier robots.txt qui n’existe pas.
En conclusion, les grandes conséquences ne sont pas toujours les fruits de gros problèmes. Il suffit de prendre le temps d’analyser la situation. Lorsque vous ferez face à une désindexation subite des pages de votre site, commencez par vérifier la présence non désirée d’une balise robots no index. Ensuite, vérifiez les directives inscrites dans le fichier robots.txt. Finalement, si le fichier robots.txt n’existe pas, créez-en un ou assurez-vous qu’il ne retourne pas une erreur 500!
