WordPress : Optimisez la configuration de votre fichier Robots.txt !

Publié le 11 avril 2014 - Mise à jour le 26 juillet 2023

Par Andréa Bensaïd

Fondateur d'Eskimoz. J'accompagne les entreprises de toutes tailles dans leur stratégie d'acquisition digitale.

header_wordpress

Vous aussi vous êtes convaincu que WordPress est aujourd’hui le meilleur CMS pour optimiser votre référencement naturel. On est d’accord! Et nous ne sommes pas les seuls. En effet, le géant Google semble apprécier fortement cette technologie dans la mesure où vous l’avez bien configuré – bien sûr.

WORDPRESS - OPTIMISEZ LA CONFIGURATION DE VOTRE FICHIER ROBOTS.TXT !

Du choix de vos modules à la configuration de votre fichier robots.txt, vous pouvez rapidement vous retrouver avec du contenu dupliqué, des pages inutiles indexées, ce qui perturbe la compréhension de votre site par les moteurs de recherche et donc pénalise votre site en terme de référencement.

Vous trouverez ci-dessous les principales règles pour optimiser parfaitement votre robots.txt, de manière à guider les moteurs de recherche. Cela permettra à votre site de présenter les bonnes pages aux internautes et d’optimiser le jus de vos pages.

Fichier robots.txt WordPress optimisé

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /category/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.swf$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

Une fois votre robots.txt configuré, rendez-vous sur la page suivante de votre site www.site.com/robots.txt afin de vérifier la présentation du fichier.

Finies les pages /category/ qui sortent sur Google à la place de votre article, qui lui, contrairement à la page /category/, est parfaitement optimisé au niveau SEO.

Pour finir, l’utilité principale d’optimiser son fichier robots.txt sur WordPress est que vous concentrez le jus au bon endroit, au lieu de le partager sur plusieurs pages.

Pourquoi indexer 100 pages, quand seulement 10 sont utiles ?

Depuis Google mobile friendly

Suite à la mise en place du label Google mobile friendly le 21 avril 2015, il n’est plus conseillé de bloquer les fichiers JavaScript, CSS et images car cela empêche l’obtention de celui-ci.

Même si le label n’a qu’une incidence sur les recherches mobiles pour le moment, il devrait prendre de plus en plus d’ampleur dans les mois/années à venir donc pensez à soigner minutieusement la limitation des accès à vos pages !

Derniers articles

Publié le 27 février 2025

Recherche conversationnelle : La recherche en ligne à l’ère de l’IA

La recherche conversationnelle désigne une approche où les utilisateurs interagissent avec un moteur de recherche en langage naturel.

Publié le 20 février 2025

Zero-Party Data : Comment les collecter ?

Les zero party data sont des données partagées volontairement par des clients avec une entreprise ou une marque.

Publié le 11 février 2025

Global search : L'avenir de la recherche en ligne

Optimisez votre visibilité avec le Global Search. Découvrez comment améliorer votre référencement grâce à cette stratégie multi-canal.