Analyse de logs :
un levier pour optimiser son SEO
Pilier du SEO technique, l’analyse de logs est une source précieuse d’informations à exploiter pour optimiser votre référencement naturel.
Comment ça marche ?
Qu’est-ce que l’analyse de logs
en SEO ?
Comment les robots voient-ils votre site web ?
Pour pousser l’optimisation SEO à son maximum, il est indispensable de savoir comment les robots des moteurs de recherche (les « bots ») interagissent avec votre site web. Comprendre : ce qu’ils voient durant leur crawl. L’exploration des pages se fait selon plusieurs critères (rapidité de la réponse du serveur, profondeur des URLs, fréquence de mise à jour…), et il n’est pas rare de trouver des différences entre ce qu’un moteur connaît de votre site, et les pages qui apparaissent en ligne et génèrent du trafic. Malheureusement, les outils classiques – Search Console, Google Analytics, logiciel de crawl SEO – n’apportent qu’une réponse incomplète. Le seul moyen de déterminer précisément ce que voient les bots consiste à explorer les fichiers logs du serveur. D’où la notion d’ « analyse de logs » en SEO : un aspect fondamental de la partie technique du référencement naturel.
L’analyse de logs : un levier déterminant du SEO technique
Le « log » désigne un fichier hébergé sur le serveur du site web. Une sorte de « journal » qui enregistre tous les événements ayant lieu sur ce serveur – les « appels », ou « hits ». Dès qu’une entité (internaute ou bot) essaie d’accéder aux ressources du site, une nouvelle ligne s’inscrit dans le fichier log. Ainsi, l’analyse de logs, en SEO, est l’opération qui consiste à extraire les informations de ce fichier pour les étudier et en tirer des enseignements, en vue de d’optimiser des pages. Cette approche confère une vision globale des performances du site, de son influence sur les bots, de ses erreurs techniques, de son maillage, etc. Plus important encore : ces données sont les seules à être fiables à 100 %. Elles aident à mieux comprendre ce qu’il se passe lorsque les bots crawlent le site, et in fine, à actionner les leviers pertinents pour améliorer le SEO en continu.
Quelles données trouve-t-on à l’aide d’une analyse des logs ?
-
La date et l’heure de la requête (« timestamp »)
-
Le type de demande
-
Le user-agent à l’origine de la demande
-
Des détails concernant les pages
poids, temps de réponse, codes de statut de réponse HTTP (200, 301, 404, 500), etc.
-
Des données relatives à l’internaute
adresse IP, moteur de recherche utilisé, système d’exploitation…
-
L’URL visitée
-
L’URL source (« referrer »)
Deux types de crawl
(à utiliser de façon combinée)
À propos de crawl, il faut distinguer deux approches : celle des bots des moteurs de recherche, et celle des outils de crawl utilisés par les spécialistes du SEO. Ces deux approches étant complémentaires, il est important de combiner les données pour un résultat optimal.
-
Le crawl par les bots
Les robots des moteurs de recherche crawlent les pages d’un site web en suivant les liens rencontrés durant l’exploration (maillage interne et liens entrants) et en fonction des instructions qui leur sont données (via les fichiers sitemap XML et robots.txt). Ils relèvent aussi les pages précédemment indexées, mais qui ne sont plus accessibles, ainsi que les pages explorées par les internautes et qui ne sont pas reliées au site. C’est ce crawl que l’on étudie grâce à l’analyse de logs.
-
Le crawl avec outil SEO
Les outils de crawl SEO permettent d’analyser l’ensemble des pages d’un site web, mais uniquement si celles-ci sont liées entre elles (par le maillage interne). Ce qui donne une vision plus restreinte, là où les bots des moteurs peuvent voir des pages qui ne sont pas reliées au reste du site, qualifiées d’ « orphelines ». Les données issues de ce type de crawl sont précieuses, mais pas aussi précises que dans le cadre d’une analyse de logs.
Bon à savoir
L’analyse de logs est réservée à des sites touffus : on parle généralement d’au moins 1 000 pages (même s’il est possible de pratiquer cette approche pour des sites qui en comptent moins). En tout état de cause, plus un site est volumineux, plus le risque est grand de rencontrer des problèmes de crawl – ce qui rend l’étude des logs d’autant plus déterminante.
Pourquoi pratiquer l’analyse de logs en SEO ?
Analyser les logs,
pour quoi faire ?
Grâce à l’analyse de logs, il est possible de reconstituer avec précision le parcours des bots sur un site web. Le but ? Visualiser le crawl avec une précision absolue et avec une fiabilité indiscutable ; comprendre comment le site est exploré par les robots, quelles pages sont visitées ou non (et pourquoi elles ne le sont pas) ; identifier les points bloquants et les correctifs à mettre en place pour référencer plus efficacement vos pages, etc. En somme, ce travail d’analyse vous aide à répondre à une question clé : « le moteur de recherche a-t-il la même vision de mon site web que moi ? ». L’idée étant de faire en sorte que ces deux visions – celle du moteur et la vôtre – se rapprochent au maximum.
À quoi sert l’analyse de logs ?
-
Monitorer le crawl par les bots
L’analyse de logs permet de faire remonter des informations essentielles relatives au crawl, en particulier la façon dont le budget d’exploration de chaque moteur est dépensé par les bots sur votre site. Quelles sont les pages considérées comme importantes par les moteurs ? Sont-ce les mêmes que vos pages stratégiques ? Quelles sont les éventuelles zones de gaspillage du budget crawl ? En substance, on peut suivre précisément le déroulement du crawl par les bots.
-
Comprendre ce que voient
les botsL’étude des logs vous met à la place des robots crawlers et vous donne à voir ce qu’ils voient lorsqu’ils explorent votre site web. Ce qui contribue à faire remonter des données cruciales : les lacunes dans l’exploration, les pages indexées alors qu’elles ne sont pas liées au site par le maillage, les erreurs dans les codes de réponse des URLs, le temps de chargement trop long, les types de fichiers crawlés, la place donnée à la version mobile, etc.
-
Réaliser un audit SEO
technique completTout audit technique de votre SEO se doit d’intégrer une analyse de logs. C’est un passage obligé pour identifier les indicateurs à optimiser. Toutefois, une telle analyse nécessite des compétences bien particulières, notamment pour extraire les données du fichier log, les interpréter, et les croiser avec les autres informations SEO. Seuls des experts en référencement naturel peuvent en tirer pleinement parti.
-
Débloquer les freins au référencement naturel
L’analyse de logs est un incontournable du SEO. L’objectif est de comprendre ce qui empêche le bon référencement des pages, voire d’identifier les causes d’une chute brutale du positionnement dans la SERP. Ce qui permet d’élaborer des actions concrètes afin de fluidifier le passage des bots, par exemple en corrigeant les erreurs dans les codes de réponse, en détectant les « pièges à bots », ou encore en améliorant le temps de chargement des pages.
-
Quantifier et soutenir
les actions SEOEnfin, l’intérêt de l’analyse de logs réside dans la précision et dans la fiabilité des informations obtenues. Celles-ci prennent la forme d’indicateurs chiffrés, qui sont autant de preuves des difficultés rencontrées par le site et de la nécessité de mener des actions correctives. Par conséquent, le résultat de cette analyse permet de prioriser les leviers d’optimisation, mais aussi d’obtenir le consentement de la hiérarchie en montrant, de façon concrète, quels sont les problèmes identifiés et comment les résoudre.
À quel moment réaliser une analyse de logs ?
Un travail d’analyse focalisé sur les logs peut se faire à n’importe quel moment de la vie du site web, si celui-ci a une forte volumétrie (plus de 10 000 pages), par exemple dans le cadre d’un audit SEO technique ou d’une analyse mensuelle. Pour des sites plus modestes (de 1 000 à 10 000 pages), cette approche se révèle particulièrement utile dans plusieurs cas de figure : lors d’une refonte ou d’une migration ; lorsque vous ajoutez un grand nombre de nouvelles URLs ; si vous constatez des changements dans le positionnement SEO de vos pages, etc. Enfin, l’analyse de logs est spécifiquement adaptée aux sites e-commerce, qui comprennent souvent un très grand nombre de pages (en particulier les fiches produits). Elle s’applique également aux sites d’actualité, pour lesquelles une connaissance pointue de la fréquence de crawl est essentielle puisqu’il s’agit de faire indexer les nouveaux contenus au plus vite par les moteurs de recherche.
Comment analyser les données issues des logs ?
Comment analyser les logs ?
Le fichier log est énorme et se présente sous une forme brute, avec des informations en désordre. Autrement dit, sa consultation est indigeste. Ce qui rend difficile, voire impossible, une analyse manuelle, qui serait à la fois chronophage et fastidieuse. Il est donc nécessaire d’employer des outils capables de faire le travail à votre place, et d’opérer un tri parmi les données brutes, afin d’extraire au plus vite les informations dont vous avez besoin pour optimiser votre SEO. De nombreuses solutions existent sur le marché, à l’image de Screaming Frog ou de OnCrawl. Toutefois, leur utilisation doit être adossée à l’emploi conjoint d’outils de crawl SEO et d’analyse des données (Search Console, Google Analytics…). Si ces outils facilitent la lecture des logs, ils ne suffisent pas à produire une analyse complète, ni à interpréter correctement les données pour en tirer des recommandations tangibles. Enfin, il est indispensable de savoir exploiter les indicateurs pertinents !
Les indicateurs pertinents à prendre
en compte lors d’une analyse de logs
-
La fréquence de crawl
Cet indicateur permet de connaître la fréquence à laquelle votre site web est exploré par les bots des moteurs de recherche, avec les dates des derniers passages et le nombre de visites (une même page pouvant être crawlée plusieurs fois par jour si elle est particulièrement importante). Vous pouvez ainsi vérifier que les pages stratégiques sont bel et bien visitées par les robots, et de façon régulière.
-
La fenêtre de crawl
Il s’agit du nombre de jours nécessaire à la réalisation d’un crawl de l’ensemble des URLs de votre site web. Cette fenêtre est généralement comprise entre 1 et 3 semaines : c’est le délai moyen entre deux passages des bots, à prendre en compte lorsqu’on effectue des modifications et qu’on veut savoir quand elles seront indexées, et quand leur impact sur le référencement se fera sentir. C’est aussi une manière d’anticiper les périodes propices à l’insertion de nouveaux contenus.
-
L’utilisation du budget crawl
L’analyse de logs donne accès à un indicateur redoutable : la façon dont est employé le budget crawl des moteurs de recherche, c’est-à-dire la limite du nombre de pages que le bot s’autorise à crawler. Une information essentielle pour comprendre quelles pages, ou quelles catégories du site, sont privilégiées lors du crawl, et pour réorienter les bots afin qu’ils indexent en priorité les URLs que vous considérez comme les plus importantes pour le SEO.
-
Les erreurs SEO techniques
Plusieurs indicateurs visent à identifier les points bloquants sur le plan technique, ceux qui entravent le référencement du site. Par exemple : les URLs dupliquées, les soucis liés à la vitesse de chargement, ou encore les pages qui affichent des erreurs (301, 404, 500). Ces problématiques nuisent à l’exploration du site par les robots, mais aussi à la qualité de l’expérience utilisateur – un signal pris en compte par les moteurs de recherche pour juger de la pertinence d’une page.
-
Les contenus non pertinents
L’analyse de logs aide à identifier les contenus non pertinents sur votre site web. Ces contenus sont explorés par les bots, avec deux effets négatifs : ils gaspillent les ressources allouées au budget crawl (aux dépens de pages stratégiques, dont la découverte est retardée) et peuvent pénaliser votre SEO. On parle ici de contenus dupliqués, d’erreurs 404, de pages piratées, de contenus peu qualitatifs, etc.
-
Les pages web orphelines
Couplée à un crawl SEO, l’analyse de logs permet de faire remonter les pages dites « orphelines » : elles sont connues des moteurs de recherche (parce qu’elles affichent des valeurs élevées sur des mesures importantes), sans être rattachées au site web, faute de liens pointant vers elles. Ces pages peuvent être bien positionnées dans la SERP et générer du trafic : il est donc important de les intégrer au maillage interne.
-
Le crawl version mobile
Grâce aux logs, vous pouvez évaluer la proportion de crawl mobile et de crawl desktop. Sur Google, cet indicateur permet de savoir si un site est passé à l’index Mobile First : il est alors visité à 80 % par le robot mobile, et à 20 % par le robot dédié au desktop (ces valeurs sont inversées pour l’index classique). L’intérêt étant de pouvoir retravailler les versions mobiles de vos pages si le besoin s’en fait sentir.
-
La solidité du maillage
En donnant des indications quant aux URLs crawlées par les moteurs (en comparaison avec les URLs explorées lors d’un crawl SEO), il est possible d’avoir une vision claire de la structure d’un site web et de son maillage interne. L’étape suivante consiste à optimiser et à consolider ce maillage pour faciliter le prochain crawl des bots, et ainsi leur permettre de découvrir des pages importantes jusque-là ignorées ou délaissées.
Notre engagement
-
Expertise
Depuis 2010, nous sommes intervenus chez plus de 2 000 clients présents dans 90 pays. Grâce à cette expérience notre agence SEO répond avec précision à vos enjeux.
-
Passion
Nous sommes une équipe de passionnés en veille constante sur les évolutions du secteur. Cet état d’esprit vous garantit de travailler avec des consultants SEO engagés pour votre réussite.
-
Performance
Nous vous accompagnons dans la mise en place d’une stratégie ROIste. Notre engagement consiste à impacter votre business en vous offrant des relais de croissance.
Des questions ?
Employée en SEO, l’analyse de logs consiste à extraire les informations du fichier log (rattaché au serveur du site web) afin de les exploiter à des fins d’optimisation. Les logs enregistrent tous les événements qui ont lieu sur le serveur, qu’ils émanent des internautes ou des robots des moteurs de recherche durant le crawl. L’intérêt étant que les données issues de l’analyse de logs sont d’une grande précision et d’une fiabilité à toute épreuve.
En analysant les logs, on peut reconstituer point par point le parcours emprunté par les robots des moteurs de recherche lors du crawl d’un site web. Cela permet de « voir » le site exactement comme le « voient » les bots, et d’en tirer un grand nombre d’informations essentielles à l’élaboration de recommandations pour l’optimisation SEO du site. Il s’agit, en somme, d’un outil incontournable pour le SEO technique.
L’analyse de logs ne peut pas être effectuée manuellement, eu égard à la complexité de l’opération et à la grande quantité de données brutes à raffiner. Il faut donc utiliser un outil dédié à l’extraction, à la visualisation et à l’exploitation des logs, comme Screaming Frog ou OnCrawl. Il faut aussi croiser ces données avec les résultats d’un crawl SEO classique. Enfin, il est essentiel de repérer les indicateurs pertinents, ceux qui font sens au regard de vos objectifs SEO.
