Screaming Frog SEO Spider, votre crawler pour le SEO

Qu’est-ce que Screaming Frog ?

Screaming Frog SEO Spider est un logiciel permettant de crawler un site web, similairement aux robots de Google, permettant d’extraire les informations essentielles à l’amélioration du référencement. Les audits de ce logiciel sont très fournis, des erreurs 404, aux liens cassés, en passant par l’analyse des meta-descriptions et balise Title, Screaming Frog est certainement un des meilleurs alliés de l’expert SEO moderne.

Le prix de Screaming Frog, gratuit ou payant ?

La version gratuite de Screaming Frog vous permet d’explorer gratuitement 500 URLs. Pour du travail SEO occasionnel, cette option gratuite peut être suffisante. Cependant, il sera préférable d’obtenir une licence Screaming Frog afin de découvrir toute la puissance de ce logiciel.

Comment utiliser un web crawler pour le SEO ?

C’est un outil très versatile possédant de nombreuses applications. Chez Rablab, nous utilisons Screaming Frog au quotidien pour :

• Créer des plans de transferts solides (comme nous l’avons fait pour Chariots GCS, l’un de nos clients), contenants toutes les informations indispensables à la migration ou la refonte d’une siteweb
• Effectuer des Keyword Mapping dynamiques
• Inspecter le statut des pages (200, 404, …)
• Identifier les liens cassés
• Identifier les redirects (301…)

Parler à un expert

Crawler un site web avec Screaming Frog

Afin de ne pas faire languir ceux souhaitant rentrer dans le vif du sujet, voici un aperçu de la manière dont une exploration peut être effectuée avec notre outil préféré.

Une fois le logiciel ouvert, le processus peut être aussi simple que de coller l’URL à crawler dans le champ prévu à cet effet, à droite du logo, et de cliquer sur start :

Cependant, nous vous encourageons à affiner vos réglages afin d’assurer un crawl réussi !

L’onglet configuration regorge d’options qui vous permettront de faire des ajustements décisifs, plus spécifiquement la sous-option Spider :

Les différentes options et onglets permettent de vous assurer que les éléments que vous souhaitez récolter seront bien explorés par les robots de Screaming Frog (ex: images, PDFs, liens externes, etc.). Décocher les moins pertinents d’entre eux pourra vous faire gagner du temps dans votre export et votre travail de classification.

Les tips Rablab :

Il est très courant de crawler un site n’ayant pas son sitemap dans le robots.txt, et parfois, les robots peinent à trouver ce fameux fichier. Par extension, l’export final ne contiendra peut-être pas toutes les pages si l’interlinking (interliens) n’est pas effectué correctement, notamment les pages orphelines seront certainement manquantes.
Notre “SEO Pro Tip” du jour est donc de toujours insérer le sitemap avant le crawl, comme indiqué ci-dessous :

Lorsque le travail d’exploration sera finalement terminé, et avant de passer à l’export final, je vous recommande vivement de vérifier brièvement le statut des pages directement via l’interface de Screaming Frog :

En effet, il arrivera lors de vos nombreuses explorations de constater certaines anomalies, comme le statut de page 429 (Too Many Requests).

Qu’est-ce qu’un code 429 me demanderez-vous ?

Comme décrit par Mozilla dans cet article sur le code page 429, cette réponse renvoyée par le serveur indique que l’utilisateur a effectué trop de requêtes dans un laps de temps donné. Généralement, c’est une sécurité mise en place du côté serveur, afin de protéger le site web contre des attaques malicieuses et d’éviter un crash potentiel du serveur.

Afin de pallier à cette problématique, il existe quelques solutions à notre disposition :

• Réduire la vitesse d’exploration (nombre de pages explorées par seconde)
• Utiliser un autre “User Agent”

Réduire la vitesse d’exploration

Afin de diminuer le nombre de requêtes par seconde afin de ne pas surcharger le serveur et d’éviter d’activer une protection potentielle, dirigez-vous vers le menu Configuration > Speed.

Dans cette nouvelle fenêtre, diminuez simplement le nombre maximum d’URL par seconde, comme vu dans cette capture d’écran :

Il est aussi recommandé de jeter un œil au fichier robots.txt afin de voir s’il contient un crawl delay. Dans cette optique, il peut être judicieux de s’accorder en conséquence.

L’exploration prendra un peu plus de temps, mais vous serez maintenant en mesure de relancer votre exploration et de savourer un export sans erreurs ! Comme le répète souvent une collègue, vous pourrez maintenant bien profiter (d’un export complet et de qualité).

Parler à un expert

Utiliser un autre User Agent

Fonctionnalité parfois sous-estimée, la possibilité de changer de User Agent
est très utile et pertinente lorsque vous repérez des erreurs (notamment de type 429).

Succinctement, et afin d’éviter tout malentendu, un User Agent est simplement le type de crawler utilisé. Par exemple, le plus connu d’entre eux est très certainement Googlebot, le célèbre web crawler de Google qui parcourt le web afin de répertorier les sites du monde entier. Nous pouvons d’ailleurs distinguer deux types de crawler : Googlebot Desktop et Googlebot Smartphone. Si vous vous apercevez dans votre Google Search Console que votre site est indexé “mobile first”, cela signifie que Googlebot Smartphone est le crawler ayant exploré votre site web. Si vous souhaitez en apprendre davantage sur l’incroyable et utile Google Search Console, et comment l’utiliser à bon escient afin d’améliorer votre SEO, je vous suggère de consulter notre article sur GSC.

Pour le User Agent, cela se passe encore une fois dans le menu Configuration, puis User-Agent :

Comme vous le verrez, par défaut, Screaming Frog utilise son propre User Agent; si cette option n’est pas modifiée, vous explorerez donc les URLs avec son robot d’exploration propriétaire. Il vous est cependant offert la possibilité de crawler avec Googlebot, Bingbot, DuckDuckBot et bien plus encore. Il est intéressant de varier les User Agents afin d’observer les différences d’explorations qui peuvent résulter.

Lorsque vous êtes prêt à exporter toutes ces données, vous pouvez choisir les éléments que vous souhaitez inclure à l’export :

Libre à vous de choisir la méthode qui convient le mieux à la situation, mais de manière générale un “raw export” incluant l’intégralité des données n’est jamais de trop, surtout dans le cas d’un transfert.

Les liens brisés avec Screaming Frog

Comme vous pouvez le voir, les possibilités d’usages de Screaming Frog sont très vastes. C’est d’ailleurs un excellent outil pour identifier à la vitesse de la lumière vos liens brisés (un des grands ennemis du spécialiste SEO). Nous avons d’autre part publié un excellent article dédié aux erreurs 404, et comment les régler; lecture fortement recommandée !

Une fois le crawl effectué (ou même pendant un crawl, en direct!), consultez simplement l’onglet “Response Codes” et sélectionnez “Client Error (4xx)” dans le menu déroulant.

Bien entendu, l’exemple avec Rablab.ca ci-dessus ne ressort aucune erreur. Nous sommes des spécialistes après tout…

Mais comment savoir où se trouve le lien brisé ?

En bas de la fenêtre, repérez l’onglet “Inlinks” et inspectez les pages concernées.

Cet aperçu de Screaming Frog ne fait qu’effleurer la surface. Les options sont riches et les applications possibles toutes aussi nombreuses.

Vous demeurez accablé malgré cette introduction en douceur ?

Pas d’inquiétude, contactez simplement notre équipe d’experts. On se fera une joie de mettre les mains dans les configurations des User Agent, Speed Crawl et autres options techniques pour vous. Vous avez besoin d’un encadrement complet pour votre stratégie de marketing numérique ? Découvrez l’ensemble des services Rablab : SEO, SEM, SMM et Programmatique.

Parler à un expert

{
« @context »: « https://schema.org/ »,
« @type »: « FAQPage »,
« mainEntity »: [
{
« @type »: « Question »,
« name »: « Qu’est-ce que Screaming Frog ? »,
« acceptedAnswer »: {
« @type »: « Answer »,
« text »: « Screaming Frog SEO Spider est un logiciel permettant de crawler un site web, similairement aux robots de Google, permettant d’extraire les informations essentielles à l’amélioration du référencement. »
}
},
{
« @type »: « Question »,
« name »: « Quelles sont les limites de la version gratuite de Screaming Frog ? »,
« acceptedAnswer »: {
« @type »: « Answer »,
« text »: « La version gratuite de Screaming Frog vous permet d’explorer gratuitement 500 URLs. »
}
},
{
« @type »: « Question »,
« name »: « Qu’est-ce qu’un code 429 ? »,
« acceptedAnswer »: {
« @type »: « Answer »,
« text »: « Comme décrit par Mozilla dans cet article sur le code page 429, cette réponse renvoyée par le serveur indique que l’utilisateur a effectué trop de requêtes dans un laps de temps donné. »
}
}
]
}