Budget de crawl

Qu’est ce que le budget de crawl ?

L’objectif d’une optimisation de budget de crawl est de permettre aux moteurs de voir plus de pages utiles lors de ses crawls, donc ne pas lui faire perdre du temps sur les URLs sans intérêt. Ainsi, le moteur détectera plus rapidement les ajouts et modifications effectuées sur le site, permettant par conséquent une réactivité plus importante de Google face aux optimisations SEO que vous mettrez en œuvre.

Pourquoi optimiser son budget de crawl ?

La méta description n’a aucun poids direct pour le référencement : cela signifie que les mots clés placés dans la balise ne sont pas pris en compte par Google comme critère direct pour le positionnement d’une page web.

Néanmoins, il convient d’accorder beaucoup de soin à sa rédaction car elle contribue fortement à décider les utilisateurs de Google à visiter votre site lorsqu’ils parcourent des résultats de recherche.

En effet, la métadonnée description désigne tout simplement le texte qui s’affiche en dessous du lien bleu dans les résultats de recherche.

Les internautes se fient au texte de la métadonnée description pour se faire une idée du contenu de la page. Il est donc crucial d’optimiser cette métadonnée pour qu’elle donne envie aux internautes de visiter votre contenu plutôt que celui des concurrents.

Comment optimiser son budget de crawl ?

Plusieurs facteurs peuvent être traités afin d’optimiser son crawl budget :

Éviter la présence de contenu dupliqué

Il s’agit ici de minimiser les mêmes contenus accessibles via plusieurs URLs.

• Duplication en HTTP et HTTPS ;
• Duplication avec/sans le préfixe www ;
• Duplication avec/sans des caractères en majuscules dans l’URL ;
• Duplication avec/sans « / » en fin d’URL ;
• Versions imprimables ou en PDF de pages ;
• Certaines URLs paramétrées (utilisation de filtre dans l’URL) ;
• Duplication avec un /index.html en fin d’URL ;
• URLs n’incluant qu’une image ;
• ...

Selon la typologie il conviendra de mettre en place les redirections nécessaires, de mettre en noindex, d’exclure via le fichier robots.txt et/ou de ne plus permettre leur génération ou de maillage interne vers ces URLs.

Éviter la présence de liens érronés

La présence de liens en erreurs (404, 500, non réponse) ou en redirections (301,302) va faire perdre du temps aux moteurs, il sera donc important de réduire leur présence au maximum. Pensez aussi à identifier et corriger les chaînes de redirection.

Éviter la présence de contenus de faible qualité

Détectez les pages vides ou presque ainsi que les pages dont le contenu ne vous permet pas d’attirer du trafic. Supprimez-les et déterminez s’il est utile de réutiliser le contenu sur une autre page de la même thématique.

Parfaire son maillage interne :

• Éviter les pages trop profondes ;
• Lier correctement vos pages entre elles.

En effet, plus une page sera rapidement et facilement accessible dans la structure du site, plus sa probabilité d’être crawlée sera importante.

Parfaire son architecture et son maillage interne

• Faire remonter les pages importantes dans l’architecture du site ;
• Lier les pages ayant une sémantique commune entre elles.

Réduire le temps de chargement de vos pages

• Minimiser les redirections ;
• Compresser vos images ;
• Compresser vos fichiers CSS et JavaScript ;
• Améliorer les temps de réponse serveur ;
• ...