Budget de crawl : pourquoi Google n'indexe que 30 % de vos pages générées
Le taux d'indexation d'un lot programmatique se situe couramment entre 20 et 40 % la première année. Ce n'est pas une fatalité technique : c'est un arbitrage économique que fait Google, et chacun de ses termes est actionnable.
De quoi le budget de crawl est réellement fait
Il se décompose en deux facteurs indépendants.
- La limite de capacité. Ce que votre serveur supporte sans se dégrader. Un temps de réponse qui augmente fait baisser la fréquence d'exploration, mécaniquement.
- Le besoin d'exploration. L'intérêt que Google porte à revenir. Il dépend de la popularité des URL, de leur fraîcheur réelle et de la valeur constatée des pages déjà explorées.
Sur un site généré, le facteur limitant est presque toujours le second. Le serveur tient ; c'est l'intérêt qui manque. Optimiser le temps de réponse d'un site que Google ne veut pas explorer davantage ne change rien.
Lire les statuts de couverture dans le bon ordre
| Statut | Ce qu'il signifie | Cause dominante |
|---|---|---|
| Détectée, actuellement non indexée | URL connue, jamais explorée | Budget insuffisant ou maillage absent |
| Explorée, actuellement non indexée | Page lue, jugée non indexable | Valeur perçue insuffisante |
| Page en double sans URL canonique | Contenu jugé identique à une autre page | Gabarit trop uniforme |
| Autre page avec balise canonique | Consolidation choisie par Google | Canonical mal posé ou variantes trop proches |
La distinction entre les deux premières lignes est la plus importante du diagnostic. « Détectée » est un problème de découverte : sitemap, liens internes, profondeur. « Explorée » est un problème de contenu : la page a été lue et écartée. Les remèdes n'ont rien à voir.
Six actions qui augmentent le taux d'indexation
1. Réduire la profondeur de clic
Passer une page du niveau 5 au niveau 3 a plus d'effet que n'importe quelle optimisation de contenu. Voir le maillage interne d'un silo.
2. Supprimer les URL sans valeur
Chaque URL explorée qui ne mérite pas d'être indexée consomme du budget. Filtres à facettes, pages de recherche interne, paramètres de tri : à bloquer ou à consolider.
3. Publier par vagues
Une vague de 300 pages est absorbée. Un dépôt de 20 000 pages en une nuit produit une file d'attente dont la plus grande partie ne sera jamais traitée.
4. Élaguer les pages sans impression
Après six mois sans aucune impression, une page ne rapporte rien et consomme du crawl. La supprimer améliore le taux d'indexation du reste du lot — le ratio compte autant que le volume.
5. Renforcer les signaux externes du pilier
Un lien externe vers la page pilier se redistribue à tout le silo par le maillage. C'est le levier le plus efficace sur un site jeune.
6. Stabiliser les temps de réponse
Non pas pour gagner quelques millisecondes, mais pour éviter les pics : un temps de réponse instable fait baisser la limite de capacité de façon durable. Voir Core Web Vitals sur les pages programmatiques et la mise en cache CDN.
Ce qui ne fonctionne pas
- Resoumettre le sitemap. Sans changement de fond, le résultat est identique.
- Demander l'indexation manuellement page par page. Utile pour quelques URL, inapplicable à un lot.
- Ajouter des liens depuis le pied de page. Le signal transmis est trop faible pour changer la profondeur perçue.
- Republier avec une nouvelle date. Modifier
lastmodsans modifier le contenu dégrade la fiabilité du signal pour tout le site — voir l'usage correct de lastmod.
Combien de temps attendre avant de conclure
Sur un domaine établi, une vague est majoritairement traitée en quatre à huit semaines. Sur un domaine jeune, il faut compter trois à six mois avant de disposer d'un taux d'indexation interprétable. Tirer des conclusions à deux semaines conduit systématiquement à défaire ce qui aurait fonctionné.
Questions fréquentes
Que signifie « Détectée, actuellement non indexée » ?
Que Google connaît l'URL mais ne l'a pas encore explorée. C'est un problème de découverte et de priorité : maillage interne trop faible, profondeur de clic excessive ou budget d'exploration saturé.
Faut-il supprimer les pages non indexées ?
Après six mois sans impression ni indexation, oui dans la plupart des cas. Elles consomment du budget d'exploration et abaissent la qualité moyenne perçue du site.
Le budget de crawl concerne-t-il les petits sites ?
Peu. En dessous de quelques milliers d'URL, il est rarement le facteur limitant. Il devient déterminant sur les sites générés de grande taille.