Fan des bots depuis toujours, je kiff le peu de fonctions que Google nous offre dans WebmasterTools. C'est vrai que ce tools ne sert à rien, mais ça m'amuse de pouvoir dompter un peu le Bot, donc je m'en sers.
Là dessus j'ai découvert par hasard un moyen de rebooter Google Bot, comme si vous reboutiez Windows après qu'il ait un fonctionnement bancale. L'astuce est simple, il suffit juste de ne pas avoir peur, mais de toute façon, sur un site filtré ou en mauvaise relation avec GoogleBot vous n'avez rien à perdre il suffit donc de faire :
- Uploadez un robots.txt en placent User-agent: * Disallow: / dedans, ouais je sais ça fait peur :) mais pas d'autre choix pour appliquer ma méthode
- Connectez vous à WebmasterTools , sélectionnez le site à problème, ou ajoutez le si ça n'est pas déjà fait. Allez ensuite dans "Configuration du site => Accès du robot d'exploration => Supprimer l'URL", cliquez sur "Nouvelle demande de suppression" et mettez "/" qui correspond à l'index de votre site (eh oui!) validé le reste, fermé WebmasterTools et attendez quelques heures. Le délai je ne sais pas trop, lors des premières fois où j'ai utilisez cette méthode j'ai attendu 48heures, mais hier ca a été réglé en 2heures, donc à vous de voir.
- Une fois un délai de 2 à 48heures passé, et la disparition de votre site des SERPS, vous pouvez retourner dans WebmasterTools à "Configuration du site => Accès du robot d'exploration => Supprimer l'URL", mais cette fois vous allez cliquer sur l'onglet "Supprimées" à droite, et (ouff) réintégrer votre site.
En quelques heures, voir 1 à 2 jour, vous allez découvrir que GoogleBot a un autre comportement avec votre site, un peu comme si vous aviez rebooté Windows :), et ca en sera fini de votre problème avec GoogleBot.
Cette méthode a permis à un ami de faire indexer entièrement un site qui n'avait que quelques pages dans les serps depuis 3mois, elle m'a permis de faire disparaitre un www.exemple.com après une 301 vers exemple.com, de remettre dans l'index un site qui avait eu un filtre pour duplicat massif de marque blanche et de relancer une migration par 301 qui avait eu quelques soucis.
Ça marche, garanti ;)