vendredi 5 novembre 2010

Rebooter GoogleBot, la solution ultime

Vous avez sans doute tous un site qui déconne dans un coin, un site filtré, pas indexé, une 301 qui a du mal à passer, des anomalies que vous imputez à un bug de Google Bot.  J'ai découvert par hasard une astuce qui m'a permis de sortir un site passé de 1500 visites à 0, un autre site pas indexé à indexé complétement, une 301 qui avait du mal à passer à prise en compte en quelques jours, et enfin un www. qui ne voulait pas disparaitre.

Fan des bots depuis toujours, je kiff le peu de fonctions que Google nous offre dans WebmasterTools. C'est vrai que ce tools ne sert à rien, mais ça m'amuse de pouvoir dompter un peu le Bot, donc je m'en sers.

Là dessus j'ai découvert par hasard un moyen de rebooter Google Bot, comme si vous reboutiez Windows après qu'il ait un fonctionnement bancale. L'astuce est simple, il suffit juste de ne pas avoir peur, mais de toute façon, sur un site filtré ou en mauvaise relation avec GoogleBot vous n'avez rien à perdre il suffit donc de faire :

  1. Uploadez un robots.txt en placent User-agent: * Disallow: / dedans, ouais je sais ça fait peur :) mais pas d'autre choix pour appliquer ma méthode

  2. Connectez vous à WebmasterTools , sélectionnez le site à problème, ou ajoutez le si ça n'est pas déjà fait. Allez ensuite dans "Configuration du site => Accès du robot d'exploration => Supprimer l'URL", cliquez sur "Nouvelle demande de suppression" et mettez "/" qui correspond à l'index de votre site (eh oui!) validé le reste, fermé WebmasterTools et attendez quelques heures. Le délai je ne sais pas trop, lors des premières fois où j'ai utilisez cette méthode j'ai attendu 48heures, mais hier ca a été réglé en 2heures, donc à vous de voir.

  3. Une fois un délai de 2 à 48heures passé, et la disparition de votre site des SERPS, vous pouvez retourner dans WebmasterTools à "Configuration du site => Accès du robot d'exploration => Supprimer l'URL", mais cette fois vous allez cliquer sur l'onglet "Supprimées" à droite, et (ouff) réintégrer votre site.


En quelques heures, voir 1 à 2 jour, vous allez découvrir que GoogleBot a un autre comportement avec votre site, un peu comme si vous aviez rebooté Windows :), et ca en sera fini de votre problème avec GoogleBot.

Cette méthode a permis à un ami de faire indexer entièrement un site qui n'avait que quelques pages dans les serps depuis 3mois, elle m'a permis de faire disparaitre un www.exemple.com après une 301 vers exemple.com, de remettre dans l'index un site qui avait eu un filtre pour duplicat massif de marque blanche et de relancer une migration par 301 qui avait eu quelques soucis.

Ça marche, garanti ;)

30 commentaires:

  1. Bonne astuce, mais faut les avoir bien accrochées pour oser le faire ou n'avoir vraiment rien à perdre :-)

    Merci !!

    En revanche je reste septique sur le délai annoncé dans la partie 3 (Une fois le délai de 2 à 48heures, et la disparition de votre site des SERPS).

    Fabrice

    RépondreSupprimer
  2. Super merci ca donne envie de tester ;-)

    RépondreSupprimer
  3. T'as oublié de faire remettre le robot.txt en mode normal dans la partie 3.

    RépondreSupprimer
  4. Merci pour l'astuce ! :)

    RépondreSupprimer
  5. Excellente astuce ! Entre l'étape 2 et 3, cela suppose de supprimer le robots.txt restrictif pour notre spider préféré. Enfin, je pense :)

    RépondreSupprimer
  6. Merci pour l'astuce Laurent ! Ça peut toujours servir ;)

    RépondreSupprimer
  7. Referencement exNov 5, 2010 09:56 AM

    Très sympa un grand merci a toi !

    RépondreSupprimer
  8. Testé et approuvé il y a quelques mois. Par contre la réindexation avait pris quelques semaines.

    RépondreSupprimer
  9. merci pour l'astuce, je vais la tester, plus rien à perdre sur 2 sites, il ne rerste que la page d'accueil d'indexée (duplicate toussa)

    RépondreSupprimer
  10. Aymeric JacquetNov 5, 2010 10:39 AM

    Et bien, j'ai justement un site à moi ou je vais pouvoir tester sans risque.

    RépondreSupprimer
  11. Je précise, car je ne pensais pas que ça ferai autant de bruit ce matin en écrivant ce billet :)

    je ne l'ai pas fais sur des sites à première vue sanctionnés, uniquement sur des sites à problèmes inconnus, des bugs de GoogleBot quoi

    RépondreSupprimer
  12. je l'ai fais pour un site racheté avec multiples 301 et qui pataugent depuis des lustres, certainement anciennement sandboxé voir duplicate, je vous tiens au courant, j'attends l'étape 3

    RépondreSupprimer
  13. Je confirme que ça ne fonctionne pas pour les sites sanctionnés.

    J'ai testé avec un de mes sites et le résultat est le même.

    RépondreSupprimer
  14. Ouah! Couillu quand meme, mais effectivement lorsqu'il y a des soucis de crawl suite a une migration ou ce genre de chose ... c'est un super tuyau!

    Merci!

    RépondreSupprimer
  15. parfait, mon reboot a été effectué dans la nuit, effectivement toutes les étapes en qqs heures a peine, maintenant faut voir le résultat ! et surtout si je reviens dans les serp et la commande site:

    RépondreSupprimer
  16. MX j'avais ce genre de problème sur celui avec WWW. que je voulais sans, pour le fonctionnement tordu de GGBot dessus ca a marché, mais le site est toujours filtré.

    Ca n'enlève pas les filtres, ni ca n'enlève un blacklistage (enfin j'ai pas essayé), cette technique permets uniquement de rétablir un fonctionnement normal de GoogleBot.

    C'est dailleur l'objet du billet, je ne vous présente pas le saint crawl, mais bien un rezet de GGBot ;)

    RépondreSupprimer
  17. tout est revenu dans les serp comme si de rien n'était, voila juste pour mon expérience, donc pour mon cas pour l'instant, ca n'a rien changer ;)

    RépondreSupprimer
  18. attends quelques crawls encore ;)

    RépondreSupprimer
  19. Merci pour cette astuce intéressante. Je n'ai jamais eu l'occasion de pouvoir m'en servir, mais c'est bon de le savoir à l'avance.

    RépondreSupprimer
  20. Thomas-olifirenkoffNov 8, 2010 11:17 AM

    Merci pour l'astuce.
    Mais le résultat ne serait pas identique à une demande de réexamen via le WT ?

    J'ai un site Internet sanctionné (raison : bourrin, BL à gogo..., bref des tests SEO) sur lequel je vais tester cette solution.

    RépondreSupprimer
  21. Non rien à voir, il ne faut pas lire entre les lignes ;)

    RépondreSupprimer
  22. bon, ce que je pensais se confirme, ça ne vire pas les filtres (et c'est bien dommage)

    testé sur un site desindexé (duplicate) il ne restait que l'index, et depuis le test, je n'ai même plus la description sur l'index.

    je vais suivre ce que l'ami google fait pour ce site, mais je n'attends pas de miracles.

    Je garde cependant l'astuce pour les difficultés de crawl merci encore :)

    RépondreSupprimer
  23. Aller, parce que je suis joueur, je teste...

    RépondreSupprimer
  24. Bonjour a vous,

    J'ai trouvé cette astuce en fin de semaine dernière, et comme j'ai un site qui trainait un probleme d'indexation depuis plus de 5 mois (23 urls sur 74), j'ai testé cette méthode vendredi soir.

    Il a fallu a Google quelques heures pour me sortir de son index.
    J'ai alors réintégrer mon site, et il a encore fallu quelques heures pour qu'il soit réintégré.
    Mais il n'a pas été tout de suite présent sur Google.

    Ensuite je suis parti en week end ... mais à mon retour j'ai eu la bonne surprise de trouver 20 urls indexées en plus.

    L'astuce a fonctionné ...

    RépondreSupprimer
  25. Bonjour,

    Il m'a bien semblé respecter la procédure, mais j'ai un refus de Google avec le message suivant:"Votre demande a été refusée, car l'administrateur du site n'a pas utilisé le fichier robots.txt ou les balises META destinés à nous empêcher d'indexer ou d'archiver cette page". Quelqu'un saurait me guider?

    merci d'avance,

    RépondreSupprimer
  26. Va demander sur WRI :D

    RépondreSupprimer
  27. >> Va demander sur WRI :D

    Roooh ca c'est pas gentil du tout dis donc :-D

    Sinon, merci pour le tuyau, je note dans un coin pour probablement très bientôt et un certain... Ah mais là j'en dis déjà trop :-D

    RépondreSupprimer
  28. Je suis arrivé à la même conclusion, mais j'avais peur.
    Suite à la lecture de ce post : Test en cours...

    Fais moi rêver !!

    RépondreSupprimer
  29. C'est une méthode courageuse tout de même. :))

    RépondreSupprimer