Fan des bots depuis toujours, je kiff le peu de fonctions que Google nous offre dans WebmasterTools. C'est vrai que ce tools ne sert à rien, mais ça m'amuse de pouvoir dompter un peu le Bot, donc je m'en sers.
Là dessus j'ai découvert par hasard un moyen de rebooter Google Bot, comme si vous reboutiez Windows après qu'il ait un fonctionnement bancale. L'astuce est simple, il suffit juste de ne pas avoir peur, mais de toute façon, sur un site filtré ou en mauvaise relation avec GoogleBot vous n'avez rien à perdre il suffit donc de faire :
- Uploadez un robots.txt en placent User-agent: * Disallow: / dedans, ouais je sais ça fait peur :) mais pas d'autre choix pour appliquer ma méthode
- Connectez vous à WebmasterTools , sélectionnez le site à problème, ou ajoutez le si ça n'est pas déjà fait. Allez ensuite dans "Configuration du site => Accès du robot d'exploration => Supprimer l'URL", cliquez sur "Nouvelle demande de suppression" et mettez "/" qui correspond à l'index de votre site (eh oui!) validé le reste, fermé WebmasterTools et attendez quelques heures. Le délai je ne sais pas trop, lors des premières fois où j'ai utilisez cette méthode j'ai attendu 48heures, mais hier ca a été réglé en 2heures, donc à vous de voir.
- Une fois un délai de 2 à 48heures passé, et la disparition de votre site des SERPS, vous pouvez retourner dans WebmasterTools à "Configuration du site => Accès du robot d'exploration => Supprimer l'URL", mais cette fois vous allez cliquer sur l'onglet "Supprimées" à droite, et (ouff) réintégrer votre site.
En quelques heures, voir 1 à 2 jour, vous allez découvrir que GoogleBot a un autre comportement avec votre site, un peu comme si vous aviez rebooté Windows :), et ca en sera fini de votre problème avec GoogleBot.
Cette méthode a permis à un ami de faire indexer entièrement un site qui n'avait que quelques pages dans les serps depuis 3mois, elle m'a permis de faire disparaitre un www.exemple.com après une 301 vers exemple.com, de remettre dans l'index un site qui avait eu un filtre pour duplicat massif de marque blanche et de relancer une migration par 301 qui avait eu quelques soucis.
Ça marche, garanti ;)
Bonne astuce, mais faut les avoir bien accrochées pour oser le faire ou n'avoir vraiment rien à perdre :-)
RépondreSupprimerMerci !!
En revanche je reste septique sur le délai annoncé dans la partie 3 (Une fois le délai de 2 à 48heures, et la disparition de votre site des SERPS).
Fabrice
Super merci ca donne envie de tester ;-)
RépondreSupprimerT'as oublié de faire remettre le robot.txt en mode normal dans la partie 3.
RépondreSupprimerMerci pour l'astuce ! :)
RépondreSupprimerExcellente astuce ! Entre l'étape 2 et 3, cela suppose de supprimer le robots.txt restrictif pour notre spider préféré. Enfin, je pense :)
RépondreSupprimerMerci pour l'astuce Laurent ! Ça peut toujours servir ;)
RépondreSupprimerTrès sympa un grand merci a toi !
RépondreSupprimerTesté et approuvé il y a quelques mois. Par contre la réindexation avait pris quelques semaines.
RépondreSupprimerMerci pour l'astuce !
RépondreSupprimermerci pour l'astuce, je vais la tester, plus rien à perdre sur 2 sites, il ne rerste que la page d'accueil d'indexée (duplicate toussa)
RépondreSupprimerEt bien, j'ai justement un site à moi ou je vais pouvoir tester sans risque.
RépondreSupprimerJe précise, car je ne pensais pas que ça ferai autant de bruit ce matin en écrivant ce billet :)
RépondreSupprimerje ne l'ai pas fais sur des sites à première vue sanctionnés, uniquement sur des sites à problèmes inconnus, des bugs de GoogleBot quoi
je l'ai fais pour un site racheté avec multiples 301 et qui pataugent depuis des lustres, certainement anciennement sandboxé voir duplicate, je vous tiens au courant, j'attends l'étape 3
RépondreSupprimerJe confirme que ça ne fonctionne pas pour les sites sanctionnés.
RépondreSupprimerJ'ai testé avec un de mes sites et le résultat est le même.
Ouah! Couillu quand meme, mais effectivement lorsqu'il y a des soucis de crawl suite a une migration ou ce genre de chose ... c'est un super tuyau!
RépondreSupprimerMerci!
parfait, mon reboot a été effectué dans la nuit, effectivement toutes les étapes en qqs heures a peine, maintenant faut voir le résultat ! et surtout si je reviens dans les serp et la commande site:
RépondreSupprimerMX j'avais ce genre de problème sur celui avec WWW. que je voulais sans, pour le fonctionnement tordu de GGBot dessus ca a marché, mais le site est toujours filtré.
RépondreSupprimerCa n'enlève pas les filtres, ni ca n'enlève un blacklistage (enfin j'ai pas essayé), cette technique permets uniquement de rétablir un fonctionnement normal de GoogleBot.
C'est dailleur l'objet du billet, je ne vous présente pas le saint crawl, mais bien un rezet de GGBot ;)
tout est revenu dans les serp comme si de rien n'était, voila juste pour mon expérience, donc pour mon cas pour l'instant, ca n'a rien changer ;)
RépondreSupprimerattends quelques crawls encore ;)
RépondreSupprimerMerci pour cette astuce intéressante. Je n'ai jamais eu l'occasion de pouvoir m'en servir, mais c'est bon de le savoir à l'avance.
RépondreSupprimerMerci pour l'astuce.
RépondreSupprimerMais le résultat ne serait pas identique à une demande de réexamen via le WT ?
J'ai un site Internet sanctionné (raison : bourrin, BL à gogo..., bref des tests SEO) sur lequel je vais tester cette solution.
Non rien à voir, il ne faut pas lire entre les lignes ;)
RépondreSupprimerbon, ce que je pensais se confirme, ça ne vire pas les filtres (et c'est bien dommage)
RépondreSupprimertesté sur un site desindexé (duplicate) il ne restait que l'index, et depuis le test, je n'ai même plus la description sur l'index.
je vais suivre ce que l'ami google fait pour ce site, mais je n'attends pas de miracles.
Je garde cependant l'astuce pour les difficultés de crawl merci encore :)
Aller, parce que je suis joueur, je teste...
RépondreSupprimerBonjour a vous,
RépondreSupprimerJ'ai trouvé cette astuce en fin de semaine dernière, et comme j'ai un site qui trainait un probleme d'indexation depuis plus de 5 mois (23 urls sur 74), j'ai testé cette méthode vendredi soir.
Il a fallu a Google quelques heures pour me sortir de son index.
J'ai alors réintégrer mon site, et il a encore fallu quelques heures pour qu'il soit réintégré.
Mais il n'a pas été tout de suite présent sur Google.
Ensuite je suis parti en week end ... mais à mon retour j'ai eu la bonne surprise de trouver 20 urls indexées en plus.
L'astuce a fonctionné ...
Bonjour,
RépondreSupprimerIl m'a bien semblé respecter la procédure, mais j'ai un refus de Google avec le message suivant:"Votre demande a été refusée, car l'administrateur du site n'a pas utilisé le fichier robots.txt ou les balises META destinés à nous empêcher d'indexer ou d'archiver cette page". Quelqu'un saurait me guider?
merci d'avance,
Va demander sur WRI :D
RépondreSupprimer>> Va demander sur WRI :D
RépondreSupprimerRoooh ca c'est pas gentil du tout dis donc :-D
Sinon, merci pour le tuyau, je note dans un coin pour probablement très bientôt et un certain... Ah mais là j'en dis déjà trop :-D
Je suis arrivé à la même conclusion, mais j'avais peur.
RépondreSupprimerSuite à la lecture de ce post : Test en cours...
Fais moi rêver !!
C'est une méthode courageuse tout de même. :))
RépondreSupprimer