ActuLab - Magazine interactif

Cloaking et robots

  1. Cloaking, l'arme absolue du référencement ?
  2. Les robots - Cloaking sur user-agent et sur IP
  3. Mise en oeuvre du cloaking, risques et autres considérations
  4. Créer une page HTML optimisée pour les moteurs de recherche
  5. Tuto: Cloaker les moteurs de recherche en PHP - premiers pas
  6. Liste de user-agents et adresses IP des robots
  7. Démonstration de cloaking sur user-agent

La course que se livrent les moteurs de recherche et les webmasters qui cherchent à y référencer leurs sites web ressemble par bien des points à celles qui opposent les créateurs de virus et les fabricants d'antivirus: l'essentiel est d'avoir un coup d'avance.

Quel visage montrer aux moteurs de recherche? Il y a quelques années, le grand jeu consistait à optimiser (truquer?) les balises meta, ces informations invisibles des internautes que les moteurs de recherche utilisaient pour le référencement des sites web. Evidemment des abus, connus sous le nom générique de "spamdexing", se sont produits… On a même vu le site d'un candidat à l'élection présidentielle française de 1995 proposer le mot "sexe" dans ses métas, histoire d'appâter l'électeur coquin. Depuis, les moteurs de recherche ignorent les metas et focalisent sur le contenu des pages...

Qu'à celà ne tienne: le cloaking vient à la rescousse des webmasters. Il permet de présenter aux visiteurs humains des pages agréables à regarder (images, scripts DHTML, animations flash, …), et aux moteurs de recherche des pages optimisées pour le référencement et le positionnement du site (texte dense en mots-clés).

Comment fonctionnent les moteurs de recherche ?

les robots en action Contrairement aux annuaires (DMoz, …) constitués par des humains, et donc impossible à cloaker, les moteurs de recherche (Google, Bing, Yahoo, …) utilisent des logiciels appelés robots, bots, spiders ou crawlers pour référencer les sites web qu'ils proposent dans leurs réponses. Ces "sales bestioles" se baladent de site en site en suivant les liens hypertexte, et analysent les pages qu'elles visitent.

Si certains robots sont très puissants par leurs algorithmes (Googlebot), la discrétion n'est pas leur fort. Les informations qu'ils transmettent dans le header http permettent en général de les identifier sans équivoque. Leurs USER-AGENT portent les doux noms de Googlebot, Slurp ou msnbot, et ils ne dissimulent nullement leurs adresses IP. Un vrai bonheur pour le webmaster-cloakeur qui peut alors s 'en donner à cœur-joie pour les "arnaquer" en leur présentant des pages optimisées pour le référencement, qu'aucun internaute humain ne verra jamais.

Les 2 façons de cloaker les moteurs de recherche

Il est théoriquement possible de cloaker un robot en détectant son USER-AGENT (user-agent cloaking) ou en détectant son adresse IP (IP cloaking).

Dans la pratique l'IP cloaking est beaucoup plus fiable que le user-agent cloaking. En effet, les moteurs de recherche, sans doute un peu honteux de se faire cloaker, combattent ouvertement cette pratique. Un site pris en flagrant délit de cloaking a de fortes chances de se faire "blacklister", c'est à dire de disparaitre des réponses des moteurs de recherche.

la gueule de l'emploi S'il est très facile de maquiller ou de modifier son user-agent - et on peut penser que les robots ne s'en privent pas à l'occasion pour vérifier les sites qu'ils indexent - il est en revanche très compliqué de maquiller son adresse IP. D'où la préférence pour l'IP cloaking.

Une extension du navigateur Firefox permet de surfer en utilisant l'user-agent de son choix. A défaut de Firefox, l'outil en ligne du site WANNABrowser le permet aussi. A titre de curiosité, allez donc voir si vos concurrents ne seraient pas de "vilains petits cloakeurs" en visitant leurs sites sous l'identité du tout-puissant Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).

» La suite: Mise en oeuvre du cloaking, risques et autres considérations...

. Présidentielle 2012, information, actualité et commentaires sur l'élection présidentielle. Voir...
. Guide des voyageurs et des expatriés à Shanghai et en Chine. Voir...
. Pour un soutien scolaire adapté aux besoins des élèves et de leurs parents. Voir...

© 2003..2010 ActuLab - Informations légales
Quand même googlebot finit par se perdre dans ton site, tue-le. ActuLab.com en est mort.