robots-exclusion-fr
Profil Robot Exclusion
Spécification Brouillon du 18-06-2005
Auteurs
- Peter Janes
- (traduction française : Christophe Ducamp)
Copyright
Cette spécification est © 2004-2005 par l'auteur. Néanmoins, l'auteur a pour intention de soumettre cette spécification à un corps de standards avec une politique libérale de copyright telle que le GMPG. Voir les Principes GMPG pour plus de détails. Quiconque souhaitant contribuer à cet effort DOIT lire ces principes, tout spécialement ceux considérant le copyright et la licence, et être d'accord avec eux avant de contribuer.
Brevets
L'auteur ne détient ni n'a l'intention d'appliquer quelque brevet sur tout ce qui est requis pour mettre en oeuvre cette spécification.
Abstract
Le Profil Robot Exclusion est un retravail de la balise Robots META (et des extensions moins standards) sous un microformat.
Introduction
La balise Robots META est utilisée pour fournir une direction spécifique-à-une-page pour les crawlers web. Tout en étant utile dans beaucoup de cas, sa nature spécifique-à-une-page veut dire qu'elle ne peut pas être utilisée pour empêcher les crawlers d'indexer seulement certaines sections d'un document. Plusieurs tentatives ont été produites pour créer des solutions plus granulaires à travers différentes méthodes mais ont été perçues comme des raccourcis qui limitent leur utilisation ; Le Profil Exclusion Robot détinit un microformat qui peut être appliqué à n'importe quel élément ou ensemble d'éléments dans une page.
Comme d'autres microformats tels que hCalendar, le Profil Robot Exclusion définit un ensemble de noms de classe qui peuvent être appliqués aux éléments (X)HTML. class peut être appliqué à presque tout élément (X)HTML, ce qui veut dire que les auteurs peuvent être aussi spécifiques ou générer comme ils le souhaitent dans leurs applications. Ceci diffère de l'attribut similaire rel="nofollow" qui ne peut être appliqué qu'à un lien spécifique (et ne fait pas référence au contenu) dans la ligne. (Il est intéressant de noter que ce comportement est complètement englobé par l'utilisation de class="robots-nofollow" sur le même élément.) Les classes sont aussi additives, ainsi plusieurs valeurs peuvent être spécifiées en une fois, par ex. class="robots-nofollow robots-noindex". Pour l'exclusion de robot en particulier, ceci permet aux auteurs de spécifier plusieurs règles pour un élément sans ajouter quelque balisage supplémentaire non nécessaire.
Format
Profile URI
http://exemple.org/xmdp/robots-profile# (évidemment préliminaire)
Les classes définies par le Profil Robot Exclusion devraient être considérées sans sens quand le profil URI n'est pas présent dans le document attribut profile du <head>.
Profil XMDP
<dl class="profile"> <dt id="robots-nofollow">robots-nofollow</dt> <dd> Informe les robots que les liens contenus par l'élément ne doivent pas être suivis. </dd> <dt id="robots-follow">robots-follow</dt> <dd> Informe les robots que les liens contenus par l'élément doivent être suivis. </dd> <dt id="robots-noindex">robots-noindex</dt> <dd> Informe les robots que le contenu de l'élément ne doit pas être inclus comme section de la page. </dd> <dt id="robots-noanchortext">robots-noanchortext</dt> <dd> Informe les robots que le document en lien cible ne doit pas être indexé sous l'ancre texte. </dd> <dt id="robots-anchortext">robots-anchortext</dt> <dd> Informe les robots que le document en lien cible doit être indexé sous l'ancre texte. </dd> <dt id="robots-index">robots-index</dt> <dd> Informe les robots que le contenu de l'élément doit être inclus comme section de la page. </dd> <dt id="robots-noarchive">robots-noarchive</dt> <dd> Informe les caches des robots que le contenu de l'élément ne doit pas être inclus dans leur copie cachée. </dd> <dt id="robots-archive">robots-archive</dt> <dd> Informe les caches des robots que le contenu de l'élément doit être inclus dans leur copie cachée. </dd> </dl>
Exemples
Retirer le contenu de la page :
<head profile=”http://exemple.org/xmdp/robots-profile#”> ... <div class=”robots-noindex”>Il était une fois un homme de Nantucket…</div> <p>Cette page ne parle pas de <span class=”robots-noindex”>pornographie</span>.</p>
Afficher le nofollow en conjonction avec votelinks, et l'appliquer en parallèle avec relnofollow :
<head profile=”http://exemple.org/xmdp/robots-profile#”>
...
<p class=”robots-nofollow”>Ceci est <a href=”http://exemple.com/bogus”>un lien bogus</a>
et ceci se fait comme <a href=”http://exemple.net/bogus”>ça</a>.</p>
<p>Je n'aime pas <a rel="nofollow" rev="vote-against" class="robots-nofollow"
href="http://example.com/disagree">cette page</a>
mais j'aime vraiment <a rev="vote-for" href="http://exemple.com/agree">celle-là</a>.</p>
Empêcher les images d'être sauvegardées par les moteurs de recherche, les forcer à être retrouvées à partir du site web original :
<head profile="http://exemple.org/xmdp/robots-profile#"> ... <p><img src="exemple.png" class="robots-noarchive" alt="Image privée" /></p>
Une conséquence à cela est que les petits résumés qu'affichent les moteurs de recherche avec les liens résultants excluent aussi le robots-noarchive. Nous suggérons de remplacer les petits segments exclus avec une ellopse [...]. Les segments non archivés d'une taille comparable aux segments qu'utile normalement le moteur de recherche pour les résumés peuvent juste être omis. Probablement un affichage d'un document complètement caché qui a des segments non archivés devrait inclure aussi quelque locution pour afficher les endroits où le texte a été retiré, peut importe sa taille.
Un exemple plus complexe est disponible qui montre aussi comment la métadonnée robots peut être visualisée.
Références
Normative
Informative
- A Standard for Robot Exclusion
- Googlebot Frequently Asked Questions
- The ROBOTS META Tag
- RelNoFollow Draft Specification
- Cette page a été contribuée à partir du wiki des développeurs de technorati.
Remerciements
Problématiques
Ce sont des problématiques ouvertes qui ont émergé dans différents forums. Les problématiques d'efficacité et de "dommages collatéraux" provenant de rel="nofollow" s'appliquent aussi.
Précédence
- Est-ce que les valeurs plus anciennes prennent la précédence ou plus tard ? Est-ce que
class="robots-nofollow robots-follow"veut dire la même chose queclass="robots-nofollow"ouclass="robots-follow"? - Le tag
metasuggère de ne pas utiliser de directives en conflit ou se répétant et ainsi ne spécifie pas la précédence.<p class="robots-noindex robot1-index">est un conflit apparent mais dans ce cas le plus spécifique devrait évidemment neutraliser le général à ce point d'application, peut importe dans quel orde les directives apparaissent.
- L'interaction avec relnofollow : que veut dire
class="robots-follow" rel="nofollow"? Actuellement, relnofollow n'a pas de profil URI défini, aussi le Robot Exclusion Profile prend la précédence. Dans le futur, selon Using Multiple Profiles de XMDP ,les URIs dans l'attribut 'profile' doivent être traités les plus significatives (en premier) jusqu'aux moins significatives (en dernier).
Phrases
Les moteurs de recherche modernes supportent normalement les requêtes phrase. Une requête phrase fait non seulement correspondre les documents qui contiennent les mots de la requête, consécutivement et dans le même ordre. Ceci sollicite vraiment la question de savoir si une phrase correpondante devrait être autorisée pour être à cheval sur une région class="robots-noindex".
Intuitivement ceci ne devrait pas être autorisé. La requête phrase "mot1 mot2" ne devrait pas correspondre à un document qui contienne mot1 <b class="robots-noindex>ignore</b> mot2. Ceci permet vraiment d'être un outil intéressant pour les webmestres afin de pouvoir spécifier que les mots juxtaposés ne soient pas considérés pour être des phrases -- spécifier simplement une région vide non indexée comme dans mot1 <b class="robots-noindex></b> mot2.
Spécificité
- Ne permet pas le contrôle d'UAs spécifiques à la A Standard for Robot Exclusion
Si c'est vraiment nécessaire de contrôler des UAs spécifiques, il y a ici une solution possible. Exemple :
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html> <head> <link rel="schema.RobotExclusion" href="http://example.org/.../" /> <meta name="RobotExclusion.RobotName1" content="Foo Bot" /> <meta name="RobotExclusion.RobotName2" content="Bar Bot" /> <meta name="RobotExclusion.RobotName3" content="Evil Bot" /> </head> <body> <h1>Page</h1> <p class="robots-noindex">Ce paragraphe ne devrait pas être indexé par quelque robot.</p> <p class="robot3-noindex">Ce paragraphe devrait être indexé par chaque robot mis à part "Evil Bot".</p> <p class="robots-noindex robot1-index">Ce paragraphe devrait être indexé par n'importe quel robot mis à part "Foo Bot".</p> </div> </body> </html>
Bien sûr c'est une perte de bande passante s'il y a des méta tags "RobotExclusion.RobotName" sur chaque page d'un site web. De ce fait les métatags devraient être stockés sur une page - peut-être la page principale - ainsi ils peuvent être facilement maintenus.
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html> <head> <link rel="schema.RobotExclusion" href="http://example.org/.../" /> <link rel="RobotExclusion.Names" href="http://mypage.com/" /> </head> <body> <h1>Page</h1> <p class="robots-noindex">Ce paragraphe ne devrait pas être indexé par quelque robot.</p> <p class="robot3-noindex">Ce paragraphe devrait être indexé par chaque robot mis à part "Evil Bot".</p> <p class="robots-noindex robot1-index">Ce paragraphe ne devrait être indexé que par "Foo Bot".</p> </div> </body> </html>
Mots-clés
- Les mots-clés
alletnonesont définis par le Tag Robots META comme des raccourcis pratiques pour activer ou désactiver la combinaison denofollowetnoindex, mais viennent avant lenoarchivede Google et ne devraient pas être considérés pour l'inclure. Le résultat, pour des buts de clarté et simplicité (le principe du Minimalisme XMDP), ils ne sont pas inclus dans cette version du Profile Robot Exclusion Profile.
Appropriation en tant que microformat
- Est-ce que le Profile Robot Exclusion n'est pas conçu d'abord pour les machines et ensuite pour les humaines au lieu de l'inverse ? Oui, tout comme relnofollow, le microformat déployé qu'il est conçu pour remplacer.
- J'aimerais donner écho à ce problème. Nous avons besoin de discuter si oui ou non c'est un microformat approprié. --RyanKing 13:34, 17 Jan 2006 (PST)