robots-exclusion-fr

From Microformats Wiki
Revision as of 00:52, 27 December 2006 by ChristopheDucamp (talk | contribs) (sync'd)
Jump to navigation Jump to search

Profil Robot Exclusion

Spécification Brouillon du 18-06-2005

Auteurs

Copyright

Cette spécification est © 2004-2005 par l'auteur. Néanmoins, l'auteur a pour intention de soumettre cette spécification à un corps de standards avec une politique libérale de copyright telle que le GMPG. Voir les Principes GMPG pour plus de détails. Quiconque souhaitant contribuer à cet effort DOIT lire ces principes, tout spécialement ceux considérant le copyright et la licence, et être d'accord avec eux avant de contribuer.

Brevets

L'auteur ne détient ni n'a l'intention d'appliquer quelque brevet sur tout ce qui est requis pour mettre en oeuvre cette spécification.

Abstract

Le Profil Robot Exclusion est un retravail de la balise Robots META (et des extensions moins standards) sous un microformat.

Introduction

La balise Robots META est utilisée pour fournir une direction spécifique-à-une-page pour les crawlers web. Tout en étant utile dans beaucoup de cas, sa nature spécifique-à-une-page veut dire qu'elle ne peut pas être utilisée pour empêcher les crawlers d'indexer seulement certaines sections d'un document. Plusieurs tentatives ont été produites pour créer des solutions plus granulaires à travers différentes méthodes mais ont été perçues comme des raccourcis qui limitent leur utilisation ; Le Profil Exclusion Robot détinit un microformat qui peut être appliqué à n'importe quel élément ou ensemble d'éléments dans une page.

Comme d'autres microformats tels que hCalendar, le Profil Robot Exclusion définit un ensemble de noms de classe qui peuvent être appliqués aux éléments (X)HTML. class peut être appliqué à presque tout élément (X)HTML, ce qui veut dire que les auteurs peuvent être aussi spécifiques ou générer comme ils le souhaitent dans leurs applications. Ceci diffère de l'attribut similaire rel="nofollow" qui ne peut être appliqué qu'à un lien spécifique (et ne fait pas référence au contenu) dans la ligne. (Il est intéressant de noter que ce comportement est complètement englobé par l'utilisation de class="robots-nofollow" sur le même élément.) Les classes sont aussi additives, ainsi plusieurs valeurs peuvent être spécifiées en une fois, par ex. class="robots-nofollow robots-noindex". Pour l'exclusion de robot en particulier, ceci permet aux auteurs de spécifier plusieurs règles pour un élément sans ajouter quelque balisage supplémentaire non nécessaire.

Format

Profile URI

http://exemple.org/xmdp/robots-profile# (évidemment préliminaire)

Les classes définies par le Profil Robot Exclusion devraient être considérées sans sens quand le profil URI n'est pas présent dans le document attribut profile du <head>.

Profil XMDP

<dl class="profile">
 <dt id="robots-nofollow">robots-nofollow</dt>
 <dd>
  Informe les robots que les liens contenus par l'élément ne doivent pas être suivis.
 </dd>
 <dt id="robots-follow">robots-follow</dt>
 <dd>
  Informe les robots que les liens contenus par l'élément doivent être suivis.
 </dd>
 <dt id="robots-noindex">robots-noindex</dt>
 <dd>
  Informe les robots que le contenu de l'élément ne doit pas être inclus comme section de la page. 
 </dd>
 <dt id="robots-noanchortext">robots-noanchortext</dt>
 <dd>
  Informe les robots que le document en lien cible ne doit pas être indexé sous l'ancre texte.
 </dd>
 <dt id="robots-anchortext">robots-anchortext</dt>
 <dd>
  Informe les robots que le document en lien cible doit être indexé sous l'ancre texte.
 </dd>
 <dt id="robots-index">robots-index</dt>
 <dd>
  Informe les robots que le contenu de l'élément doit être inclus comme section de la page. 
 </dd>
 <dt id="robots-noarchive">robots-noarchive</dt>
 <dd>
  Informe les caches des robots que le contenu de l'élément ne doit pas être inclus dans leur copie cachée.
 </dd>
 <dt id="robots-archive">robots-archive</dt>
 <dd>
  Informe les caches des robots que le contenu de l'élément doit être inclus dans leur copie cachée.
 </dd>
</dl>

Exemples

Retirer le contenu de la page :

<head profile=”http://exemple.org/xmdp/robots-profile#”>
...
<div class=”robots-noindex”>Il était une fois un homme de Nantucket…</div>
<p>Cette page ne parle pas de <span class=”robots-noindex”>pornographie</span>.</p>

Afficher le nofollow en conjonction avec votelinks, et l'appliquer en parallèle avec relnofollow :

<head profile=”http://exemple.org/xmdp/robots-profile#”>
...
<p class=”robots-nofollow”>Ceci est <a href=”http://exemple.com/bogus”>un lien bogus</a> 
et ceci se fait comme <a href=”http://exemple.net/bogus”>ça</a>.</p>

<p>Je n'aime pas <a rel="nofollow" rev="vote-against" class="robots-nofollow"
                   href="http://example.com/disagree">cette page</a>
mais j'aime vraiment <a rev="vote-for" href="http://exemple.com/agree">celle-là</a>.</p>

Empêcher les images d'être sauvegardées par les moteurs de recherche, les forcer à être retrouvées à partir du site web original :

<head profile="http://exemple.org/xmdp/robots-profile#">
...
<p><img src="exemple.png" class="robots-noarchive" alt="Image privée" /></p>

Une conséquence à cela est que les petits résumés qu'affichent les moteurs de recherche avec les liens résultants excluent aussi le robots-noarchive. Nous suggérons de remplacer les petits segments exclus avec une ellopse [...]. Les segments non archivés d'une taille comparable aux segments qu'utile normalement le moteur de recherche pour les résumés peuvent juste être omis. Probablement un affichage d'un document complètement caché qui a des segments non archivés devrait inclure aussi quelque locution pour afficher les endroits où le texte a été retiré, peut importe sa taille.

Un exemple plus complexe est disponible qui montre aussi comment la métadonnée robots peut être visualisée.

Références

Normative

Informative

Remerciements

Problématiques

Ce sont des problématiques ouvertes qui ont émergé dans différents forums. Les problématiques d'efficacité et de "dommages collatéraux" provenant de rel="nofollow" s'appliquent aussi.

Précédence

  • Est-ce que les valeurs plus anciennes prennent la précédence ou plus tard ? Est-ce que class="robots-nofollow robots-follow" veut dire la même chose que class="robots-nofollow" ou class="robots-follow"?
  • Le tag meta suggère de ne pas utiliser de directives en conflit ou se répétant et ainsi ne spécifie pas la précédence. <p class="robots-noindex robot1-index"> est un conflit apparent mais dans ce cas le plus spécifique devrait évidemment neutraliser le général à ce point d'application, peut importe dans quel orde les directives apparaissent.
  • L'interaction avec relnofollow : que veut dire class="robots-follow" rel="nofollow" ? Actuellement, relnofollow n'a pas de profil URI défini, aussi le Robot Exclusion Profile prend la précédence. Dans le futur, selon Using Multiple Profiles de XMDP , les URIs dans l'attribut 'profile' doivent être traités les plus significatives (en premier) jusqu'aux moins significatives (en dernier).

Phrases

Les moteurs de recherche modernes supportent normalement les requêtes phrase. Une requête phrase fait non seulement correspondre les documents qui contiennent les mots de la requête, consécutivement et dans le même ordre. Ceci sollicite vraiment la question de savoir si une phrase correpondante devrait être autorisée pour être à cheval sur une région class="robots-noindex".

Intuitivement ceci ne devrait pas être autorisé. La requête phrase "mot1 mot2" ne devrait pas correspondre à un document qui contienne mot1 <b class="robots-noindex>ignore</b> mot2. Ceci permet vraiment d'être un outil intéressant pour les webmestres afin de pouvoir spécifier que les mots juxtaposés ne soient pas considérés pour être des phrases -- spécifier simplement une région vide non indexée comme dans mot1 <b class="robots-noindex></b> mot2.

Spécificité

Si c'est vraiment nécessaire de contrôler des UAs spécifiques, il y a ici une solution possible. Exemple :

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html>
<head>
<link rel="schema.RobotExclusion" href="http://example.org/.../" />
<meta name="RobotExclusion.RobotName1" content="Foo Bot" />
<meta name="RobotExclusion.RobotName2" content="Bar Bot" />
<meta name="RobotExclusion.RobotName3" content="Evil Bot" />
</head>
<body>
<h1>Page</h1>
<p class="robots-noindex">Ce paragraphe ne devrait pas être indexé par quelque robot.</p>
<p class="robot3-noindex">Ce paragraphe devrait être indexé par chaque robot mis à part "Evil Bot".</p>
<p class="robots-noindex robot1-index">Ce paragraphe devrait être indexé par n'importe quel robot mis à part "Foo Bot".</p>
</div>
</body>
</html>

Bien sûr c'est une perte de bande passante s'il y a des méta tags "RobotExclusion.RobotName" sur chaque page d'un site web. De ce fait les métatags devraient être stockés sur une page - peut-être la page principale - ainsi ils peuvent être facilement maintenus.

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html>
<head>
<link rel="schema.RobotExclusion" href="http://example.org/.../" />
<link rel="RobotExclusion.Names" href="http://mypage.com/" />
</head>
<body>
<h1>Page</h1>
<p class="robots-noindex">Ce paragraphe ne devrait pas être indexé par quelque robot.</p>
<p class="robot3-noindex">Ce paragraphe devrait être indexé par chaque robot mis à part "Evil Bot".</p>

<p class="robots-noindex robot1-index">Ce paragraphe ne devrait être indexé que par "Foo Bot".</p>
</div>
</body>
</html>


Mots-clés

  • Les mots-clés all et none sont définis par le Tag Robots META comme des raccourcis pratiques pour activer ou désactiver la combinaison de nofollow et noindex, mais viennent avant le noarchive de Google et ne devraient pas être considérés pour l'inclure. Le résultat, pour des buts de clarté et simplicité (le principe du Minimalisme XMDP), ils ne sont pas inclus dans cette version du Profile Robot Exclusion Profile.

Appropriation en tant que microformat

  • Est-ce que le Profile Robot Exclusion n'est pas conçu d'abord pour les machines et ensuite pour les humaines au lieu de l'inverse ? Oui, tout comme relnofollow, le microformat déployé qu'il est conçu pour remplacer.
  • J'aimerais donner écho à ce problème. Nous avons besoin de discuter si oui ou non c'est un microformat approprié. --RyanKing 13:34, 17 Jan 2006 (PST)