Cette balise est prise en compte par Google et les autres moteurs et sert à définir des restrictions au robot qui vient crawler la page.
Il est possible d’indiquer des restriction de manière individuelle aux différents bots (google ou yahoo par ex) a fin quelles s’appliquent qu’au moteur spécifié.

 Les différentes valeurs possibles pour la balise meta robots :

• noindex : indique au robot qu’il ne faut pas indexer la page. Cela ne signifie pas que le robot ne va pas la crawler : pour cela il faut utiliser le fichier robots.txt
• nofollow : indique au robot qu’il ne faut pas suivre les liens dans la page. Cela signifie que Google n’ira pas crawler les pages liées par la page contenant cette balise meta robots.
• index : indique au robot qu’il peut indexer la page.
• follow : indique au robot qu’il peut suivre les liens dans la page.
• all : équivalent de  »index,follow ».
• none : équivalent de « noindex,nofollow ».
• nosnippet : indique au robot qu’il ne faut pas afficher de descriptif (snippet) dans la page de résultats.
• noarchive : indique au robot qu’il ne faut pas laisser l’accès à la version en cache.
• noodp : indique au robot qu’il ne faut pas utiliser les données et les associées dans l’annuaire DMOZ.
• unavailable_after:[date] : indique au robot que la page ne doit pas ressortir dans les résultats après la date indiquée.