Мета-тег <meta name = "robots"> прописують в частині <head> на сторінці. Він виконує ті ж функції, що файл robots.txt - надає можливість керувати індексацією контенту і посилань на сторінки через відповідні значення для атрибута content:
follow / nofollow - враховувати або не враховувати посилання;
index / noindex - індексувати або НЕ індексувати вміст сторінки (часто текст);
all / none - скорочення, відповідне записам "follow, index" / "nofollow, noindex";
noarchive - заборона архівації сторінки. Використання цього значення виключає можливість доступу до сторінки з архіву пошукової системи.
На відміну від файлу robots.txt, однойменний мета-тег має кілька обмежений функціонал. Він діє виключно в межах сторінки. В окремому файлі можна забороняти індексацію цілих каталогів. За іншими параметрами ці методи рівнозначні. Пошукові системи рекомендують використовувати мета-тег robots, коли веб-майстер не має доступу до кореневої папці ресурсу.
При виявленні суперечливих команд пріоритет віддається більш суворою. Наприклад, якщо в файлі буде index, а в мета-тезі - none, пошуковий робот проведе індексацію тексту.
