Meta nofollow: Meta Robots Tag [noindex, nofollow]

Содержание

Метатег robots и HTTP-заголовок X-Robots-Tag

Вы можете указать роботам правила загрузки и индексирования определенных страниц сайта одним из способов:

прописать метатег robots в HTML-коде страницы в элементе head;
настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.

Примечание. Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует.

По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.

Поддерживаемые Яндексом директивы
Указание нескольких директив
Указания для определенных роботов

Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет. Пример.

Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.

Пример:

Запись, которая запрещает индексирование страницы.

<html>
    <head>
        <meta name="robots" content="noindex" />
    </head>
    <body>...</body>
</html>

HTTP-ответ, где заголовок запрещает индексирование страницы.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex

Вы можете указать директивы через запятую.

<meta name="yandex" content="noindex, nofollow" />

Вы можете передать несколько заголовков в одном ответе, а также перечислить директивы через запятую.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive

Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:

<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки 
на сохраненную копию страницы.-->

Указать директиву только для роботов Яндекса можно с помощью метатега robots. Пример:

<meta name="yandex" content="noindex" />

Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания.

<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />

Такие директивы робот Яндекса воспримет как noindex, nofollow.

Что такое мета-тег Robots и зачем он нужен?

Содержание:

Мета-тег robots поможет найти общий язык с поисковыми роботами

Даже не зная, зачем нужен мета-тег robots, только исходя из его названия, уже можно сделать выводы о том, что он имеет какое-то отношение к роботам поисковых систем. И это действительно так.

Внедрение мета-тега robots в код веб-страницы дает возможность указать поисковым ботам свои пожелания по поводу индексирования ее содержимого и ссылок, расположенных на ней.

Это может пригодится в многих ситуациях. Например, при наличии на сайте дублирования контента или для предотвращения передачи веса страничек по ссылкам, расположенным на них.

Как воспользоваться возможностями мета-тега robots

Страница, к которой нужно применить желаемые условия индексирования, должна содержать внутри тега <head> своего html-кода правильно оформленный мета-тег robots.

Структура его довольно проста:

Чтобы он был правильно воспринят ботами поисковиков, в данной конструкции содержимое атрибута content (‘’ххххххххх’’) должно состоять из одной или нескольких (через запятую) стандартных директив:

index/noindex – указывает на необходимость индексации/игнорирования содержимого страницы.
follow/nofollow – анализировать/игнорировать ссылки в пределах веб-страницы.
all/none – индексировать/игнорировать страницу полностью.
noimageindex – запрет индексации присутствующих на странице изображений.
noarchive – запрет на вывод в результатах поиска ссылки «Сохраненная копия», которая дает возможность просматривать сохраненную в кэше поисковика копию страницы (даже если она временно недоступна или удалена с сайта).
nosnippet – запрет на вывод в поисковой выдаче под названием страницы фрагмента текста (сниппета), описывающего ее содержание.
noodp – директива, которая сообщает Google-боту о запрете использования в качестве сниппета страницы, описания из каталога Open Directory Project (он же DMOZ).

Особенности использования мета-тега robots

Некоторые поддерживаемый этим мета-тегом комбинации директив взаимозаменяемы (тождественны). Например, если нужно запретить индексирование содержимого странички и всех ссылок на ней, можно использовать в мета-теге robots ‘’noindex, nofollow’’ или же директиву ‘’none’’.

В обратном случае, когда нужно индексировать всё (в параметре content мета-тега robots – ‘’index, follow’’ или ‘’all’’), появляется еще и третий вариант – вообще не внедрять этот тег в код страницы.

Бывают и частные случаи, в которых указания по поводу индексирования нужно сообщить только роботу какой-нибудь одной поисковой системы. Для этого нужно вместо ‘’robots’’ указать имя бота, которого касаются содержащиеся в мета-теге директивы. Например, если Google должен внести в свой индекс содержимое странички, но при этом не анализировать ссылки на ней:

Важно, чтобы в содержимом атрибута content не было повторений или присутствия противоречащих друг другу директив,

поскольку в этом случае мета-тег может быть проигнорирован поисковым ботом.

Еще один момент, на почве которого довольно часто спорят веб-мастера – регистр, в котором прописывается содержимое мета-тега. Одни считают, что правильно использовать только прописные, другие – только строчные. Но на самом деле приемлемы оба варианта, поскольку мета-тег нечувствителен к регистру.

Зачем нужен мета-тег robots, если есть файл robots.txt?

Да, действительно на первый взгляд может показаться, что применение этого мета-тега предоставляет те же возможности, что и настройка файла robots.txt. Но несколько отличий все же есть. И они вполне могут быть причинами, чтобы отдать предпочтение использованию мета-тега:

Мета-тег robots используется для более тонкой настройки индексации – можно закрыть контент, но оставить открытыми ссылки (в параметре content мета-тега robots – ‘’noindex, follow’’) и наоборот. В robots.txt такой возможности нет.
В ситуациях, когда нет возможности получить доступ к корневой директории веб-сайта, редактировать robots.txt не представляется возможным. Вот тогда-то и приходит на помощь одноименный мета-тег.
В robots.txt можно закрыть от индексации целый каталог, чтобы запретить доступ ботов ко всем, содержащимся в нем страницам, тогда как мета-тег придется использовать для каждой из них. Получается, что в таком случае удобнее произвести настройки в файле. Но если некоторые страницы внутри каталога все же нужно оставить открытыми, удобнее использовать мета-тег.

Для управления индексацией страниц веб-сайта допустимо одновременно использовать мета-тег robots и файл robots.txt. Они могут отвечать за указания поисковым ботам по поводу разных веб-страниц или же дублировать команды друг друга.

А вот если в них будут присутствовать противоречащие директивы по поводу одних и тех же страниц, роботы поисковиков будут принимать не всегда верное решение – по умолчанию выбирается более строгое указание. Получается, что страницы (или ссылки на них), по поводу которых между robots.txt и мета-тегом robots имеются разногласия, индексироваться не будут.

Возможность управления индексацией веб-сайта – очень полезный инструмент для SEO-продвижения. Главное, научиться правильно определять, в какой ситуации эффективнее использовать тот или иной из теперь известных Вам способов.

HTML МЕТА-тег ROBOTS

МЕТА тег robots служит для того, чтобы разрешать или запрещать роботам, приходящим на сайт, индексировать данную страницу. Кроме того, этот тег предназначен для того, чтобы предлагать роботам пройтись по всем страницам сайта и проиндексировать их. Кроме того, этим тегом могут воспользоваться те, кто не имеет доступа к корневому каталогу сервера и изменить файл robots.txt, но хочет запретить к индексированию свои файлы и директории.

Формат мета-тега Robots

МЕТА тег robots помещается в тег html-документа (внутри тега <HEAD>). Формат достаточно прост (регистр букв значения не играет)
<META NAME=»ROBOTS» CONTENT=»value»>

Данному мета-тегу можно присвоить варианта четыре значений. Атрибут CONTENT может содержать следующие значения:
Index (индексировать), noindex (не индексировать), follow (следовать по ссылкам), nofollow (не следовать по ссылкам)

Например, не индексировать данный документ:

<META NAME="ROBOTS" CONTENT="NOINDEX>

Робот поисковой машины не должен идти по ссылкам с данной страницы.

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

Для одновременного запрета индексирования страницы и обхода ссылок с нее используйте

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

Если значений несколько, то они разделяются запятыми.
Чтобы запретить индексирование страницы на вашем сайте только роботам Google и разрешить ее индексирование другим роботам, используйте следующий тег:

<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">

Чтобы разрешить роботам индексировать страницу, но запретить индексирование картинок на странице, используйте следующий тег:

<META NAME="ROBOTS" CONTENT="NOIMAGEINDEX">

Google автоматически создает и архивирует «снимок» каждой сканируемой страницы. Версия, сохраненная в кэше, позволяет показывать вашу страницу конечным пользователям, даже если исходная страница недоступна (из-за временной технической проблемы на веб-сервере). Сохраненная в кэше страница представляется пользователям в том виде, в котором ее в последний раз просканировал робот Google, при этом вверху страницы мы показываем сообщение о том, что это версия из кэша. Пользователи могут получить доступ к кэшированной версии, нажав на ссылку «Сохранено в кэше», расположенную на странице результатов поиска.

Чтобы запретить всем поисковым системам выводить эту ссылку на ваш сайт, добавьте в раздел <HEAD> следующий тег:

<META NAME="ROBOTS" CONTENT="NOARCHIVE">

Чтобы запретить выводить ссылку «Сохранено в кэше» только системе Google, а остальным разрешить, используйте следующий тег:

<META NAME="GOOGLEBOT" CONTENT="NOARCHIVE">

Примечание. Этот тег удаляет только ссылку «Сохранено в кэше» на соответствующую страницу. Google продолжит индексировать страницу и выводить ее фрагмент.

Предотвращение сканирования или удаление фрагментов

Фрагмент — это текст, который показывается под названием страницы в списке результатов поиска и описывает содержание страницы.

Чтобы запретить Google выводить фрагменты с вашей страницы, добавьте в раздел <HEAD> следующий тег:

<META NAME="GOOGLEBOT" CONTENT="NOSNIPPET">

Примечание. При удалении фрагментов удаляются также и сохраненные в кэше страницы.

Как сделать так, чтобы поисковые системы не использовали данные DMOZ в результатах поиска для вашего сайта

Одним из источников, которые используются при создании фрагментов описаний, является Open Directory Project. Чтобы никакие поисковые системы (поддерживающие метатеги) не использовали эту информацию для описания страницы, добавьте следующий тег:

<META NAME="ROBOTS" CONTENT="NOODP">

Чтобы только для Google запретить использовать эту информацию в описании страницы, добавьте тег:

<META NAME="GOOGLEBOT" CONTENT="NOODP">

Если метатег «robots» используется для других команд, их можно объединить. Пример:

<META NAME="GOOGLEBOT" CONTENT="NOODP, NOFOLLOW">

Пример использования описания:

<META NAME="Description" CONTENT="Информация для WEB-разработчиков,
	программистов и студентов ВУЗ-ов, изучающх WEB-технологии.">

Поисковые запреты

Как сказать поисковой машине, что определенный участок кода не нужно индесировать или что по определенной ссылке не нужно следовать?

Каждый поисковик тут изобретает свой велосипед: Yandex рекомендует заключать подобный текст в теги <noindex>, Google дописывать у ссылок атрибут rel=»nofollow», Yahoo добавлять класс.

Тег NOINDEX

Запретить индексирование можно не только для файлов, но также и для их частей. Для того, чтобы запретить индексирование определенных частей файлов (текстовых), необходимо пометить их специальными тегами .
При этом, тег NOINDEX не должен нарушать вложенность других тегов. Понимает только ПС Яндекс.

rel=»nofollow»

Чтобы указать поисковой системе не идти по ссылке, в теге A можно задать атрибут rel=»nofollow»:

<a rel="nofollow" href="htmlweb.ru>WEB-технологии</a>

Данный атрибут не влияет на индексацию ссылки. В большинстве поисковиков (кроме Google) переход по ней все-таки осуществляется. Единственная задача данного атрибута — сообщить поисковой системе, что рейтинг со страницы, на которой ссылка размещена, не должен передаваться странице, на которую данная ссылка ведет.

Если вам необходимо уменьшить количество внешних ссылок на странице, заключите их в теги <NOINDEX>здесь ссылки</NOINDEX> или <!—NOINDEX—>здесь ссылки<!—/NOINDEX—>

Использованны материалы с сайтов поисковых систем: Google

class=»robots-nocontent»

Применение «class=robots-nocontent» атрибут:
Ниже приводятся несколько примеров того, как применять этот атрибут для различных целей и различных вариантов синтаксиса:

<div>
    Это навигационного меню сайта и является общим на всех страницах.
    Она содержит много терминов и слов, не связанных с сайтом
</div>

<span>
Это сайт заголовок, который присутствует на всех страницах сайта
    и не связан с какой-либо конкретной страницей
</span>

<p>
    Это Юридическая информация требуется на каждую страницу сайта
</p>

Как часто индексировать документ поисковому роботу?

Вебмастер может «сказать» поисковому роботу или файлу bookmark пользователя, что содержимое того или иного файла будет изменяться. В этом случае робот не будет сохранять URL, а браузер пользователя внесет или не внесет это файл в bookmark. Пока эта информация описывается только в файле /robots.txt, Пользователь не будет знать о том, что эта страница будет изменяться.

Мета-таг DOCUMENT-STATE может быть полезен для этого. По умолчанию, этот мета-таг принимается с CONTENT=STATIC.

<META NAME="DOCUMENT-STATE" CONTENT="STATIC">
<META NAME="DOCUMENT-STATE" CONTENT="DYNAMIC">

Зеркала

Как исключить индексирование поисковой системой генерируемых страниц или дублирование документов, если есть зеркала сервера?

Генерируемые страницы — страницы, порождаемые действием CGI-скриптов. Их наверняка не следует индексировать, поскольку если попробовать провалиться в них из поисковой системы, будет выдана ошибка. Что касается зеркал, то негоже, когда выдаются две разные ссылки на разные сервера, но с одним и тем же содержимым. Чтобы этого избежать, следует использовать мета-таг URL с указанием абсолютного URL этого документа (в случае зеркал — на соответствующую страницу главного сервера).

<META NAME="URL" CONTENT="absolute_url">

Ещё почитать по теме:

Мета-теги — Help Mail.ru. Информация для веб-мастеров

Робот Mail.ru учитывает содержание следующих тегов, размещенных в коде страницы сайта:

<meta name=»Keywords» content=»…»/> — может учитываться при определении соответствия страницы поисковым запросам;
<meta name=»Description» content=»…»/> — содержание данного тега используется в сниппетах;
<meta http-equiv=»Content-Type» content=»type; charset=…»/> — значения этого тега определяют тип документа и его кодировку;
<meta http-equiv=»refresh» content=»N;url=_адрес цели перенаправления_»/> — перенаправление пользователя на страницу с адресом url, после N секунд нахождения на данной странице. При небольших значениях N считается временным перенаправлением, аналогичным серверным редиректам с HTTP-кодом 302/303/307.

Также робот Mail.ru учитывает в тегах такие указания, как:

<meta name=»robots» content=»all»/> — индексация текста и ссылок на странице аналогично <meta name=»robots» content=»index, follow»/>;
<meta name=»robots» content=»noindex»/> — запрет на индексирование текста страницы;
<meta name=»robots» content=»nofollow»/> — запрет на индексирование ссылок на странице. Однако, такие страницы все равно могут быть проиндексированы, если где-то еще на них указаны ссылки без nofllow.
<meta name=»robots» content=»none»/> — запрет на индексирование текста и ссылок на странице аналогично <meta name=»robots» content=»noindex, nofollow»/>
<meta name=»robots» content=»noarchive»/> — запрет на показ ссылки на сохраненную копию на странице результатов поиска.

Если в коде страницы не указаны мета-теги, то робот считает, что по умолчанию они имеют «положительные» значения. В случаях конфликтов между тегами робот делает выбор в пользу значения по умолчанию.

Пример:

<meta name="robots" content="all"/> <meta name="robots" content="noindex, follow"/>

Поскольку тут противоречащие теги, то робот отдаст предопчтение значению all, т.е. текст и ссылки будут проиндексированы.

Тег со значением all не распространяется на noarchive.

Пример:

<meta name=»robots» content=»all»/> <meta name=»robots» content=»noarchive»/>

Текст и ссылки будут проиндексированы, но ссылки на сохраненную копию в результатах поиска не будет.

— HTML | MDN

HTML элемент <meta> представляет такие метаданные, которые не могут быть представлены другими HTML-метатегами, такими как <base>, <link>, <script>, <style> или <title>.

Категории контента	Мета данные. Если задан `itemprop` атрибут: flow content, phrasing content.
Разрешённое содержимое	Отсутствует — это пустой элемент.
Пропуск тега	Так как это пустой элемент, то открывающий тег должен присутствовать, а закрывающий — отсутствовать.
Разрешённые родительские элементы	`<meta charset>`, `<meta http-equiv>`: `<head>` элемент. Если `http-equiv` это не заявленная декларация, то может быть внутри элемента `<noscript>` или `<head>`.
Разрешённые роли ARIA	Отсутствуют
DOM интерфейс	`HTMLMetaElement` (en-US)

Этот элемент включает в себя глобальные атрибуты.

Примечание: атрибут name имеет особое значение для элемента <meta> и атрибут itemprop не должен быть задан в <meta> элементе в котором уже определены какие-либо name, http-equiv или charset атрибуты.

charset

Этот атрибут задаёт кодировку символов, используемую на странице. Он должен содержать стандартное имя IANA MIME для кодировки символов. Хотя стандарт не требует определённой кодировки, он рекомендует:

Авторам рекомендуется использовать UTF-8 (en-US).
Не следует использовать ASCII-несовместимые кодировки, чтобы избежать угроз безопасности: браузеры, не поддерживающие их, могут интерпретировать вредоносный контент как HTML. Это относится к семейству кодировок JIS_C6226-1983, JIS_X0212-1990, HZ-GB-2312, JOHAB и EBCDIC.

Примечание: ASCII-несовместимые кодировки — это те, которые не преобразуют 8-битные коды точек 0x20,0x7E, 0x0020, 0x007E в коды Unicode точек.

Авторы не должны использовать CESU-8, UTF-7, BOCU-1 и/или SCSU, так как есть примеры атак межсайтового скриптинга использующих данные кодировки.
Авторам не следует использовать кодировку UTF-32, потому что не все алгоритмы кодирования HTML5 могут отличить её от UTF-16.

Примечание:

Указанный набор символов должен соответствовать одной странице.
Нет веских оснований для объявления неточного набора символов.
<meta> элемент должен находиться внутри элемента <head> и задаваться в 1024 первых байтах HTML страницы, поскольку некоторые браузеры смотрят только эти байты перед выбором кодировки.
Этот <meta> элемент — часть алгоритма, определяющего набор символов (algorithm to determine the character set) страницы, который браузер поддерживает. Заголовок Content-Type и любые Byte-Order Marks элементы переопределяют данный элемент.
Настоятельно рекомендуется определить кодировку символов. Если для страницы не определён набор символов, то некоторые cross-scripting технологии могут повредить страницу, например такие как UTF-7 fallback cross-scripting technique. Постоянная установка этого элемента будет защищать вас от этого риска.
Этот <meta> элемент это синоним для pre-HTML5 <meta http-equiv="Content-Type" content="text/html; charset=IANAcharset"> где IANAcharset соответствует значению эквивалентного charset атрибута.
Этот синтаксис по-прежнему разрешён, хотя и устарел и больше не рекомендуется.

content

Этот атрибут содержит значение для http-equiv или name атрибута, в зависимости от контекста.

http-equiv

Этот атрибут определяет прагму, которая может изменять поведение серверов и пользователей. Значение прагмы определяется с помощью content и может быть следующим:

"content-language" Этот API вышел из употребления и его работа больше не гарантируется.

Эта прагма определяет значение языка страницы по умолчанию. Не используйте эту прагму, так как она устарела Используйте глобальный атрибут <html> элемента вместо этого.

"Content-Security-Policy"

Это значение позволит администратору веб-сайта определить политику содержания для обслуживаемых ресурсов. За некоторыми исключениями, политика в основном включают в себя указание происхождения сервера и конечные точки сценария. Это помогает предотвратить атаки межсайтового скриптинга.

"content-type" Этот API вышел из употребления и его работа больше не гарантируется.

Этот атрибут определяет MIME type документа. За ним следует синтаксис такой же как и в поле заголовка объекта содержимого HTTPI, однако как и внутри HTML элемента, большинство этих значений не доступно.
Поэтому допустимым синтаксисом для его содержимого является литеральная строка ‘text/html‘, за которой следует набор символов со следующим синтаксисом: ‘; charset=IANAcharset‘ где IANAcharset это предпочтительное MIME имя для набора символов, который определяется как IANA. Замечания:

Не используйте эту прагму, так как она устарела. Используйте атрибутcharset в элементе <meta> вместо этого.
<meta> не может быть использована для выбора типа документа в XHTML документе, или в HTML5 документе, за которым следует XHTML синтаксис, никогда не задавайте MIME тип как XHTML MIME. Это будет некорректно.
Только HTML документ может использовать контент-тип, так что большинство из них являются неиспользуемыми, поэтому они являются устаревшими и заменяются charset атрибутом.

"default-style"

Специализация этой прагмы — предпочтительный стиль таблиц, используемый на странице. content атрибут должен содержать заголовок <link> элемента который href связывает атрибут с CSS таблцей стилей, или заголовок <style> элемента, который содержит CSS таблицу стилей.

"refresh"

Эта прагма определяет:

Количество секунд перезагрузки таблицы, если content атрибут содержит только положительный целочисленный номер;
Время, в количестве секунд, за которое страница должна быть перенаправлена на другую, если content атрибут содержит положительный целочисленный номер, заканчивающийся строкой ‘;url=‘ и корректный URL.

"set-cookie" Этот API вышел из употребления и его работа больше не гарантируется.

Эта прагма определяет cookie для страницы. Её содержимое должно заканчиваться синтаксисом, определяемым IETF HTTP Cookie Specification.

Замечание: Не используете эту прагму, так как она устарела. Используйте HTTP header set-cookie вместо этого.

name

Этот атрибут определяет имя уровня документа метаданных.
Его не следует устанавливать, если один из атрибутов itemprop, http-equiv или charset также указан в наборе.
Имя этого документального уровня метаданных связано со значением, которое содержится в content атрибуте.Допустимые значения для имени элемента, со связанными с ними значениями, хранятся посредством content атрибута:

application-name, определяет имя веб-приложения, запущенного на веб-странице; Замечание:
- Браузеры могут использовать его для идентификации приложения. Он отличается от <title> элемента, который обычно состоит из имени приложения, но также может содержать специальную информацию, как например имя документа или статус;
- Простые веб-страницы не определяют application-name meta.
автор определяет в свободном формате имя автора документа;
описание, содержащее краткое и точное резюме содержания страницы. В некоторых браузерах, среди которых Firefox и Opera, этот мета используется как описание страницы по умолчанию в закладке;
генератор, содержащий в свободном формате идентификатор программного обеспечения, создавшего страницу;;
Ключевые слова, представленные строками, разделёнными запятыми, связанные с содержанием страницы

referrer контролирует содержимое HTTP. Referer HTTP — заголовок, прикреплённый к любому запросу, отправленному из этого документа:

Значения содержимого атрибута <meta name=»referrer»>
`no-referrer`	Не отправлять HTTP `Referer` заголовок.
`origin`	Отправить оригинал.
`no-referrer-when-downgrade`	Отправить оригинал, как ссылку по умолчанию на безопасный пункт (https->https), но не отправлять ссылку на менее безопасную структуру (https->http). Это поведение по умолчанию.
`origin-when-crossorigin`	Отправляет полный URL (удалённый из параметров) при выполнении запроса с тем же источником, или только оригинал документа в других случаях.
`unsafe-URL`	Отправляет полный URL (удалённый из параметров), при выполнении запроса того же или перекрёстного происхождения.

Замечание: Некоторые браузеры поддерживают ключевые слова всегда, по умолчанию и никогда для реферера. Эти значения устарели.

Замечание: Динамическая вставка <meta name="referrer"> (с помощью document.write или appendChild) создаёт недетерминизм, когда дело доходит до отправки рефереров. Также стоит отметить, что когда определяется несколько конфликтующих политик, применяется No-referrer policy.

Атрибут также может иметь значение, взятое из существующего листа определений WHATWG Wiki MetaExtensions page. Хотя ни один из них официально не был принят, в число предложений входят несколько часто используемых имён:

creator, определят в свободном формате имя создателя документа. Это также может быть имя института. Если же имён больше чем одно, то несколько <meta> элементов должны быть использованы;
googlebot, синоним robots, но только следует за Googlebot, сканирует индексы для Google;
publisher, определяет в свободном формате имя того, кто опубликовал документ. Это также может быть имя института;

robots, определяет поведение, поисковых роботов на странице. Список этих значений представлен ниже:

Значения для содержимого <meta name=»robots»>
Значение	Описание	Используется
`index`	Позволяет роботу индексировать страницу	All
`noindex`	Освобождает робота от индексирования страниц	All
`follow`	Позволяет роботу переходить по ссылкам со страницы	All
`nofollow`	Запрещает роботу переходить по ссылкам со страницы	All
`none`	Эквивалентно `noindex, nofollow`	Google
`noodp`	Запрещает использование Open Directory Project описания, если таковые имеются, как описание страницы на странице результатов поиска	Google, Yahoo, Bing
`noarchive`	Запрещает поисковой системе кешировать содержимое страницы.	Google, Yahoo, Bing
`nosnippet`	Запрещает отображение любого описания страницы на странице результатов поиска	Google, Bing
`noimageindex`	Запрещает отображение этой страницы в качестве ссылающейся страницы индексированного изображения.	Google
`nocache`	Синоним `noarchive`	Bing

Замечания:

Только кооперативные роботы будут следовать правилам, определённым именем роботов.
Роботу необходимо получить доступ к странице, чтобы считать мета значение. Если вы хотите скрыть от них информацию, то используйте robots.txt файл.
Если вы хотите удалить страницу индекса, изменение мета в noindex будет работать, но только тогда, когда робот снова посетит страницу. Убедитесь, что файл robots.txt не предотвращает такие посещения. Некоторые поисковые системы имеют инструменты, позволяющие быстро удалить какую-либо страницу.
Некоторые возможные значения взаимно исключают друг друга, такие как использование индекса и noindex или follow и nofollow одновременно. В этих случаях поведение робота не определено и может варьироваться от одного к другому. Поэтому избегайте этих случаев.
Некоторые поисковые роботы-роботы, такие как Google, Yahoo Search или Bing, поддерживают те же значения в директиве HTTP, X-Robot-Tags: это позволяет им использовать эту прагму для документов, отличных от HTML, например изображений.

slurp,синоним robots, но следует только за Slurp, индексирующим роботом от Yahoo Search;

Наконец несколько общих терминов:

viewport, который даёт подсказки о размере изначального размера viewport. Эта прагма используется только на некоторых мобильных устройствах.

Значения для содержания `<meta name="viewport">`
Значение	Допустимые значения	Описание
`width`	положительный целочисленный номер или литерал `device-width`	Определяет ширину области просмотра в пикселях
`height`	положительный целочисленный номер или литерал `device-height`	Определяет высоту области просмотра в пикселях
`initial-scale`	положительное число между `0.0` и `10.0`	Определяет соотношение между шириной устройства и размером области просмотра
`maximum-scale`	положительное число между `0.0` и `10.0`	Определяет максимальное значение зума; должен быть больше или равен минимальному масштабу или быть неопределённым.
`minimum-scale`	положительное число между `0.0` и `10.0`	Определяет минимальное значение зума; должен быть меньше или равен максимальному масштабу или быть неопределённым.
`user-scalable`	булевское значение (да или нет)	Если весь набор содержит значения нет, то пользователю не доступен зум на веб-странице. По умолчанию задано значение да.

Замечания:

Хотя и не стандартизирован, этот атрибут используется разными мобильными браузерами, например Safari Mobile, Firefox for Mobile or Opera Mobile.
Значения по умолчанию могут быть изменены у разных браузеров или устройств..
Для изучения этой прагмы на Firefox for Mobile, посмотрите статью this article.

scheme Этот API вышел из употребления и его работа больше не гарантируется.

Этот атрибут определяет схему, которая описывает метаданные.
Схема — это контекст, ведущий к правильной интерпретации content значения, например формата.

Замечание: Не используйте этот атрибут, так как он устарел. Для него нет никакой замены, поскольку реально он не использовался. Опустите его.

В зависимости от установленных атрибутов, тип метаданных может быть одним из следующих:

Если в наборе name, то это document-level metadata, применяемая ко всей странице.
Если в набореhttp-equiv , то это pragma directive,
то есть информация, веб-сервер предоставляет информацию о том, как должна обслуживаться веб-страница.
Если в наборе charset, то это charset declaration,
то есть кодировка, используемая для сериализованной формы веб-страницы.
Если в наборе itemprop, то это user-defined metadata,
прозрачна для агента пользователя, поскольку семантика метаданных зависит от пользователя.


<meta charset="utf-8">


<meta http-equiv="refresh" content="3;url=https://www.mozilla.org">

BCD tables only load in the browser

Noindex и nofollow в метатеге Robots и другие способы запрета индексации

Содержание статьи

Когда нужно запретить индексацию целой категории или ряда страниц, это легче сделать с помощью правильного robots.txt. Но как быть, если требуется закрыть от индексации одну страницу либо вообще часть текста на странице? Поговорим сейчас об элементах, которые призваны решать именно эту проблему.

Что такое мета тег Robots

Сначала уясним, что есть мета тег Robots, а есть файл Robots.txt, и путать их не будем. Метатег имеет отношение только к одной html странице (на которой он указан), в то время, как файл txt может содержать директивы не только к странице, но к целым каталогам.

Важный момент — для поисковика директивы метатега Роботс имеют преимущество перед директивами из robots.txt. То есть если в .txt у вас указано, что страницу можно индексировать, а в её метатеге указано, что нельзя, поисковик будет слушаться именно директиве из метатега.

При помощи мета тега Robots можно запрещать индексировать содержимое всей страницы. На страницах моего блога он выглядит так:

<meta name="robots" content="noodp"/>

Это означает, что метатег роботс не запрещает индексировать страницу. Noodp тут означает, что он запрещает Google брать в сниппеты описание для страниц из каталога DMOZ — это одна из стандартных настроек плагина Yoast SEO, которым я пользуюсь.

А вот как выглядит метатег Robots, который запрещает индексацию страницы:

<meta name =“robots” content=”noindex,nofollow”/>

Как прописать

Дедовский способ — вручную прописать для страницы. Способ подходит для сайтов на чистом HTML.

Для сайтов на CMS рекомендую использовать SEO-плагины. Я, например, для WordPress использую плагин Yoast SEO, и там под каждой записью в режиме редактирования есть такая опция:

То есть проставить нужное значение можно парой щелчков.

Как использовать noindex и nofollow в meta robots

Посмотрим на возможные значения атрибута content:

noindex, nofollow – запрещена к индексации вся страница и переходы по ссылкам на ней; кстати, идентичной будет значение при записи: <meta name =”robots” content=”none”/>
noindex, follow – страница не индексируется, но поисковик может переходить по ссылкам;
index, nofollow – страница индексируется, но переход по ссылкам запрещен;
index, follow – разрешены к индексированию как страница, так и ссылки на ней;
noarchive – работает как в yandex, так и в google – не показывает страницу на сохраненную копию;
noyaca – работает только в Яндексе, если сайт зарегистрирован в каталоге YACA – запрещает использовать описание в результатах поиска, которое берется из Яндекс.Каталога; выглядит так: <meta name =”robots” content=”noyaca”/>
noodp – работает и в Яндексе, и в Google – запрещает использовать в результатах описания, которые взяты из Каталога ДМОЗ (разумеется, если сайт там зарегистрирован).

Поговорим чуть больше о noodp

Иногда Гугл может добавлять в сниппет описание из DMOZ. Именно для этого и используется атрибут noodp. Кстати, его можно использовать вместе с тегом nofollow. Выглядит это так:

<meta name=“robots” content=”noodp, nofollow”/>

Чего нужно опасаться при использовании

Из-за невнимательности (особенно у новичков) могут случаться конфликты между тегами: в таком случае главным будет положительное значение (разрешающее индексацию). Например тут:

<meta name =”robots” content=”all”/>
<meta name =”robots” content=”noindex, nofollow”/>

Тут выбрано будет первое значение, так как там оно положительно.

Что такое тег Noindex

Noindex — это тег, в который вы заключаете часть кода, и этот код по идее не должен индексироваться Яндексом. Тег ноиндекс был предложен именно Яндексом, и по сей день учитывается только системами Yandex и Rambler. Вот как он выглядит:

<noindex>скрываемый текст</noindex>

Noindex – парный тег, и его необходимо закрывать.

Noindex не чувствителен к вложенности.

Целесообразность использования тега

Лично я смысла в его использовании не вижу. Потому что Google этот тег игнорирует. Да и зачем скрывать что-то? Надо делать сайты для людей!

Раньше сеошники скрывали в него часть текста, чтобы не было переспама. Но лично я предпочитаю в целях борьбы с переспамом просто снижать количество ключей в наиболее важных зонах документа.

Если же вы все-таки решили пользоваться этим тегом, то гляньте видео от ТопЭксперт:

Как пользоваться тегом Noindex

Нужно просто обернуть им тег:

<noindex>текст, который нам не нужен</noindex>

Валидный Noindex

Чтобы сделать его валидным, нужно закомментировать тег. Выглядит это так:

<!- -noindex- ->вот так все норм<!- -/noindex- ->

Для чего нужны теги, запрещающие индексацию

Как я писал выше, тег Noindex вообще ни для чего не нужен. Он себя давно изжил. А вот метатег роботс — довольно нужная вещь. Вот примеры ситуаций, когда он бывает полезен:

На сайте есть какая-то страница, которую бы вы не хотели видеть в индексе. Например, страница с информацией для рекламодателей. А прописывать в роботсе по каким-то причинам не хотите (например, хотите скрыть её от оптимизаторов, которые лазят по чужим роботсам). Тогда вы просто парой щелчков через плагин ставите ноиндекс для этой страницы;
Поскольку мета тег роботс имеет приоритет перед robots.txt, можно запретить индексирование какой-либо страницы, которая находится в директории, разрешенной для индексации.

Для чего нужен атрибут rel nofollow

Если метатег robots должен закрывать от индексации страницу, а тег noindex — её часть, то атрибут rel nofollow должен запрещать поисковику переходить по ссылке. Он является атрибутом тега А и выглядит так:

<a href =”http://website.ru” rel=”nofollow”>скрытая ссылка</a>

Зеленые вебмастера, которые впервые узнали о рел нофоллоу, сразу думают: «Отлично! Теперь я всем ссылкам его пропишу и вес не будет утекать никуда».

На самом деле поисковик вполне себе переходит по ссылкам с этим атрибутом и они вполне себе забирают ссылочный вес у ваших страниц. То есть смысла в этом атрибуте, как и в noindex, нет. Ссылки закрывать эффективно только через Ajax, да и это я думаю не навсегда. Но, если же вы все-таки решили сконцентрировать внимание на этой точке, которая в лучшем случае даст вам микроскопический рост, то вот еще один видос от ТопЭксперт:

Мета-тег Robots | SEO-портал

Мета-тег Robots должен содержать инструкции для поисковых роботов по отношению к веб-странице, на которой он указан.

Видео по теме

Для чего нужен мета-тег Robots?

Указание данного мета-тега, в зависимости от используемых в нем значений, может обеспечить запрет или разрешение поисковым роботам на индексирование веб-страницы, на переход по ссылкам, размещенным на данной странице, для последующей индексации, или на комбинацию данных инструкций.

С помощью файла robots.txt можно запретить сканирование определённых страниц и каталогов сайта, однако это не гарантирует того, что данные страницы не будут проиндексированы, т. к. роботы могут попасть на неё по внешним ссылкам. С помощью мета-тега Robots можно точно указать роботу, что данную страницу не следует индексировать.

Корректные инструкции мета-тега Robots гарантированно исполняются роботами поисковых систем по отношению к веб-странице.

Как прописать мета-тег Robots?

Как и другие мета-теги в HTML, Meta Robots указывается в блоке head веб-страницы и должен содержать два обязательных атрибута name и content:

<head>
<meta name="robots" content="all" />
<head>

Атрибут Name мета-тега Robots

Важно знать, что атрибут name не обязательно должен содержать значение robots: в нём можно указывать название конкретного робота, для которого указана инструкция в атрибуте. Если указывается значение robots, то инструкция в атрибуте content предназначается для всех поисковых роботов. Таким образом, можно комбинировать инструкции для определённых роботов с помощью нескольких мета-тегов на одной веб-странице:

<head>

<!-- Запрет индексирования страницы для всех роботов: -->
<meta name="robots" content="noindex" />

<!-- Разрешение индексирования страницы роботу Яндекса: -->
<meta name="yandex" content="index" />

</head>

Отметим, что в 99.9% случаев мета-тег Robots содержит общие для всех роботов инструкции и прибегать к использованию нескольких мета-тегов нет необходимости.

Директивы мета-тега Robots

В качестве значения атрибута content указывается одна или несколько директив (инструкций), перечисленных через запятую. Существуют общие директивы, понятные всем поисковым роботам, а также директивы, понятные только роботам определённых поисковых систем.

Общие директивы

В таблице представлены директивы мета-тега Robots, понятные роботам Яндекса и Google.

Универсальные директивы мета-тега Robots
Директива	Значение
all	Используется по умолчанию. Означает, что в отношении веб-страницы не предусмотрены исключающие правила для роботов.
noindex	Запрещает индексирование (отображение в поисковой выдаче) веб-страницы.
nofollow	Запрещает переход по ссылкам на веб-странице.
none	Запрещает индексирование и переход по ссылкам на веб-странице.
noarchive	Запрещает выводить ссылку на сохраненную копию веб-страницы в сниппете поисковой выдачи.

Директивы для Google

В таблице ниже представлены директивы, понятные только роботам Google.

Директивы мета-тега Robots для Google
Директива	Значение
nosnippet	Запрещает отображать фрагмент содержания страницы в поисковой выдаче, размещенный под заголовком сниппета.
notranslate	Запрещает отображать предложение перевести страницу в сниппете.
noimageindex	Запрещает индексировать изображения на странице.
unavailable_after:[date]	Запрещает отображать страницу в поисковой выдаче после указанного в формате RFC 850 времени.
nositelinkssearchbox	Запрещает отображение поля поиска по сайту в поисковой выдаче.

Директивы для Яндекса

Кроме общих для всех роботов директив, робот Яндекса способен учитывать отдельную директиву noyaca, запрещающую использовать описание из Яндекс.Каталога при формировании сниппета поисковой выдачи:

<meta name="yandex" content="noyaca" />

Комбинирование директив

В качестве значения атрибута content в мета-теге Robots можно применять комбинации директив, перечисляя их через запятую. Рассмотрим на примерах.

Значение «index, follow» или «all»

Для разрешения индексирования и перехода по ссылкам можно не указывать мета-тег Robots совсем, или использовать следующие значения:

<!--отсутствие мета-тега-->
<!--или-->
<meta name="robots" content="index, follow" />
<!--или-->
<meta name="robots" content="all" />

Значение «noindex, nofollow» или «none»

Для запрета индексирования страницы и перехода по ссылкам на ней можно применять следующие значения:

<meta name="robots" content="noindex, nofollow" />
<!--или-->
<meta name="robots" content="none" />

Значение «noindex, follow»

Если страницу не следует отображать в поисковой выдаче, но можно её сканировать на предмет ссылок, то применяется комбинация директив noindex, follow:

<meta name="robots" content="noindex, follow" />

Значение «index, nofollow»

Если страницу следует отображать в поисковой выдаче, но не следует переходить по ссылкам на ней, то применяется комбинация index, nofollow:

<meta name="robots" content="index, nofollow" />

с помощью noindex

Вы можете запретить отображение страницы в поиске Google, указав noindex метатег в HTML-коде страницы или путем возврата заголовка noindex в HTTP отклик. Когда робот Googlebot в следующий раз просканирует эту страницу и увидит тег или заголовок, он сбросит эта страница полностью из результатов поиска Google, независимо от того, ссылаются ли на нее другие сайты.

Важно : Чтобы директива noindex вступила в силу, страница не должен блокировать роботами.txt, иначе должно быть доступный для краулера. Если страница заблокирована robots.txt или сканер не может получить доступ к странице, он никогда не увидит noindex , и страница по-прежнему может отображаться в результатах поиска, например если на него ссылаются другие страницы.

Использование noindex полезно, если у вас нет root-доступа к вашему серверу, так как он позволяет вам контролировать доступ к вашему сайту на постраничной основе.

Реализация

noindex

Есть два способа реализовать noindex : как метатег и как HTTP-ответ. заголовок. У них такой же эффект; выберите способ, который удобнее для вашего сайта.

тег

Чтобы большинство поисковых роботов поисковых систем не проиндексировали страницу вашего сайта, поместите следующий метатег в раздел вашей страницы:

Чтобы запретить только веб-сканерам Google индексировать страницу:

Вы должны знать, что некоторые поисковые роботы могут интерпретировать noindex иначе.В результате возможно, что ваша страница по-прежнему появляются в результатах других поисковых систем.

Узнайте больше о метатеге noindex .

Вместо метатега вы также можете вернуть заголовок X-Robots-Tag со значением либо noindex , либо none в вашем ответе. Вот пример HTTP-ответ с X-Robots-Tag , инструктирующий сканеры не индексировать страницу:

HTTP / 1.1 200 ОК
  (…)
   X-Robots-Tag: noindex
   (…)

Узнайте больше о заголовке ответа noindex .

Помогите нам определить ваши метатеги

Нам необходимо просканировать вашу страницу, чтобы увидеть метатеги и заголовки HTTP. Если страница все еще появляется в результатах, вероятно, потому, что мы не сканировали страницу с тех пор, как вы добавили тег. Вы можете запросить у Google повторное сканирование страницы с помощью Инструмент проверки URL.Другая причина также может заключаться в том, что файл robots.txt блокирует URL-адрес из сети Google. сканеры, поэтому они не могут видеть тег. Чтобы разблокировать свою страницу от Google, вы должны отредактировать свой файл robots.txt. Вы можете редактировать и тестировать свой robots.txt, используя Тестер robots.txt орудие труда.

полное руководство • Yoast

Джоно Алдерсон

Джоно — цифровой стратег, технолог по маркетингу и разработчик полного цикла.Он занимается техническим SEO, новыми технологиями и стратегией бренда.

Если вы используете на своих страницах мета-теги , вы можете дать поисковым системам инструкции о том, как вы хотите, чтобы они сканировали или индексировали части вашего веб-сайта. На этой странице представлен обзор всех различных значений, которые могут быть в метатеге роботов, их функций и поисковых систем, поддерживающих каждое значение.

Различные значения метатегов роботов

Следующие значения («параметры») могут быть размещены по отдельности или вместе в атрибуте content тега (через запятую), чтобы управлять тем, как поисковые системы взаимодействуют с вашей страницей.

Прокрутите вниз, чтобы увидеть, какие поисковые системы поддерживают какие конкретные параметры.

индекс: Разрешить поисковым системам добавлять страницу в свой индекс, чтобы люди могли ее обнаружить.; Примечание: Если нет директив, относящихся к индексированию, предполагается, что это значение по умолчанию.
noindex: Запретить поисковым системам добавлять эту страницу в свой индекс и, следовательно, запретить им показывать ее в своих результатах.; Примечание: Неофициальные сообщения от Google предполагают, что если для страницы задано значение noindex в течение длительного периода времени, ее также можно рассматривать, как если бы она была также установлена на nofollow . Точный механизм этого неясен, и неясно, ведут ли другие поисковые системы аналогично.
подписаться на: Сообщает поисковым системам, что они могут переходить по ссылкам на странице, чтобы обнаружить другие страницы.; Примечание: Если нет директив, относящихся к следующим ссылкам, предполагается, что это значение по умолчанию.
nofollow: Указывает роботам поисковых систем не «поддерживать» (передавать капитал). любые ссылки на странице. Обратите внимание, что сюда входят все ссылки на странице, включая, например, ссылки в элементах навигации, ссылки на изображения или другие ресурсы и т. Д.; Примечание: Неясно (и несовместимо между поисковыми системами), запрещает ли этот атрибут поисковым системам переход по ссылкам или просто не дает им присваивать какое-либо значение этим ссылкам.
нет: Ярлык для noindex, nofollow .
все: Ярлык для индекса , следуйте за .; Примечание: Предполагается по умолчанию на всех страницах и ничего не делает, если указано.
noimageindex: Запретить поисковым системам индексировать изображения на странице.; Примечание: Если изображения связаны напрямую из других источников, поисковые системы все равно могут их индексировать, поэтому использование HTTP-заголовка X-Robots-Tag, как правило, является лучшей идеей.
нет архива: Запрещает поисковым системам показывать кэшированную копию этой страницы в своих списках результатов поиска.
нокаш: То же, что и noarchive , но используется только MSN / Live.
№: Запрещает поисковым системам показывать текст или фрагмент видео (т. Е. Метаописание ) этой страницы в результатах поиска, и запрещают им показывать кэшированную копию этой страницы в своих списках результатов поиска.; Примечание. Фрагменты могут по-прежнему отображать миниатюру изображения, если также не используется noimageindex .
номера ссылокsearchbox: Запрещает поисковой системе отображать встроенное окно поиска для вашего сайта.
nopagereadaloud: Запрещает поисковой системе читать вслух содержимое вашей страницы с помощью голосовых служб / результатов.
notranslate: Запрещает поисковым системам показывать перевод страницы в результатах поиска.
max-snippet: [номер]: Задает максимальное количество символов для метаописания.; Примечание: Пропуск этого тега может привести к предполагаемому значению 0 . Значение по умолчанию -1 должно означать «без ограничений».
max-video-preview: [номер]: Задает максимальное количество секунд для видео при предварительном просмотре.; Примечание: Пропуск этого тега может привести к предполагаемому значению 0 .Значение по умолчанию -1 должно означать «без ограничений».
max-image-preview: [настройка]: Задает максимальный размер изображения для использования в предварительном просмотре ( нет , стандартный или большой ).; Примечание: Пропуск этого тега может привести к предполагаемому значению none .
рейтинг: Указывает, что страница содержит материалы для взрослых.
unavailable_after: Сообщает поисковым системам дату / время, после которых они не должны показывать это в результатах поиска; «синхронизированная» версия noindex .; Примечание: должен быть в формате RFC850 (например, понедельник, 15 августа 05 15:52:01 UTC ).
ноябрь: Запрещает фрагменту результатов поиска использовать описание страницы из Справочника Яндекса.; Примечание: Поддерживается только Яндекс.
~~нойдир~~: Запрещает Yahoo использовать описание этой страницы в каталоге Yahoo в качестве фрагмента для вашей страницы в результатах поиска.; Примечание: Поскольку Yahoo закрыл свой каталог, этот тег устарел, но время от времени вы можете встретить его.

Какая поисковая система поддерживает какие значения метатегов роботов?

В этой таблице показано, какие поисковые системы поддерживают какие значения. Обратите внимание, что документация, предоставляемая некоторыми поисковыми системами, скудна, поэтому есть много неизвестных.

Стоимость роботов	Google	Yahoo	Bing	Спросите	Baidu	Яндекс
Элементы управления индексированием
индекс	Я *	Я *	Я *	?	Y	Y
noindex	Y	Y	Y	?	Y	Y
noimageindex	Y	N	N	?	N	N
Следует ли переходить по ссылкам
следовать	Я *	Я *	Я *	?	Y	Y
nofollow	Y	Y	Y	?	Y	Y
нет	Y	?	?	?	N	Y
все	Y	?	?	?	N	Y
Элементы управления фрагментом / предварительным просмотром
без архива	Y	Y	Y	?	Y	Y
нокаше	N	N	Y	?	N	N
носниппет	Y	N	Y	?	N	N
nositelinkssearchbox	Y	N	N	N	N	N
nopagereadaloud	Y	N	N	N	N	N
notranslate	Y	N	N	?	N	N
max-snippet: `[number]`	Y	Y	N	N	N	N
max-video-preview: `[номер]`	Y	Y	N	N	N	N
max-image-preview: `[настройка]`	Y	Y	N	N	N	N
Разное
рейтинг	Y	N	N	N	N	N
недоступен_после	Y	N	N	?	N	N
лапша	N	Y **	Y **	?	N	N
нойдир	N	Y **	N	?	N	N
Нояка	N	N	N	N	N	Y

^{* Большинство поисковых систем не имеют специальной документации для этого, но мы предполагаем, что эта поддержка для исключения параметров (например,g., nofollow ) подразумевает поддержку положительного эквивалента (например, следует за ).}
^{** Хотя атрибуты noodp и noydir все еще могут быть «поддержаны», эти каталоги больше не существуют, и вполне вероятно, что эти значения ничего не делают.}

Правила для конкретных поисковых систем

Иногда вам может потребоваться предоставить конкретные инструкции определенной поисковой системе , но не другим. Или вы можете предоставить разные поисковые системы совершенно разные инструкции.

В этих случаях вы можете изменить значение атрибута content для конкретной поисковой системы (например, googlebot ).

Примечание: Учитывая, что поисковые системы будут просто игнорировать инструкции, которые они не поддерживают или не понимают, очень редко нужно использовать несколько метатегов роботов для установки инструкций для определенных поисковых роботов.

Конфликтующие параметры и файлы robots.txt

Важно помнить, что мета-теги robots работают иначе, чем инструкции в вашем файле robots.txt, и конфликтующие правила могут вызвать неожиданное поведение. Например, поисковые системы не смогут увидеть ваши метатеги , если страница заблокирована через robots.txt .

Вам также следует позаботиться о том, чтобы не задавать конфликтующие значения в вашем метатеге robots (например, использовать параметры index и noindex ), особенно если вы устанавливаете разные правила для разных поисковых систем. В случаях конфликта обычно выбирается наиболее ограничительная интерпретация (т.е., «не показывать» обычно лучше «показывать»).

Добавить noindex или nofollow в сообщение или страницу очень просто, если вы используете WordPress. Прочтите, как использовать Yoast SEO, чтобы сообщения не появлялись в результатах поиска.

Ресурсы из поисковых систем

Далее!

Событие WordFest Live 23 июля 2021 г. Команда Yoast спонсирует WordFest Live, нажмите, чтобы узнать, будем ли мы там, кто будет и многое другое! Все мероприятия, в которых мы будем участвовать »
Вебинар по SEO Вебинар по новостям Yoast в области SEO — 31 августа 2021 года 31 августа 2021 г. Зарегистрируйтесь на наш веб-семинар по новостям SEO в августе 2021 года.Наши SEO-эксперты Джоно и Джуст расскажут вам о последних новостях Google и WordPress. Все вебинары Yoast SEO »

Когда мне следует использовать мета-роботов NOINDEX и FOLLOW вместе?

Только сканеры поисковых систем будут интерпретировать значения в метаэлементе «robots». В большинстве случаев значения «INDEX» и «FOLLOW» используются для указания поисковому роботу включить текущую страницу в свой индекс и перейти по всем ссылкам на странице.

Ваша страница может быть добавлена в индекс и все ссылки могут сканироваться, если вы добавите следующую разметку в исходный код своей страницы:

Преимущество / назначение значения NOINDEX

Если вы не хотите иметь конкретный URL-адрес в индексе Google (или в индексе любой другой поисковой системы), вам следует добавить значение NOINDEX в метаэлемент «robots »В части исходного кода страниц.

Добавив следующую разметку в исходный код страницы, вы убедитесь, что эта страница не будет включена в индекс:

Есть имеет смысл использовать значения NOINDEX и FOLLOW вместе?

Это зависит от цели, которую вы пытаетесь достичь. Что может побудить вас не допускать индексации страницы поисковыми системами, при этом желая, чтобы все ссылки на странице сканировались?

Мэтт Каттс привел нам отличный пример в одном из своих видеороликов для веб-мастеров Google:

Предположим, у вас есть карта сайта в формате HTML с несколькими сотнями внутренних ссылок, и по какой-то причине эта карта сайта некрасива и, следовательно, не очень полезно посетителю.Поэтому пользователь, вероятно, не очень обрадуется, если он попадет на эту страницу из результатов поиска. Чтобы избежать первого, но при этом убедиться, что поисковые системы могут переходить по всем ссылкам на странице, вы должны использовать значения NOINDEX и FOLLOW вместе.

Добавив эту разметку в исходный код страницы, вы предотвратите индексирование страницы, в то время как все ссылки на странице все еще можно сканировать:

Другой возможный сценарий — это страницы с тегами в блогах:

Бывают случаи, когда веб-мастера говорят, что страницы с тегами их блогов имеют более высокий рейтинг, чем соответствующие статьи.Страницы с тегами занимали на 2–3 позиции выше соответствующих статей. После того, как страницы тегов были изменены на «noindex» и «follow», рейтинг статей улучшился на эти 2–3 позиции.

Видеообъяснение Мэтта Каттса / Google по теме

Google теперь будет рассматривать мета-роботов Nofollow как подсказку

Аналитик Google Webmaster Trends Гэри Иллис написал в Твиттере, что Google официально меняет поддержку Meta Robots Nofollow. Теперь Google рассматривает мета-роботов nofollow как подсказку, аналогично поведению недавно обновленного атрибута ссылки nofollow.

Примечание: Тег попеременно называется Robots Meta и Meta Robots. В этой статье, для последовательности, следует, как Гэри Иллис назвал это Meta Robots Nofollow.

Что такое Meta Robots Nofollow?

Тег Meta Robots Nofollow был директивой. Директива — это инструкции, которые сканер (робот) Google обязан выполнять.

Meta Robots Nofollow использовался, чтобы Google не сканировал все ссылки, содержащиеся на странице.

Продолжить чтение ниже

Ниже приведен снимок экрана страницы разработчика Google Meta Robots, показывающий, что Meta Robots Nofollow считается директивой.Эта страница будет обновлена, чтобы отразить, что теперь Google рассматривает ее как подсказку.

На сегодняшний день Meta Robots Nofollow больше не является директивой. Это будет рассматриваться как подсказка. Это означает, что Google может или не может подчиняться Meta Robots Nofollow, когда сталкивается с ним.

Продолжить чтение ниже

Тег Nofollow для мета-роботов — это подсказка

Гэри Иллис написал в Твиттере, что тег Nofollow для мета-роботов теперь является просто подсказкой.

Вот объявление Гэри:

«1.Нет мета-роботов ugc и sponsored, они ничего не сделают, если вы это добавите.
2. Мета-роботы nofollow теперь являются подсказкой, как rel-nofollow.
3. Я обновлю документы сегодня вечером, чтобы прямо сказать об этом ».

Гэри Иллис из Google объявил, что теперь Google будет рассматривать Meta Nofollow для роботов как подсказку.

Это изменение действительно что-то меняет?

Есть несколько ситуаций, когда издатель захочет использовать метатег robots nofollow. Раньше издатели использовали Meta Robots Noindex вместе с Nofollow.

Но это было лишним. Google не мог перейти по ссылке, если сканирование страницы было запрещено.

И если страница является целевой страницей с оплатой за клик (PPC), издателю нужно только использовать noindex для роботов, чтобы предотвратить индексирование целевой страницы.

Был ли Meta Robots Nofollow избыточным?

В результате использования мета-роботов nofollow была создана страница, которую можно было проиндексировать, но которая фактически не содержала исходящих ссылок.

Это делает страницу nofollow тупиком с точки зрения сканирования.Гусеницу некуда деться.

Это не очень хорошая ситуация для издателя, потому что это хорошая практика, чтобы поисковый робот Google перемещался по веб-сайту, а не останавливал его на каждом шагу.

Продолжить чтение ниже

Я уверен, что кто-то нашел хорошее применение Meta Robots Nofollow. Но мне кажется, что от него было мало толку, потому что он избыточно использовался вместе с мета ноиндексом роботов.

Прочтите: Объявление Гэри Иллиса в Twitter

Дополнительные ресурсы

Руководство по тегам Meta Robots на 2021 год

Коротко о мета-тегах роботов

Мета-теги роботов — важный инструмент для улучшения сканирования и индексации поисковой системы, а также для управления вашими сниппетами в поисковой выдаче.

В этой статье мы объясним, как это сделать, как интерпретация и поддержка различаются для разных поисковых систем и как метатег robots связан с X-Robots-Tag и файлом robots.txt.

Метатег robots дает владельцам сайтов возможность контролировать сканирование и индексацию поисковыми системами, а также то, как их фрагменты отображаются на страницах результатов поисковых систем (SERP).

Метатег robots входит в раздел вашего HTML и является лишь одним из существующих там метатегов.

Вероятно, самый известный метатег роботов — это тот, который сообщает поисковым системам не индексировать страницу:

Вы можете предоставить те же инструкции, включив их в HTTP-заголовок с помощью X-Robots-Tag. X-Robots-Tag часто используется для предотвращения индексации не-HTML-контента, такого как PDF-файлы и изображения.

Директивы мета-роботов

Мы предпочитаем говорить о мета-директивах роботов вместо мета-тегов роботов , потому что называть их «мета-тегами роботов» некорректно (см. «Анатомию мета-элемента» ниже).

Осторожно с роботами lingo

Директивы Meta robots не следует путать с директивами robots.txt. Это два разных способа общения с поисковыми системами о различных аспектах их поведения при сканировании и индексировании. Но они влияют друг на друга, как мы увидим далее в статье.

Анатомия метаэлемента

Давайте воспользуемся примером мета-директивы роботов, упомянутым выше, чтобы объяснить, что к чему:

Весь фрагмент кода называется метаэлементом .
и /> - это открывающий и закрывающий теги.
Есть атрибут name со значением robots . robots применяется ко всем поисковым роботам, но может быть заменен конкретным пользовательским агентом.
Затем есть атрибут content со значением noindex, после . noindex, следующие могут быть заменены другими директивами.

Во-первых, директивы мета-роботов дают вам столь необходимый контроль над сканированием и индексированием поисковыми системами.Без какого-либо направления поисковые системы будут пытаться сканировать и индексировать весь контент, с которым они сталкиваются. Это их поведение по умолчанию.

Во-вторых, поисковые системы будут генерировать сниппет для ваших URL-адресов при их ранжировании. Они принимают ваше метаописание в качестве входных данных, хотя часто вместо этого предлагают свой собственный фрагмент - на основе содержания вашей страницы - если они думают, что он будет работать лучше.

Проверяйте свои мета-директивы роботов

Быстро узнайте, правильно ли настроены ваши мета-директивы для роботов!

Теперь давайте посмотрим на несколько применений директив мета-роботов для защиты вашей SEO-эффективности:

Предотвратите проблему дублирования контента, применив директиву мета-роботов noindex к целевым страницам PPC и страницам результатов поиска на сайте.Обратите внимание, что директивы robots не передают никакой авторитетности и релевантности, как канонический URL.
Запретить поисковым системам индексировать контент, который никогда не должен индексироваться, потому что вы предоставляете скидки или какое-либо другое предложение, которое, по вашему мнению, не должно быть доступно для всего мира.
Удалите проиндексированное конфиденциальное содержимое: если поисковые системы проиндексировали контент, они никогда не должны были индексироваться, примените директиву мета-роботов noindex , чтобы удалить контент из их индексов.Вы можете использовать ту же технику при установке ловушек для ползунков.
Выборочно примените директиву мета-роботов noindex к продуктам, выпуск которых прекращен, чтобы обеспечить пользователям удобство использования.

Промежуточные среды

Мы намеренно не включили в список, чтобы убедиться, что промежуточные среды не индексируются поисковыми системами в качестве примера использования.

Это потому, что использование HTTP Auth - гораздо лучшее решение, поскольку оно предотвращает доступ как пользователей, так и поисковых систем и предотвращает перенос директивы мета-роботов noindex на рабочий сайт.

Прежде чем мы углубимся в подробности, давайте рассмотрим некоторые основы:

`Синтаксис не чувствителен к регистру`

Мета-директивы роботов не чувствительны к регистру, что означает, что все приведенные ниже примеры действительны:

`Разделение директив запятыми для Google`

Для Google необходимо разделять директивы запятыми.Место не подрезать:

`Пробелы после запятых не требуются`

Вы не обязаны использовать пробелы после запятых между директивами. Итак, оба приведенных ниже примера действительны:

А теперь перейдем к самим директивам!

В этом разделе мы расскажем о наиболее распространенных метадирективах, с которыми вы можете столкнуться в реальных условиях, и о том, что именно они означают.Мы сосредоточимся в первую очередь на поддержке директив от Google, поскольку они являются доминирующей поисковой системой.

Вот директивы, которые мы рассмотрим:

`Мета-роботы «все»`

По умолчанию поисковые системы будут сканировать и индексировать любой контент, с которым они сталкиваются, если не указано иное. Если вы хотите явно указать, что это разрешено, вы можете сделать это с помощью следующей директивы:

`Мета-роботы «Индекс»`

Хотя это и не обязательно, поскольку это поведение по умолчанию, но если вы хотите явно указать поисковым системам, что им разрешено индексировать страницу, вы можете сделать это с помощью приведенной ниже директивы meta robots.

`Мета-роботы «index, follow»`

Часто директива index комбинируется с директивой follow , что приводит к:

Эти директивы, по сути, означают то же, что и указанная выше, в которой указывается только индекс , поскольку , следующие за , также являются поведением поисковой системы по умолчанию. .

`Мета-роботы «noindex»`

Директива мета-роботов noindex предписывает поисковым системам не индексировать страницу. Вот как выглядит директива мета-роботов noindex :

В приведенном выше примере говорится, что поисковым системам не следует индексировать страницу, но они могут свободно переходить по всем ссылкам на нее, потому что в явном виде не указано, что они не должен.

Директива noindex имеет большой вес, поэтому, когда поисковые системы находят ее, они быстро удаляют контент из своего индекса.Другая сторона медали состоит в том, что этот контент сложно повторно проиндексировать, если, например, вы случайно применили директиву noindex .

Будьте предупреждены о мошеннических директивах noindex

Будьте незамедлительно предупреждены о мошеннических директивах noindex для предотвращения сбоев SEO!

Полезные ресурсы

`Мета-роботы «noindex, follow»`

Часто встречаются мета-роботы noindex в сочетании с директивой follow .Он сообщает поисковым системам не индексировать страницу, но что можно переходить по ссылкам:

Рискуя звучать как неработающая запись, и < meta name = "robots" content = "noindex, follow" /> означает то же самое, поскольку follow является поведением сканера поисковой системы по умолчанию.

`Мета-роботы «noindex, nofollow»`

Вы также можете комбинировать директиву мета-роботов noindex с мета-директивой nofollow (не путать с атрибутом ссылки nofollow):

Комбинация noindex, nofollow указывает поисковым системам не индексировать страницу и не переходить по ссылкам на странице, что означает отсутствие авторитета ссылки должны быть переданы либо.

«noindex» со временем становится «noindex, nofollow»

Поисковые системы значительно сокращают повторное сканирование неиндексированной страницы, что по существу приводит к ситуации noindex, nofollow , потому что ссылки на странице, которая не просканирована, не переходят. Мета-роботы «нет» Директива мета-роботов none на самом деле является сокращением для noindex, nofollow , которые мы рассмотрели чуть выше. Вот как выглядит директива мета-роботов none : Он используется не очень часто, и люди часто думают, что это означает прямо противоположное: index, follow . Так что будьте осторожны с этим! Мета-роботы «noarchive» Директива мета-роботов noarchive запрещает поисковым системам отображать кешированную версию страницы в поисковой выдаче. Если вы не укажете директиву noarchive , поисковые системы могут просто использовать кэшированную версию страницы. Опять же, это директива отказа. Вот как выглядит директива noarchive : Тем не менее, это часто сочетается с другими директивами.Например, вы обычно увидите, что он используется вместе с директивами noindex и nofollow : Это означает, что поисковые системы не должны индексировать страницу, не должны переходить по ее ссылкам и не должны кэшировать страницу . Мета-роботы «Носниппет» Директива мета-роботов nosnippet предписывает поисковым системам не показывать текстовый фрагмент (обычно взятый из мета-описания) или предварительный просмотр видео для страницы. Вот как выглядит директива nosnippet : Если бы мы применили директиву meta robots nosnippet к нашей статье о перенаправлениях, фрагмент кода выглядел бы так: Поисковые системы могут по-прежнему показывать миниатюру изображения, если думают, что это улучшает взаимодействие с пользователем. Для Google это относится к обычному веб-поиску, картинкам Google и Google Discover.Директива nosnippet также работает как директива noarchive . Если директива nosnippet не включена, Google самостоятельно сгенерирует фрагмент текста и предварительный просмотр видео. Запрет использования определенного контента для сниппета В частности, в Google вы можете запретить отображение некоторого содержания своей страницы во фрагменте с помощью HTML-атрибута data-nosnippet . Хотя это не мета-директива для роботов, она тесно связана с ними, поэтому мы должны коснуться этого здесь. HTML-атрибут data-nosnippet может использоваться в элементах span , div и section . Вот пример: Это может быть показано во фрагменте, а это не будет отображаться во фрагменте . Подробнее об атрибуте data-nosnippet можно узнать здесь (открывается в новой вкладке). Мета-роботы «max-snippet» Директива meta robots max-snippet указывает поисковым системам ограничивать фрагмент страницы (обычно извлекаемый из метаописания страницы) определенным количеством символов. Вот пример, где максимальная длина фрагмента 50 символов: Мета-роботы «max-snippet: 0» Когда вы указываете max-snippet: 0 , вы указываете поисковым системам не показывать фрагмент - по сути, то же самое, что и директива meta robots nosnippet , которую мы только что описали выше: Мета-роботы «max-snippet: -1» Когда вы указываете max-snippet: -1 , вы явно указываете поисковым системам, что они могут сами определять длину фрагмента, что является их поведением по умолчанию: Влияние Европейской директивы по авторскому праву С октября 2019 года сайты, классифицированные как «публикации европейской прессы», по умолчанию отображаются в Google без фрагментов.Вы можете включить показ своих фрагментов с помощью директив max-snippet и max-image-preview , или вы можете удалить свой сайт из списка публикаций европейской прессы через Google Search Console (открывается в новая вкладка). Подробнее об этом здесь (открывается в новой вкладке). Если вы используете плагин Yoast SEO в WordPress, вы обнаружите, что он автоматически включается, когда вы включаете следующий фрагмент: Менее важные директивы мета-роботов Теперь мы подошли к менее важным мета-директивам роботов, о которых мы лишь кратко коснемся. То, что относится к другим директивам мета-роботов, относится и к ним: если они не определены, поисковые системы будут делать все, что им заблагорассудится. Вот что директивы сигнализируют поисковым системам: unavailable_after : «удалить страницу из индекса после определенной даты». Дата должна быть указана в широко распространенном формате, таком как, например, ISO 8601 (открывается в новой вкладке). Директива игнорируется, если не указаны допустимые дата / время. По умолчанию для контента нет срока годности.По сути, это временная директива noindex , поэтому будьте осторожны при ее использовании. noimageindex : «не индексировать изображения на этой странице». max-image-preview : «определить максимальный размер для предварительного просмотра изображения на странице с возможными значениями: нет , стандартный и большой ». max-video-preview : «определить максимальную длину предварительного просмотра видео на странице». notranslate : «не предлагать переведенную версию страницы в результатах поиска». Полезные ресурсы Помимо возможности комбинировать директивы, вы также можете предоставлять директивы разным сканерам. Каждый сканер будет использовать сумму предоставленных ему директив, то есть: они складываются. Чтобы проиллюстрировать, как это сделать, давайте рассмотрим пример: Эти директивы интерпретируются следующим образом: Google: noindex, nofollow Другие поисковые системы: nofollow Как вы понимаете, когда вы начинаете складывать директивы, легко ошибиться.Если возникает сценарий, в котором есть конфликтующие директивы, Google по умолчанию выберет наиболее строгий . Возьмем, к примеру, следующие директивы: Вердикт: Google проявит осторожность, а не проиндексирует страницу. Но способ интерпретации конфликтующих директив может различаться в разных поисковых системах.Возьмем другой пример: Google не будет индексировать эту страницу, но Яндекс сделает прямо противоположное и проиндексирует ее. Так что имейте это в виду и убедитесь, что ваши директивы robots работают правильно для поисковых систем, которые важны для вас. X-Robots-Tag - эквивалент заголовка HTTP Файлы в формате, отличном от HTML, такие как изображения и файлы PDF, не имеют источника HTML, в который можно включить мета-директиву роботов.Если вы хотите сообщить поисковым системам о своих предпочтениях сканирования и индексирования этих файлов, лучше всего использовать HTTP-заголовок X-Robots-Tag . Давайте кратко коснемся заголовков HTTP. Когда посетитель или поисковая система запрашивает страницу с веб-сервера, и эта страница существует, веб-сервер обычно отвечает тремя вещами: Код состояния HTTP : трехзначный ответ на запрос клиента (например, 200 OK ). HTTP-заголовки : заголовки, содержащие, например, возвращенный тип содержимого и инструкции о том, как долго клиент должен кэшировать ответ. HTTP Body : тело (например, HTML , CSS , JavaScript и т. Д.), Которое используется для рендеринга и отображения страницы в браузере. X-Robots-Tag может быть включен в заголовки HTTP. Вот скриншот заголовков HTTP-ответа страницы, взятых из Chrome Web Inspector для страницы, содержащей X-Robots-Tag: noindex : Так как же это работает на практике? Настройка X-Robots-Tag на Apache Например, если вы используете веб-сервер Apache и хотите добавить noindex, nofollow X-Robots-Tag в ответ HTTP для всех ваших файлов PDF, добавьте следующий фрагмент в свой .htaccess или httpd.conf файл: <Файлы ~ "\ .pdf $"> Заголовочный набор X-Robots-Tag "noindex, nofollow" Или, возможно, вы хотите сделать изображения файлов типов PNG , JPG , JPEG и GIF неиндексируемыми: <Файлы ~ "\. (Png | jpe? G | gif) $"> Заголовочный набор X-Robots-Tag "noindex" Конфликтуют ли ваши мета-теги роботов и X-Robots-Tags? Сделайте быструю проверку с ContentKing и узнайте, отправляете ли вы Google в штопор! Настройка X-Robots-Tag на nginx Тем временем на веб-сервере nginx вам нужно отредактировать сайта.conf файл. Чтобы удалить все файлы PDF из индексов поисковых систем на всем сайте, используйте это: расположение ~ * \ .pdf $ { add_header X-Robots-Tag "noindex, nofollow"; } И чтобы не индексировать изображения, используйте это: расположение ~ * \. (Png | jpe? G | gif) $ { add_header X-Robots-Tag "noindex"; } Обратите внимание, что изменение конфигурации вашего веб-сервера может негативно повлиять на эффективность SEO всего вашего сайта. Если вам не удобно вносить изменения в конфигурацию веб-сервера, лучше оставить эти изменения администратору сервера. В связи с этим мы настоятельно рекомендуем отслеживать ваши сайты с помощью ContentKing. Наша платформа немедленно отмечает любые изменения, чтобы вы могли отменить их, прежде чем они окажут негативное влияние на эффективность вашего SEO. Полезные ресурсы Рекомендации по поисковой оптимизации для роботов Придерживайтесь следующих рекомендаций в отношении директив по роботам: Избегайте конфликтующих директив роботов : избегайте использования как мета-роботов, так и директив X-Robots-Tag для сигнализации ваших предпочтений сканирования и индексации для ваших страниц, так как это легко испортить и отправить противоречивые инструкции.Вполне нормально использовать мета-директивы для роботов на страницах и X-Robots-Tag для изображений и PDF-файлов - просто убедитесь, что вы не используете оба метода доставки инструкций директив для роботов в один и тот же файл. Не запрещайте контент с помощью важных директив для роботов. : если вы запретите контент с использованием файла robots.txt, поисковые системы не смогут выбрать предпочтительные для этого контента директивы для роботов. Скажем, например, вы применяете директиву noindex к странице и переходите к , запрещая доступ к той же странице.Поисковые системы не смогут увидеть noindex , и они могут еще долго держать страницу в своем индексе. Не комбинируйте директиву noindex с каноническим URL. : страница, которая имеет как директиву noindex , так и каноническую для другой страницы, вводит в заблуждение поисковые системы. В редких случаях это приводит к переносу noindex на каноническую цель. Учить больше. Не применяйте директиву noindex к страницам с разбивкой на страницы. : поскольку поисковые системы (особенно Google) хорошо понимают страницы с разбивкой на страницы, они обрабатывают их по-разному и не воспринимают их как дублированный контент.И имейте в виду, что на практике директива noindex превращается в noindex, nofollow , закрывая путь на пути обнаружения контента, на который есть ссылки через страницы с разбивкой на страницы. Учить больше. Нет hreflang для страниц с noindex : hreflang сигнализирует поисковым системам, какие варианты контента доступны для различных аудиторий, посылая сигнал о том, что их необходимо проиндексировать. Поэтому избегайте ссылок на страницы с директивой noindex . Не включать страницы с noindex в XML-карту сайта : страницы, которые не должны индексироваться, также не должны включаться в вашу XML-карту сайта, поскольку XML-карта сайта используется, чтобы сигнализировать поисковым системам, какие страницы они должны сканировать и индексировать . Директивы Meta robots, X-Robots-Tag и robots.txt имеют свое уникальное применение. Подводя итог тому, что мы рассмотрели, вот для чего их можно использовать: * Контент, запрещенный в robots.txt обычно не индексируется. Но в редких случаях это все же может случиться. Поддержка в поисковых системах Это не просто интерпретация конфликтующих директив роботов, которая может различаться в зависимости от поисковой системы. Поддерживаемые директивы и способ их доставки (HTML или HTTP-заголовок) также могут различаться. Если ячейка в таблице ниже отмечена зеленой галочкой (), поддерживаются реализации заголовков как HTML, так и HTTP. Красный крестик () не поддерживается.Если поддерживается только один, поясняется. А теперь, к менее важным: Полезные ресурсы Подведение итогов и переход на Надежное техническое SEO - это отправка поисковым системам правильных сигналов. И директива мета-роботов - лишь один из таких сигналов. Итак, продолжайте учиться тому, как брать поисковые системы в свои руки, с нашим руководством по контролю сканирования и индексирования! Разница между метатегами Noindex и Nofollow Узнал об index, noindex, follow, nofollow….и интересно, о чем, черт возьми, люди говорят? Ознакомьтесь с этим руководством, чтобы узнать больше! NOINDEX Директива noindex - часто используемое значение в метатеге, которое можно добавить в исходный HTML-код веб-страницы, чтобы предложить поисковым системам (в первую очередь Google) не включать эту конкретную страницу в свой список результатов поиска. По умолчанию веб-страница настроена на «индексирование». Вам следует добавить директиву на веб-страницу в разделе HTML-кода, если вы не хотите, чтобы поисковые системы сканировали данную страницу и включали ее в SERP (страницы результатов поисковой системы). Какие примеры страниц следует установить на «noindex»? Страницы с благодарностью. Если вы включаете на свой веб-сайт формы сбора потенциальных клиентов, такие как «Связаться с нами» или «Назначить встречу», вы, вероятно, направите пользователей из своих веб-форм на уникальные страницы с благодарностью после того, как пользователь отправит форму. Наличие уникальных страниц с благодарностью для каждой формы - это лучший способ отслеживать цели и заявки потенциальных клиентов на вашем веб-сайте, но вы не хотите, чтобы посетители попадали на ваши страницы с благодарностью, потому что они включены в индекс Google! Посетитель должен появиться на ваших страницах с благодарностью только после того, как они заполнили вашу веб-форму.Установка для ваших страниц благодарности значения «noindex» поможет предотвратить включение этих страниц в поисковую выдачу. Страницы только для членов - Если у вас есть раздел вашего веб-сайта, посвященный вашим сотрудникам или членам организации, но вы не хотите, чтобы эти веб-страницы были доступны широкой публике или поисковым системам, директива noindex поможет защитить эти страницы от быть найденным в поисковой выдаче. NOFOLLOW Директива nofollow - часто используемое значение в метатеге, которое может быть добавлено в исходный HTML-код веб-страницы, чтобы предложить поисковым системам (в первую очередь Google) не передавать равенство ссылок через какие-либо ссылки на данной веб-странице. Ссылки являются важной частью поисковой оптимизации, хотя эксперты все время спорят о том, какую роль ссылки играют в общем рейтинге. Мы знаем, что ссылки с внешних авторитетных веб-сайтов помогут укрепить доверие к нашему собственному веб-сайту и повысить его рейтинг. Внутренние ссылки тоже полезны! Они помогают пользователям и роботу Googlebot перемещаться по вашему веб-сайту и объединять важные идеи. По умолчанию для ссылок установлено значение «следовать». Вы должны установить ссылку на «nofollow» следующим образом: Anchor Text , если вы хотите предложить Google, чтобы гиперссылка не передавала значение ссылочного веса / SEO целевой ссылке. Какие примеры ссылок следует установить на «nofollow»? Ссылки в комментариях блога - Если вы потратили время на написание ценного сообщения в блоге для своего веб-сайта, вы не хотите, чтобы конкурент или спамер по ссылкам мог добавить бесполезный комментарий к вашему сообщению в блоге со ссылкой на свой собственный веб-сайт, на котором написано что-то вроде «Отличный блог.Я также написал блог на эту горячую тему »и включил обратную ссылку на его / ее веб-страницу, чтобы он / она извлекли выгоду из ссылки, которую этот человек только что добавил с вашего веб-сайта на свою. Если для этой ссылки установлено значение «nofollow», спамер по ссылкам может сообщить об этом заранее и может не беспокоиться о добавлении комментария «Отличный блог» к вашему сообщению в блоге, зная, что от этого не будет никакой выгоды для SEO. Платные ссылки. Еще одна тактика SEO, завоевавшая популярность в SEO-сообществе черных шляп, - это массовая покупка ссылок через Интернет.Владельцы веб-сайтов со страницей спонсоров на своем сайте могут включить логотипы и ссылки на свои веб-сайты спонсоров мероприятия, но использовать метатег «nofollow» для каждой ссылки на странице спонсора, чтобы указать Google, что они не могут поручиться за каждую. веб-сайт организации, на который делается ссылка. Имейте в виду, что хотя ссылки «nofollow» не предназначены для повышения SEO для связанного контента, они по-прежнему ценны для взаимодействия с пользователем и трафика. ЗАКЛЮЧЕНИЕ Надеюсь, это руководство дало вам лучшее понимание noindex vs.nofollow и когда каждый из них может быть полезен. Напоминаем: «noindex» предлагает поисковым системам (в первую очередь Google) не индексировать определенную веб-страницу. «nofollow» предлагает поисковым системам (в первую очередь Google) не передавать ссылочную массу через ссылки на веб-странице. Обязательно проконсультируйтесь с квалифицированным агентством цифрового маркетинга при применении директив noindex и nofollow к своему веб-сайту. Если сделать это неправильно, эти маленькие теги могут нанести большой ущерб вашему органическому трафику. Познакомьтесь с Кэти Хельгесен Кэти Хельгесен, директор по SEO в Launch Digital Marketing, имеет более чем 15-летний опыт работы в области цифрового маркетинга, SEO и аналитики. Ей нравится кататься на американских горках, читать, смеяться, спать и проводить время со своим мужем, 3 детьми и 2 собаками. Просмотреть все сообщения Кэти Хельгесен → мета-тегов | Документация Swiftype Сканер поиска по сайту поддерживает гибкий набор метатегов для управления тем, как вы загружаете контент своего сайта. Когда сканер посещает вашу веб-страницу, по умолчанию он извлекает стандартный набор полей (например, заголовок, тело). Затем он индексирует это содержимое, чтобы его можно было найти. С помощью этих метатегов вы можете изменить набор полей, извлекаемых искателем, для создания идеальных документов. Примечание ... Ваши страницы должны быть просканированы повторно , прежде чем любые изменения уровня кода будут приняты поиском по сайту! См. Раздел «Устранение неполадок сканера», если ваши документы не синхронизируются с текущим контентом. Шаблон метатега для поиска по сайту : Каждое поле должно определять конкретное имя , тип и содержимое значений.
Тип поля , который указан в атрибуте типа данных , должен быть типом поля, поддерживаемым поиском по сайту.
После того, как новый метатег проиндексирован, создаются поля настраиваемой схемы.
После создания тип данных не может быть изменен.
Тщательно выбирайте тип данных вашего поля . Поле нельзя удалить!
В следующем примере показано создание нескольких полей.
Как видите: поле tags повторяется, и в результате поисковый робот извлекает массив тегов для этого URL.
Все типы полей могут быть извлечены в виде массивов.
заголовок страницы | название веб-сайта
Важно отметить, что поисковый робот не будет захватывать метатеги по умолчанию для SEO, например:
Чтобы их проиндексировал сканер, они должны стать Поиск по сайту :
И помните: как только поле было создано, его можно удалить , а не .
Теги атрибутов данных, внедренные в тело
Добавьте атрибуты данных к существующим элементам, чтобы не повторять тонны текста в вашей страницы:
заголовок здесь Сюда уходит много телесного содержимого ... Сюда же идет и другой контент, он может быть любого типа, например, с ценой: $ 3.99
Теги миниатюрных изображений
Индексируйте изображения с вашего веб-сайта и показывайте их пользователям в качестве эскизов в результатах поиска.
Добавьте тег изображения в тег , который указывает, где расположены изображения на различных типах страниц:
Управляйте сканированием контента на ваших веб-страницах с помощью метатегов robots.
Использование метатега robots
Разместите метатег robots в разделе своей страницы:
Содержание страницы здесь
Значения содержимого метатега роботов
Site Search поддерживает значения NOFOLLOW , NOINDEX и NONE для тега robots.
FOLLOW и INDEX являются значениями по умолчанию и не обязательны, если вы не переопределяете метатег robots для поиска по сайту.
Другие значения, например NOARCHIVE , игнорируются.
Используйте NOINDEX , чтобы сканер не индексировал страницу,:
Ссылки с неиндексированной страницы по-прежнему будут отслеживаться.
Используйте NOFOLLOW , чтобы запретить поисковому роботу переходить по ссылкам со страницы.
Содержимое страницы, имеющей NOFOLLOW , все равно будет проиндексировано.
Чтобы не переходить по ссылкам и не индексировать контент со страницы, используйте NOINDEX, NOFOLLOW или NONE .
НЕТ является синонимом вышеуказанного:
Мы рекомендуем указывать директивы robots в одном теге, но несколько тегов будут объединены, если они есть.
Инструкции по направлению только для сканера поиска по сайту
meta name = "robots" применит ваши инструкции ко всем поисковым роботам, включая поисковый робот Swiftbot.
Используйте st: robots в качестве имени вместо robots , чтобы направлять специальные инструкции сканеру.
В этом примере говорится, что другие поисковые роботы не индексируют и не переходят по ссылкам со страницы, но разрешают поиску по сайту индексировать и переходить по ссылкам.
Когда любое мета-имя из st: robots присутствует на странице, все остальные мета-правила для роботов будут проигнорированы в пользу правила st: robots .
Повторяющиеся значения содержимого
Сканер будет использовать самые строгие директивы для роботов, если они повторяются.
Вышеуказанное эквивалентно NOINDEX .
Кожух, расстояние и порядок
Теги, имена атрибутов и значения атрибутов нечувствительны к регистру.
Несколько значений атрибутов должны быть разделены запятой, но пробелы игнорируются.
Порядок не важен: NOINDEX, NOFOLLOW совпадает с NOFOLLOW, NOINDEX .
Аналогичными считаются:
Застрял? Нужна помощь? Обратитесь в службу поддержки или посетите форум сообщества Поиска по сайту!
.No related posts.

`alexxlab`

Разное

`Как часто можно делать клизму грудничку: рекомендации педиатров`

alexxlab
22.11.2024
0

Разное

`Почему новорожденный не спит ночью: 11 главных причин и способы решения проблемы`

alexxlab
19.11.2024
0

Разное

`Как успокоить плачущего ребенка: 10 эффективных способов`

alexxlab
16.11.2024
0

Разное

`Что нужно новорожденному на первое время: полный список необходимых вещей`

alexxlab
14.11.2024
0

Разное

`Пеленки для новорожденных: виды, размеры и способы использования`

alexxlab
13.11.2024
0

Разное

`Детская кроватка для новорожденного: как правильно выбрать`

alexxlab
10.11.2024
0