Как использовать noindex nofollow: Что такое и чем различаются noindex и nofollow

Содержание

самая подробная справка от Q-SEO

В первую очередь давайте начнем с того, что существует несколько принципиально разных понятий: тег <noindex>, атрибут rel=”nofollow” и мета-тег <meta name=»robots» content=»noindex, nofollow» />. В этой статье мы подробно разберемся с их определениями и предназначениями.

Что такое тег <noindex>

<noindex>…</noindex> – тег, который предложили использовать поисковые системы для запрета индексации заключенного в него контента. Данный тег не входит в официальную спецификацию гипертекстовой разметки веб-страниц формата html.

Важно: распознается он лишь поисковыми системами Яндекс и Рамблер. Google не относится к числу поисковых систем, понимающих данный html тег.

Что такое атрибут rel=”nofollow”

rel=”nofollow” – значение, запрещающее поисковым системам переходить по ссылке, в которой используется данный атрибут.

Ниже будут рассмотрены все примеры использования тега <noindex> и атрибута rel=”nofollow”.

Тег noindex и атрибут rel=“nofollow”

Тег <noindex> для ссылок

Данный тег можно использовать для закрытия ссылок от индексации. Вот так это будет выглядеть в коде страницы:

<noindex><a href=»http://site.com/»>текст ссылки</a></noindex>

Тег <noindex> для контента

Данный тег можно использовать и для закрытия контента от индексации. Существует два способа. В коде страницы это будет выглядеть так:

<noindex>Текст, запрещённый к индексированию</noindex>

<!—noindex—>Текст, запрещённый к индексированию<!—/noindex—>

Но стоит помнить, что данный тег понимают только поисковые системы Яндекс и Рамблер. Его свойства не распространяются на Google. Поэтому, если на вашем сайте есть некачественный контент, закрыть его таким способом можно только от роботов Яндекса и Рамблера.

rel=”nofollow” для ссылок

Данный атрибут, чаще всего, используется оптимизаторами в том случае, если они хотят, чтобы поисковые системы не учитывали наличие исходящей ссылки, как фактор передачи веса, но ссылка всё равно будет изучена роботом. Вот как это выглядит в коде:

<a href=»http://site.com/» rel=»nofollow»>текст ссылки</a>

Обычно, это уместно тогда, когда ссылки проставляются автоматически, например, в комментариях. Если вы не можете или не хотите поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, следует вставлять в теги таких ссылок rel=»nofollow». Такой атрибут понимают и Google-боты и Яндекс-боты, а в своих справках поисковые системы пишут следующее:

https://support.google.com/webmasters/answer/96569?hl=ru
https://yandex.ru/support/webmaster/controlling-robot/html.xml?lang=ru

Передает ли nofollow-ссылка вес

Если вы внимательно прочитали информацию по указанным выше ссылкам, теперь вы знаете, что вес по nofollow-ссылке не передается. Но из практики, мы можем смело сказать, что наличие таких ссылок в ссылочном профиле – очень полезный и достаточно естественный фактор в глазах поисковых систем. Но иметь много исходящих ссылок на своем сайте может быть негативным фактором, даже если они закрыты через данный атрибут.

Нужно ли использовать rel=”nofollow” для внутренних ссылок

Для того, чтобы сквозные ссылки, например на страницу регистрации или входа в личный кабинет не отнимали вес у других страниц, и не передавали его бесполезно, можно использовать rel=”nofollow”.

Как использовать совместно тег <noindex> и rel=”nofollow”

Вот пример кода, когда оптимизаторы используют тег <noindex> и атрибут rel=”nofollow” одновременно:

<noindex><a href=»http://site.com/» rel=»nofollow»>текст ссылки</a></noindex>

Но этот метод полноценно работает только для роботов Яндекса. Google понимает только лишь rel=»nofollow»>.

Мета-тег <meta name=»robots» content=»noindex, nofollow» />

Этот мета-тег устанавливается в секцию <head> на той странице, которая не должна индексироваться и выглядит это следующим образом:

<head>

…

…

</head>

Суть значений noindex и nofollow в мета-теге остается та же:

Noindex – запрещает индексацию на уровне страницы (весь контент, который на ней есть), но не запрещает поисковым роботам посещать ее и переходить по ссылкам, которые используются в контенте.

Nofollow – запрещает поисковым роботам переходить по ссылкам на уровне страницы (и по внешним, и по внутренним).

Комбинации <meta name=»robots» content=»х, y» />

Есть несколько случаев, когда используют данный мета-тег на практике. Под эти случаи есть разные решения:

<meta name=»robots» content=»noindex, follow» /> нужно использовать в случае, если вы не хотите, чтобы страница была проиндексирована поисковыми системами, но роботы смогли бы перейти по ссылкам с этой страницы на другие. Например, это может быть вторая страница пагинации на сайте типа site.com/category/?page=2, на которой есть ссылки на следующие товары и вы не хотите, чтобы эта страница была проиндексирована поисковой системой.
<meta name=»robots» content=»noindex» /> выполняет то же самое. В данном случае вы запретите поисковой системе индексировать страницу, но просматривать ее и ходить по ссылкам роботы смогут.
<meta name=»robots» content=»noindex, nofollow» /> – запрещает индексировать контент на соответствующей странице, а также запрещает роботам переходить по ссылкам.
<meta name=»robots» content=»index, follow» /> – разрешает роботам индексировать страницу и ходить по ссылкам. Такой мета-тег не имеет смысла использовать, так как по умолчанию, и без него поисковикам разрешено выполнять те же действия. Но если на вашем сайте он установлен и вы не собираетесь ограничивать работу робота, специально удалять его нет смысла.

<meta name=»robots» content=»index, nofollow» /> — разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.
<meta name=»robots» content=»nofollow» /> — делает то же самое — разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.

Данный мета-тег можно использовать как для Google, так и для Яндекс отдельно

Если вам необходимо закрыть от индексации страницы только для Google, можно использовать <meta name=»googlebot» content=»noindex» />. Так говорит справка Google.

Если закрыть от индексации только для Яндекса – <meta name=»yandex» content=»noindex»/>. Об этом также очень подробно написано в справке Яндекс.

Как сочетать meta name=»robots» с robots.txt и в чем принципиальная разница

Некоторые оптимизаторы не понимают разницу между мета-тегом <meta name=»robots» content=»noindex, nofollow» /> и закрытием соответствующей страницы в файле robots.txt. Оба способа запрещают поисковым роботам индексировать страницу сайта, но отличие все же есть:

Первый – разрешает роботам зайти на эту страницу, увидеть мета-тег и исключить ее из индекса или не индексировать.

Второй – запрещает зайти на страницу, и если вдруг она ранее уже была проиндексирована, она может долго находится в индексе поисковых систем, даже если вы ее закроете в файле robots.txt, без права на переиндексацию, впоследствии вы можете видеть ее в поиске так:

Поэтому для непроиндексированных страниц можно использовать любой из вариантов.

Если же страница уже была проиндексирована, рекомендуется установить в секцию <head> мета-тег <meta name=»robots» content=»noindex, nofollow» />. Это исключит ее из индекса и предотвратит последующее попадение в него.

Если ваш сайт создан на WordPress, правильно настроить данные мета-теги поможет бесплатный плагин Yoast SEO. Примерно вот так это выглядит:

Помочь проанализировать наличие всех этих элементов (и мета-тегов и тегов и атрибутов) в коде страниц сайта может расширение для браузера RDS-бар:

Правильно настроив его, вы сможете видеть контент, завернутый в тег <noindex> (будет подсвечиваться):

Ссылки с rel=»nofollow» (ссылка будет перечеркнутой, а в данном случае она еще и завернута в тег <noindex>):

И использование мета-тега <meta name=»robots» content=»x, y» />:

Теперь вы знаете как с помощью данных методов настроить правильную индексацию страниц. Это может оказать положительное влияние на процесс раскрутки веб-сайта.

Что это за теги Nofollow и Noindex, в чем разница и как правильно прописывать

Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.

Теги и атрибуты

Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики…

Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.

Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.

Что такое noindex

«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.

Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.

Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.

На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.

Какой контент помечается этим тегом?

Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.

Обычно в noindex заворачивают четыре типа текстового контента:

Информацию с низкой уникальностью, чтобы избежать проблем с антиплагиатом.
Коды счетчиков (типа метрики и других аналитических систем), ненужные поисковику.
Контактные данные, номера и ссылки, которые не стоило бы показывать в поисковой выдаче.
Постоянно меняющийся текст, индексация которого не принесет никакой пользы.

Как использовать тег?

Тег можно вставить в <head> страницы как мету (атрибутом), увеличив область его действия на всю страницу.

С таким кодом индексация страницы разрешается:


<meta name="robots" content="index"/>

А с таким индексация запрещается:


<meta name="robots" content="noindex"/>

Такое правило можно указать для конкретного робота. Например, поискового бота Google:


<meta name="googlebot" content="noindex"/>

Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.


<noindex>кусок текста, который хотелось бы скрыть от индексации поисковиками</noindex>

Правда, такая разметка может нагородить ошибок из-за того, что многие поисковики не понимают тег <noindex> и считают его наличие в тексте ошибкой. Поэтому приходится исползать его вариацию <!–noindex–>. В таком виде роботы, понимающие тег, считывают его без проблем и задают нужные свойства, а непонимающие попросту игнорируют.

Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в <noindex> и все.

Что такое nofollow

Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить.

Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.

Какой контент помечается этим атрибутом?

Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.

Как прописывать тег?

С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:


<meta name="robots" content="nofollow"/>

Как и в случае с <noindex>, правило можно задать для конкретного поискового робота:


<meta name="googlebot" content="nofollow"/>

Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.


<a href=“page.html” rel=“nofollow”>Гиперссылка</a>

Преимущества тега noindex и атрибута nofollow

Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.

Теги помогают сделать информацию на сайте более релевантной за счет вычленения из нее неуникального и разного рода утилитарного контента, который никак не связан с данными для посетителей. Не только пропадает текст, понижающий общую уникальность, но и увеличивается плотность вхождения ключевых слов.
Тегами можно спрятать информацию из сквозных блоков, которые часто воспринимаются роботами как дубликаты данных.
Я уже упомянул выше, что за тегом <noindex> частенько прячут контактную информацию, но не пояснил зачем. Дело в поисковых сниппетах Яндекса и Google, в которые ненароком могут попасть номера телефонов и адреса, указанные на другом сайте или закрепленные за другой компанией в Яндекс.Справочнике.
Атрибут nofollow может прятать платные ссылки. Рекламные статьи, заметки и обзоры, размещенные на странице. Поисковикам запрещают переход по ним, чтобы избежать санкций со стороны Google или Яндекса.
Еще nofollow нужен для распределения приоритетов сканирования. Чтобы в него не попадали всякие формы регистрации и прочие технические страницы. Сканирование этой информации никакой пользы не принесет.

Выше мы использовали <noindex> и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:


<meta name="robots" content="index, follow"/>

А это полный запрет на контент и ссылки:


<meta name="robots" content="noindex, nofollow"/>

Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.

Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.

Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots.txt заносите новые ссылки, неизвестные для Google и Яндекс.

Итоги

Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.

Noindex, nofollow для Google — как и когда использовать с пользой для SEO продвижения

Noindex – это директива для поисковых систем, которая запрещает отображать страницу либо часть текста в результатах поиска. Давайте рассмотрим подробнее – где и в каких случаях используется эта директива?

Mетатег “robots” со значением “noindex”

Чтобы не допустить определенную страницу к индексированию поисковыми системами используется метатег robots с добавлением значения “noindex”.

В разделе <head> страницы размещается следующая конструкция:<head> <meta name="robots" content="noindex" /> … </head>

Данный метатег распространяется на всех роботов поисковых систем. Но иногда может использоваться только для определенных роботов, в зависимости от целей. Например, можно запретить индексацию только лишь определенной поисковой системе, указав в значении для атрибута “name” название робота (например – Googlebot, для Google):

<meta name="googlebot" content="noindex" />

Пример: Вы не хотите, чтобы ваши изображения были найдены через поиск по изображениям и использованы кем-то в личных целях.
Решение: Можно запретить индексацию страницы с данными изображениями только в поиске по изображениям, используя робот Googlebot-Image:

<meta name="googlebot-image" content="noindex" />

Таким образом, страница появится в результатах обычного поиска, но её содержимое не будет индексироваться для поиска по изображениям.

Тег <noindex> – для закрытия от индексации части контента

Для того, чтобы закрыть от индексации часть текста используется тег <noindex>, который может быть помещен в любые элементы html-кода страницы:

<noindex>текст, который будет запрещен к индексированию</noindex>

Однако, данный тег будет восприниматься только поисковиком Яндекс, так как он не является стандартизированным и был введен только этой поисковой системой.
Если мы разместим текст внутрь тега, то он не будет индексироваться при сканировании роботом Яндекс и при этом будет попадать в индекс всех остальных поисковиков.

Валидность

Так как тег <noindex> не является стандартизированным, то могут возникать ошибки валидации. Чтобы код оставался валидным, рекомендуется использование тега в таком виде:

текст, который будет запрещен к индексированию

Варианты использования meta robots noindex

Мета-тег “Robots” содержит директивы, разделенные запятыми:

Index/Noindex задает правило индексации страницы;
Follow/Nofollow разрешает или запрещает переходить по ссылкам со страницы. Значения по умолчанию – Index и Follow.

Существуют следующие варианты использования метатега:

<meta name=“robots” content=“index,follow”>	Разрешено индексировать страницу и переходить по ссылкам на ней.
<meta name=“robots” content=“noindex,follow”>	Запрещено индексировать страницу, но можно переходить по ссылкам на ней.
<meta name=“robots” content=“index,nofollow”>	Разрешено индексировать страницу, но нельзя переходить по ссылкам на странице.
<meta name=“robots” content=“noindex,nofollow”>	Запрещено индексировать страницу и переходить по ссылкам на ней.

Как показывает практика (см. эксперимент С. Кокшарова), Google обычно корректно воспринимает данные правила. Что касается Яндекс, то он может не всегда следовать правилу “noindex, nofollow” и переходит по ссылкам, чтобы проверить их качество (под такими директивами иногда прячутся недобросовестные сайты).

Отличия meta robots noindex от noindex в robots.txt

Есть 2 способа скрыть страницу от индексирования:

Закрыть страницу в robots.txt с помощью Disallow.
Добавить на страницу в <head> метатег: <meta name="robots" content="noindex" />

Основные отличия:

В robots.txt можно закрыть от индекса не только страницу, а и папку, тип файла, служебные страницы сайта, результаты поиска по сайту и т.д. – то есть можно работать массово с группами страниц.
<meta name=”robots” content=”noindex, follow”> позволяет закрывать страницы точечно, а также передавать ссылочный вес.

Если необходимо закрыть определенную страницу, лучше все-же воспользоваться метатегом чтобы не перегружать robots.txt лишними строками. Кроме того, выше вероятность того, что правило сработает (по сравнению с robots.txt).
Помните, что robots.txt – это всего лишь рекомендации, то есть поисковые системы могут игнорировать его — индексировать и сканировать запрещенные URL. Поэтому, если вы хотите скрыть URL с гарантией, лучше это сделать через метатег. А если уж наверняка – то можно, например, закрыть директории паролем.

Распространенные ошибки

Страница закрыта через метатег, но все равно находится в поиске
Возможные причины:

Страница закрыта также robots.txt и робот не заходит на неё, соответственно не может прочитать директиву в метатеге noindex.
Робот еще не успел посетить страницу (на сайте много страниц).

Решение: Чтобы закрыть страницу через метатег, необходимо, чтобы она была открыта в robots.txt. Если на сайте много страниц, а страницу нужно срочно закрыть – лучше воспользоваться панелью вебмастера.

Внедрение одновременно noindex и rel canonical на страницах (например, пагинации)
Это частая ошибка вебмастеров, ведь эти два тега противоречат друг другу. Google дает четкий ответ по этому поводу тут: https://www.seroundtable.com/noindex-canonical-google-18274.html .

Решение для страниц пагинации:

canonical не использовать,
на страницах пагинации прописать: <meta name=”robots” content=”noindex, follow” />, а также link rel=”prev” и link rel=”next”.

На сайте есть не закрытые метатегом служебные страницы – версии страниц «для печати», а также служебные/шаблонные страницы, которые создаются динамически. Это частая проблема, так как в индекс могут попасть сотни ненужных страниц. В дальнейшем эти «мусорные» страницы могут ранжироваться в поиске вытесняя полезные продвигаемые страницы. Закрытие через robots.txt может не решить проблему.

Решение: Google советует закрыть такого рода страницы через метатег <meta name="robots" content="noindex, nofollow" />.

Атрибут rel-nofollow

Значение rel=”nofollow” запрещает поисковой системе переходить по конкретной ссылке.
Пример использования: <a href="test.com" rel="nofollow">Ссылка</a>

Google утверждает: «…Как правило, переход не производится. Это означает, что по этим ссылкам Google не передает ни PageRank, ни текст ссылки…»

Однако, «как правило» предполагает, что бывают исключения. Также, например, ссылки с nofollow могут быть проиндексированы, если на страницу ссылаются другие сайты без использования nofollow, либо страница есть в Sitemap.

Как и где использовать

Рекомендуется использовать rel=”nofollow”:

для закрытия ссылок на некачественный контент или контент, которому вы не доверяете,
для закрытия неуникального контента,
для закрытия платных ссылок,
для корректной индексации (например, чтобы скрыть технические страницы и не тратить ресурсы робота на их сканирование).

Помимо этих случаев, многие оптимизаторы используют rel=”nofollow”, когда хотят, чтобы внешняя ссылка не передавала вес.

Передает ли nofollow вес

По словам Google, rel=”nofollow” не передает ссылочный вес. Однако, есть свидетельства, что Google учитывает ссылки социальных сетей Facebook, Twitter не смотря на nofollow.

Что касается Яндекс, то с 2010 года он не учитывает ссылки с nofollow и, соответственно ссылка не передает вес. Это официальная версия Яндекс. Однако, есть подтверждения экспериментов, что Яндекс учитывает анкоры таких ссылок.
Как бы там ни было, ваш ссылочный профиль должен быть разнообразным и рекомендуется разбавлять анкор-лист ссылками с rel=”nofollow”.

Распространенные ошибки

Использование rel=”nofollow” для внутренней перелинковки.
Google так делать не советует (https://www.searchengines.ru/mett_katts_ne_nofollow_int_links.html )

Использовать rel nofollow на каждый язык языковой версии чтобы «сегментировать» их, не передавая вес друг-другу.
Не нужно с помощью rel nofollow пытаться манипулировать весом. Если сайт целостный, все равно в рамках внутренней перелинковки вес будет переходить. Как уже говорилось выше – Google не приветствует rel nofollow для внутренней перелинковки. Но не забудьте об использовании hreflang.

Использовать rel nofollow для ссылок на страницы фильтра.
Рекомендуется не использовать атрибут nofollow, а реализовать фильтры с помощью JS или закрывать страницы метатегом noindex, nofollow.

Надеемся, что данная статья ответила на основные вопросы по использованию тегов noindex, nofollow. Желаем успешного продвижения!

Noindex и nofollow – надежные помощники оптимизатора

Содержание:

Зачем использовать тег <noindex> и атрибут rel=«nofollow»

Невзирая на то, что мы упоминаем тег <noindex> и атрибут rel=«nofollow» в пределах одной статьи, они являются совершенно разными элементами кода страниц сайта и соответственно используются для различных целей. Для каких именно, читайте далее по тексту.

Тег <noindex>. Значение и условия применения

Тег <noindex> – размещаемый в HTML-коде странички тег, который запрещает боту поисковой системы Яндекс индексировать часть текста (заключенную внутри него). Тег noindex Яндекс ввел по собственной инициативе, которую до сегодняшнего дня разделяет лишь Рамблер.

Поэтому при использовании тега noindex, Google не будет обращать на него внимания.

Если нужно, чтобы не индексировалась ссылка, noindex не сможет помочь.

В данном примере от индексации будет закрыт лишь анкор «Курсы SEO», а сама ссылка все же будет учтена и по ней передастся вес.

Кстати, довольно часто встречающаяся в сети конструкция rel=«noindex» является ошибочной, поскольку это не атрибут, а тег.

Еще один момент, к которому нужно быть готовым – закрывая от робота часть текста, <noindex> приводит к тому, что валидация сайта будет содержать множество ошибок в коде. Причина все та же: среди тех, кто понимает тег noindex – Яндекс и никто более из существенных поисковиков. Кроме того, этот тег не является стандартизированным.

Но выход все же есть. Для того, чтобы исключить ошибки, связанные с использованием этого тега, существует вариант его написания, который устраивает абсолютно всех:

В этом случае тег будет распознан Яндексом, другие поисковики не обратят на него внимания, а проверка кода не будет воспринимать его, как ошибку.

Несмотря на явную пользу от возможности использовать тег noindex, Google так и не принял его и не создал ничего аналогичного.

Кстати о пользе – вот несколько конкретных ситуаций, в которых данный тег незаменим (не забываем, это актуально только для Яндекса):

Когда нужно спрятать неуникальный текстовый контент.
Закрыть от глаз поисковых роботов коды различных счетчиков.
Убрать из индексации текст, который слишком часто меняется и его добавление в индекс является бессмысленным.

rel=«nofollow». Атрибут, который «работает» со всеми поисковиками

Для того чтобы дать роботу поисковика указание о том, что не нужно переходить и передавать вес по ссылке, существует атрибут тега <a> rel=«nofollow». Он является стандартизированным элементом HTML-кода и воспринимается абсолютно всеми поисковиками.

Причем его использование не делает ссылку невидимой, а лишь указывает, что по ней не нужно переходить и заниматься индексацией страницы, на которую она указывает.

Пример использования:

Использование rel=«nofollow» позволяет:

Исключить передачу веса на «плохой» (с точки зрения поисковых систем) или нетематичный сайт, чтобы не «испортить» свою репутацию.
Повлиять на перераспределение веса между присутствующими на странице ссылками.
Управлять количеством учитываемых исходящих ссылок на страничке.
Закрыть в комментариях ссылки, по которым не предполагается передача веса.

С использованием атрибута rel=«nofollow» важно не переусердствовать: если постоянно скрывать с его помощью ссылки, это может значительно повлиять на уровень доверия поисковиков к Вашему сайту.

Где еще используются noindex и nofollow

Также noindex и его постоянный спутник nofollow могут использоваться совершенно в ином виде – как значения атрибута content в составе мета-тега robots. Последний, в свою очередь, используется в HTML-коде страницы для указания поисковым ботам рекомендаций насчет индексации страничек и переходу по размещенным на них ссылкам.

Приведенный на скриншоте пример трактуется, как пожелание не выполнять индексацию содержимого странички и не анализировать ссылки, размещенные на ней. Наличие подобной конструкции в теле кода страниц может быть возможной причиной, по которой не индексируется сайт.

Основные выводы

Использование одного из вышеупомянутых элементов (или обоих сразу) зависит от условий, которые преследуются (сокрытие части текста, ссылки или всей страницы при использовании с мета-тегом robots).

Если нужно скрыть от робота Яндекса отдельный текст, noindex это сделает, но когда закрывается ссылка, noindex не поможет. В этом случае следует выбрать атрибут rel=«nofollow», не скрывающий анкор ссылки.

Теперь, когда Вы разобрались с особенностями применения <noindex> и rel=«nofollow», не забудьте поделиться этой важной информацией с теми, кто может в ней нуждаться!

как, зачем и для чего используют в SEO

Noindex, nofollow имеют несколько разных понятий, и в зависимости от значений выполняют определенные функции.

метатег <meta name=»robots» content=»noindex, nofollow» />;
тег <noindex>;
атрибут rel=”nofollow”.

Для чего же созданы эти элементы и в каких случаях их стоит применять? Давайте разберемся вместе.

1. Метатег robots

Поисковая выдача формируется из документов, просканированных и проиндексированных поисковым роботом. Но не вся информация должна попадать в индекс. И тогда на помощь приходит метатег robots, благодаря которому можно скрыть страницу от индексации поисковыми роботами.

Тег необходимо установить в секцию <head> для того, чтобы страница не попала в индекс.

Пример:

<head>

</head>

Большинство поисковых роботов понимают этот метатег. А при необходимости можно закрыть страницу только от определенного робота.

Например, от Google:

Или только от Яндекс:

Что же тогда означает комбинация значений «noindex, nofollow»?

Как вы уже поняли, noindex запрещает индексировать страницу, включая весь контент, который на ней находится.
А nofollow запрещает поисковым роботам переходить как по внутренним, так и по внешним ссылкам, размещенным на странице.

Рассмотрим различные варианты значений метатега robots:

<meta name=“robots” content=“noindex, nofollow”>	Запрещает индексировать страницу и переходить по ссылкам
<meta name=“robots” content=“index,follow”>	Разрешает индексировать страницу и переходить по ссылкам на ней. Но в этой комбинации нет необходимости, т. к. по умолчанию поисковые роботы выполняют те же действия
<meta name=“robots” content=“index,nofollow”>	Можно индексировать страницу, но нельзя переходить по ссылкам
<meta name=“robots” content=“noindex,follow”>	Нельзя индексировать страницу, но можно переходить по URL-адресам. Используется для того, чтобы страница не попала в индекс, но поисковые роботы могли посещать ссылки, размещенные на ней. Эта комбинация встречается чаще всего. Вы можете увидеть ее на второй и последующих страницах пагинации, т. к. данные страницы не должны попадать в индекс, но поисковые роботы должны иметь возможность переходить по ссылкам товаров

Очень часто для запрета индексирования используют файл robots.txt. Но для поисковых роботов условия, написанные в нем, скорее служат рекомендациями и могут быть проигнорированы. Более надежным способом запрета от индексирования считается метатег <meta name=«robots» content=«noindex»/>.

Довольно часто для удаления уже проиндексированной страницы используют директиву Disallow в файле robots.txt. Это ошибка, ведь в таком случае вы запрещаете доступ к странице, и поисковый робот не удалит ее из индекса.

В выдаче поисковой системы вместо описания страницы вы увидите сообщение о том, что доступ к данной странице заблокирован с помощью файла robots.txt.
Чтобы удалить проиндексированную страницу из индекса, необходимо добавить метатег <meta name=“robots” content=“noindex,follow”>. Поисковый робот просканирует страницу, увидит атрибут noindex, и исключит страницу из индекса.

3. Атрибут rel=”nofollow”

rel=”nofollow” применим к тегу <а> и относится только к гиперссылке, для которой он прописан.

Как он выглядит:

<a href=»http://site.com/» rel=»nofollow»>текст ссылки</a>

Вид в коде страницы:

Рис. 1 — nofollow в коде страницы

История атрибута очень интересна. Изначально Google позиционировал nofollow как инструмент для борьбы со спамом в комментариях. Но это было в далеком 2005.

Затем шла борьба с накруткой PageRank. Все пытались манипулировать внутренним весом, чтобы у продаваемых страниц был самый высокий PageRank. Ведь ссылочный вес делился одинаково между всеми гиперссылками на странице, не учитывая rel=«nofollow». И поэтому в 2009 Google внес поправки, согласно которым ссылочный вес не передавался по ссылкам, к которым применим атрибут rel=«nofollow».

Более того, изменились правила передачи ссылочного веса. Например, если на странице Х размещены 3 ссылки (2 dofollow и 1 nofollow), а вес страницы Х равен 6 “баллам”, то до внесения изменений Гуглом каждая ссылка без nofollow получила бы по 3 “балла”. А сейчас такие ссылки получат по 2 “балла”. Это означает, что ссылочный вес разделяется между всеми внутренними ссылками, но передается только по dofollow.

Когда специалисты стали меньше заморачиваться над передачей ссылочного веса, Google заявил, что все купленные ссылки должны иметь атрибут rel=«nofollow», утверждая, что некоторые проплаченные ссылки ничем не отличаются от тех, что были получены естественным путем (когда люди просто делятся тем, что по их мнению может быть интересным и полезным для других). Таким образом Google стимулирует получать естественные ссылки путем создания качественного контента.

В каких случаях сейчас стоит использовать ссылки с атрибутом «nofollow»?

Могу порекомендовать вам использовать nofollow ссылки для того, чтобы:

сделать ссылочный профиль сайта разнообразным;
обезопасить себя от санкций, применив атрибут к некачественным ссылкам.

Как использовать NOINDEX и NOFOLLOW?

Общаясь с клиентами и посещая тематические форумы по SEO не редко можно встретить вопрос, как, каким образом и в каких случаях использовать запрет индексации, «NOINDEX» и «NOFOLLOW»?

Прежде чем погрузиться в эту тему полностью уточним синтаксис, как объявляются эти правила.

«NOINDEX» можно объявить как HTML-тег:

<noindex>текст или код, запрещаемый для индексирования</noindex>

Но, написав код именно так, вы получите ошибку валидатора, потому что такой синтаксис не валиден. Если вы стремитесь к валидному коду, следует написать так:

текст или код, запрещаемый для индексирования

Если вы хотите запретить индексировать всю страницу, можно использовать META-тег:

<meta name="robots" content="noindex"/>

Теперь рассмотрим синтаксис объявления «NOFOLLOW».

«NOFOLLOW» можно объявить как содержимое атрибута REL – (relationship) дословно-отношения. Атрибут указывает на отношение текущего документа к документу, на который ведёт ссылка, указанная в атрибуте «HREF» тега «A»:

<a href=”” rel="nofollow">анкор</a>

или как META-тег:

<meta name="robots" content="nofollow"/>

Как именно использовать эти инструкции, решать вам. А вот разницу давайте рассмотрим вместе.

<NOINDEX> и REL=»NOFOLLOW»

HTML-тег «NOINDEX» запрещает поисковой системе «Яндекс», только «Яндекс» поймёт эту инструкцию, и не будет индексировать выделенную этим тегом часть кода HTML-страницы. Только в Яндексе, потому что в поисковой системе «Google» возможность исключения части страницы не предусмотрена, что и указано в хелпе (помощи) поисковой системы.

Существует заблуждение, что если часть текста или кода страницы выделить тегом «NOINDEX», то Яндекс пропустит этот кусок кода при обходе роботом. Нет, не пропустит. Часть кода будет прочитана роботом и проанализирована поисковой системой, но не будет появляться и учитываться в поисковой выдаче системы. Чтобы лучше понять, почему так, поясним работу поисковых роботов, краулеров. Робот заходит на страницу вашего сайта и начинает её сканировать, читать. В какой-то момент обнаруживается объявление, открытие тега «NOINDEX». Так как страница роботом читается так же, как и людьми, слева направо и сверху вниз, разница в том, что робот читает не видимую часть, а код страницы, то краулер должен увидеть закрытие тега, то есть в какой точке страницы заканчивается отрывок кода, который вы запрещаете для индексации, значит, страница будет прочитана полностью. А значит, всё её содержимое будет известно поисковой системе. В связи с этим можно утверждать, что скрывать тегом «NOFOLLOW» часть неуникального текста – бессмысленно. Поисковая система поймёт и просчитает уникальность текста на вашей странице.

Встречается ещё один миф об этом теге. Если в тег «NOINDEX» поместить ссылку, то она не будет проиндексирована, а значит, не будет передавать свой «вес». Будет. Но в поисковую выдачу не попадёт текст, указанный в этой ссылке, сам анкор.

Какой смысл у тега «NOINDEX»?

Возникает резонный вопрос. А для чего нужен тег «NOINDEX»?

Тег «NOINDEX» предназначен для скрытия информации именно в поисковой выдаче, например, текст на странице посвящён описанию какой-либо одной характеристике товара, которая встречается у очень многих позиций вашего интернет-магазина, и вы в качестве примеров приводите описания этих товаров для сравнения и вам не нужно, чтобы в поиске всплывали эти второстепенные описания. Вот в этом случае ненужные подробные описания товаров и заключаются в тег «NOINDEX». Или ещё вариант, если на многих страницах повторяется один и тот же кусок текста. Конечно же, он может попасть в поисковую выдачу на всех этих страницах. Чтобы этого не произошло, используется тег «NOINDEX».

Как закрыть ссылку? Используем «NOFOLLOW».

С тегом «NOINDEX» разобрались. А для чего нужен «NOFOLLOW»?

Иногда нужно сослаться на информацию на другом интернет-ресурсе, но по каким-то причинам очень не хочется отдавать «вес» своей страницы. Вот в таких случаях и применяется атрибут отношения страницы-донора к акцептору (странице принимающей вес) – «NOFOLLOW».

Содержимое атрибута REL «NOFOLLOW» понимается обоими флагманами поиска, «Яндексом» и «Google». При указании «NOFOLLOW» роботы обойдут, прочитают и проанализируют сами ссылки, содержащиеся анкоры (текстовое содержание ссылки) и страницы, на которые идут ссылки, но вес вашей страницы передан не будет.

Синтаксис использования «NOINDEX» «NOFOLLOW» следующий:

Передаётся вес и индексируется анкор ссылки.

<a href=”http://reg50.ru/”> Поддержка и продвижение сайтов</a>

Вес страницы передаётся, но Яндекс не индексирует текстовое содержимое ссылки, анкор.

<a href=”http://reg50.ru/”> Поддержка и продвижение сайтов</a>

Вес страницы не передаётся и Яндекс не индексирует текстовое содержимое ссылки, анкор.

<a href=”http://reg50.ru/” rel="nofollow"> Поддержка и продвижение сайтов</a>

META-теги NOINDEX и NOFOLLOW

В начале статьи мы указали, что кроме тега «NOINDEX» и содержимого атрибута REL «NOFOLLOW» (rel=”nofollow”) есть ещё и META-теги с такими же именами. А зачем нужны они, если имеющегося функционала и так достаточно? Для чего используются
<meta name="robots" content="noindex"/>
и
<meta name="robots" content="nofollow"/>?

META-тег «NOINDEX», как и в случае с HTML-тегом запрещает индексирование только поисковой системе «Яндекс», всей страницы. То есть, в поисковую выдачу не попадёт только текстовая составляющая всей страницы, но страница будет прочтена и проанализирована, ссылки передадут «вес» страницам на которые ссылаются.

При наличии META-тега «NOFOLLOW» поисковые системы не будут индексировать ссылки, переходить по ним на акцепторы и передачи веса страниц не будет. Но, если на других страницах вашего сайта имеются такие же ссылки и они не закрыты META-тегом или атрибутом, то вес будет передан.

Итого

Теперь подведём итоги об использовании и значении «NOINDEX» и «NOFOLLOW».

Если нам нужно исключить какую-либо информацию из поисковой выдачи, используем «NOINDEX».

Если нам нужно сослаться на источник или материал на нашем сайте, но не нужно передавать вес страницы-донора, используем «NOFOLLOW».

При объявлении этих инструкций не забываем об описанных выше нюансах и принципах обработки этих команд поисковыми системами.

Успешного Вам продвижения!

#оптимизация сайта, #продвижение сайта, #техническая оптимизация

Тег noindex и атрибут nofollow: что это такое

Тег noindex введен поисковой системой Яндекс. Он предназначен для закрытия от индексации роботами ссылки или части html кода на странице. Имеет следующую структуру:

<noindex> ссылка или часть кода, которые необходимо скрыть, </noindex>

Данный тег не чувствителен к вложенности и может быть размещен в любой части кода. Поисковые машины, кроме Яндекса, воспринимают команду в качестве невалидной. Если валидность кода важна, тег оформляется следующим образом:

<!—noindex—> текст <!—/noindex—>

Функции:

Тег noindex позволяет:

повысить релевантность страницы поисковым запросам за счет уменьшения доли второстепенной информации и увеличения плотности ключевых слов,
скрыть дублирующийся контент, за использование которого может последовать пессимизация сайта в выдаче Яндекса,
сохранять статический вес страниц и управлять его передачей, так как закрытие одних ссылок пропорционально увеличивает вИЦ оставшихся,
улучшить сниппет. Если в ходе раскрутки сайта в его текстовое описание в выдаче попадает ненужная информация со страницы, ее закрывают от индексации,
скрыть от роботов лишние данные (коды счетчиков, ссылки на сайты с постоянно изменяющейся информацией и т.д.).

Nofollow

Атрибут nofollow не оказывает влияния на индексацию ссылок, но сообщает поисковым роботам, что вес данного линка равен нулю. При продвижении сайта это позволяет сохранить его PR и тИЦ, которые на указанную страницу не передаются. Поисковые боты (кроме googlebot) по ссылке переходят. Атрибут поддерживают Google, Yahoo и Яндекс (с 30 апреля 2010 года). Структура написания параметра следующая: анкор ссылки

Атрибут nofollow используют для ссылок на все сайты, которым не требуется передавать TrustRank ресурса-донора. Для внутренней перелинковки прием не применяется.

Noindex и nofollow позволяют закрыть от индексацию не только отдельную ссылку, но и всю страницу (прописываются внутри нее или в файле robots.txt):

или

<html>
<head>
<meta content=”nofollow”/>
<title>Заголовок данной страницы</title>
</head>

Nofollow и noindex могут использоваться совместно:

<noindex><a rel=»nofollow» href=»http://example.ru»> анкор ссылки</a></noindex>.

В таком случае поисковый робот Google ссылку проигнорирует, а Яндекса не увидит.

Другие термины на букву «N»

Совпадений не найдено

Все термины SEO-Википедии

Теги термина

Что это такое и как их использовать?

Три слова, приведенные выше, могут звучать как SEO gobbledegook, но это слова, которые стоит знать, поскольку понимание того, как их использовать, означает, что вы можете управлять роботом Googlebot. Это весело.

Итак, начнем с основ: есть три способа контролировать, какие части вашего сайта будут сканироваться поисковыми системами:

Noindex: указывает поисковым системам не включать ваши страницы в результаты поиска.
Disallow: запрещает сканирование ваших страниц.
Nofollow: говорит им не переходить по ссылкам на вашей странице.

Что такое метатег Noindex?

Тег noindex указывает поисковым системам не включать страницу в результаты поиска.

Самый распространенный метод запрета индексации страницы — это добавить тег в заголовок HTML или в заголовки ответов. Чтобы поисковые системы могли видеть эту информацию, страница не должна быть заблокирована (запрещена) в файле robots.txt.Если страница заблокирована с помощью вашего файла robots.txt, Google никогда не увидит тег noindex, и страница может по-прежнему отображаться в результатах поиска.

Чтобы поисковые системы не индексировали вашу страницу, просто добавьте в раздел следующее:

Вторая часть тега содержимого здесь указывает, что необходимо переходить по всем ссылкам на этой странице, которые мы обсудим ниже.

В качестве альтернативы тег noindex можно использовать в теге X-Robots-Tag в заголовке HTTP:

X-Robots-Tag: noindex

Дополнительную информацию см. В сообщении разработчиков Google о спецификациях метатега Robots и HTTP-заголовка X-Robots-Tag.

Как я могу использовать Noindex в файле Robots.txt?

Тег noindex в файле robots.txt также указывает поисковым системам не включать страницу в результаты поиска, но это более быстрый и простой способ не индексировать сразу много страниц, особенно если у вас есть доступ к вашему robots.txt. файл. Например, вы не можете индексировать любые URL-адреса в определенной папке.

Вот пример директивы noindex, которую можно поместить в файл robots.txt:

Noindex: / robots-txt-noindexed-page /

Однако Google не рекомендует использовать этот метод: Джон Мюллер заявил, что «не следует полагаться на него».

Что такое запретительная директива?

Запрещение страницы означает, что вы даете поисковым системам указание не сканировать ее, что необходимо сделать в файле robots.txt вашего сайта. Это полезно, если у вас много страниц или файлов, которые бесполезны для читателей или поискового трафика, поскольку это означает, что поисковые системы не будут тратить время на сканирование этих страниц.

Чтобы добавить запрет, просто добавьте в файл robots.txt следующую строку:

Запретить: / your-page-url /

Если на странице есть внешние ссылки или канонические теги, указывающие на нее, ее все равно можно проиндексировать и ранжировать, поэтому важно сочетать запрет с тегом noindex, как описано ниже.

Предупреждение: запрещая страницу, вы фактически удаляете ее со своего сайта.

Запрещенные страницы не могут передавать PageRank куда-либо еще — поэтому любые ссылки на этих страницах фактически бесполезны с точки зрения SEO — а запрещение страниц, которые должны быть включены, может иметь катастрофические последствия для вашего трафика, поэтому будьте особенно осторожны при написании запрещающих директив.

Как я могу объединить Noindex и Disallow?

Noindex (страница) + Disallow: Disallow не может сочетаться с noindex на странице, потому что страница заблокирована, и поэтому поисковые системы не будут сканировать ее, чтобы знать, что они не должны оставлять страницу вне индекс.

Noindex (robots.txt) + Disallow : предотвращает появление страниц в индексе, а также предотвращает сканирование страниц. Однако помните, что через эту страницу не может пройти PageRank.

Чтобы объединить запрет с noindex в файле robots.txt, просто добавьте обе директивы в файл robots.txt:

Запретить: / example-page-1/

Запретить: / example-page-2/

Noindex: / example-page-1/

Noindex: / example-page-2/

Что такое тег Nofollow?

Тег nofollow в ссылке указывает поисковым системам не использовать ссылку для определения важности связанных страниц (PageRank) или обнаружения дополнительных URL-адресов на том же сайте.

Обычно nofollows использует ссылки в комментариях и другом контенте, который вы не контролируете, платные ссылки, встраиваемые элементы, такие как виджеты или инфографику, ссылки в гостевых сообщениях или что-нибудь не по теме, на которое вы все еще хотите ссылаться.

Исторически сложилось так, что оптимизаторы поисковых систем также избирательно исключали переход по ссылкам, чтобы направлять внутренний PageRank на более важные страницы.

Теги Nofollow могут быть добавлены в одном из двух мест:

страницы (для nofollow всех ссылок на этой странице):
Код ссылки (для nofollow отдельной ссылки): пример страницы

nofollow не предотвратит полное сканирование связанной страницы; он просто предотвращает сканирование по этой конкретной ссылке. Наши и другие тесты показали, что Google не будет сканировать URL-адрес, который он находит в ссылке nofollowed.

Google заявляет, что если другой сайт ссылается на ту же страницу без использования тега nofollow или страница отображается в файле Sitemap, эта страница может по-прежнему отображаться в результатах поиска. Точно так же, если это URL, о котором уже знают поисковые системы, добавление ссылки nofollow не удалит его из индекса.

В сентябре 2019 года Google объявил об обновлении своей директивы nofollow и представил два новых атрибута ссылки, а именно:

rel = «sponsored» — Атрибут sponsored следует использовать для идентификации ссылок, предназначенных для рекламных целей, при наличии соглашений о спонсорстве и компенсации.
rel = «ugc» — В качестве атрибута для пользовательского контента это значение рекомендуется для ссылок на сайтах с пользовательским контентом, например для сообщений на форумах и комментариев в блогах.

Кроме того, все ссылки, помеченные как nofollow, sponsored или ugc, теперь обрабатываются как подсказки относительно того, какие ссылки следует учитывать при поиске и сканировании, а не просто как сигнал, как раньше использовалось для nofollow. Вы можете узнать больше об этом обновлении в нашем посте, который также охватывает их влияние и мнения экспертов.

Что такое Noindex Nofollow?

Как упоминалось выше, добавление тега nofollow к странице не препятствует ее полному сканированию.Поэтому, чтобы предотвратить индексирование, вам также нужно не индексировать страницу. Это позволит Google сканировать страницу, но она не будет отображаться в индексе. Страницы, которые вы, вероятно, захотите включить в noindex; страницы администратора / входа, внутренние результаты поиска и страницы регистрации. Чтобы Google полностью прекратил сканирование страницы, вам также следует запретить это (см. Выше).

Другие директивы: Canonical Tags, Pagination и Hreflang

Есть и другие способы сообщить Google и другим поисковым системам, как обрабатывать URL-адреса:

Канонические теги сообщают поисковым системам, какую страницу из группы похожих страниц следует проиндексировать.Канонизированные (т. Е. Вторичные страницы, которые направляют поисковые системы к первичной версии) не включаются в индекс. Если у вас есть отдельные мобильные и настольные сайты, вы должны канонизировать свои мобильные URL-адреса на свои настольные.
Разбивка на страницы группирует несколько страниц вместе, чтобы поисковые системы знали, что они являются частью набора. Поисковые системы должны отдавать приоритет первой странице каждого набора при ранжировании страниц, но все страницы в наборе останутся в индексе.
Hreflang сообщает поисковым системам, какие международные версии одного и того же контента предназначены для какого региона, чтобы они могли определить приоритетность правильной версии для каждой аудитории.Все эти версии останутся в индексе.

Сколько времени вам следует потратить на сокращение краулингового бюджета?

Вы можете услышать много разговоров на форумах SEO о том, насколько важны для SEO эффективность сканирования и бюджет сканирования, и, хотя обычной практикой является запрещение и noindex большие группы страниц, которые не имеют никакой пользы для поисковых систем или читателей (например, back -end кода, который используется только для работы сайта или некоторых типов дублированного контента), решение о том, скрывать ли много отдельных страниц, вероятно, не лучший вариант использования времени и усилий.

Google любит индексировать как можно больше URL-адресов, поэтому, если нет особой причины скрыть страницу от поисковых систем, обычно можно оставить решение на усмотрение Google. В любом случае, даже если вы скроете страницы от поисковых систем, Google все равно будет проверять, изменились ли эти URL-адреса. Это особенно актуально, если есть ссылки, указывающие на эту страницу; даже если Google забыл об URL-адресе, он может снова обнаружить его в следующий раз, когда на него будет найдена ссылка.

Тестирование с помощью Search Console, DeepCrawl и Robotto

Тестовые роботы.txt с помощью Search Console

Инструмент robots.txt Tester в Search Console (в разделе «Сканирование») — популярный и в значительной степени эффективный способ проверить новую версию вашего файла на наличие ошибок до того, как он будет опубликован, или проверить конкретный URL, чтобы убедиться, что он заблокирован:

Однако этот инструмент не работает точно так же, как Google, с некоторыми небольшими различиями в конфликтующих правилах разрешения / запрета, которые имеют одинаковую длину.

Инструмент тестирования robots.txt сообщает, что это разрешено, однако Google сказал: «Если результат не определен, robots.txt могут разрешить или запретить сканирование. По этой причине не рекомендуется полагаться на то, что какой-либо из результатов будет использоваться повсеместно ».

Подробнее читайте в этом обсуждении на справочном форуме в Центре веб-мастеров.

Найти все неиндексируемые страницы с помощью DeepCrawl

Запустите универсальное сканирование без каких-либо ограничений (но с применением условий robots.txt), чтобы DeepCrawl мог вернуть все ваши URL-адреса и показать вам все индексируемые / неиндексируемые страницы.

Если у вас есть параметры URL, которые были заблокированы для робота Google с помощью Search Console, вы можете имитировать эту настройку для сканирования, используя поле «Удалить параметры» в разделе Расширенные настройки> Перезапись URL .

Затем вы можете использовать следующие отчеты, чтобы убедиться, что сайт настроен так, как вы ожидали при первом сканировании, а затем объединить их со встроенными журналами изменений при последующих сканированиях.

Индексация> Страницы Noindex

В этом отчете будут показаны все страницы, содержащие тег noindex в метаинформации, HTTP-заголовке или файле robots.txt файл.

Индексация> Запрещенные страницы

Этот отчет содержит все URL-адреса, сканирование которых невозможно из-за запрещающего правила в файле robots.txt. На панели управления вашего отчета есть цифры для обоих этих отчетов:

Используйте наши интуитивно понятные отчеты в каждом из наших отчетов, чтобы проверить определенные папки и выявить шаблоны в URL-адресах, которые в противном случае вы могли бы пропустить:

Протестируйте новый файл robots.txt с помощью DeepCrawl

Используйте роботов DeepCrawl.txt Функция перезаписи в расширенных настройках для замены живого файла на пользовательский.

Затем при следующем запуске сканирования вы можете использовать тестовую версию вместо активной.

В отчетах о добавленных и удаленных запрещенных URL-адресах будет показано, какие именно URL-адреса были затронуты измененным файлом robots.txt, что упростит оценку.

Для получения дополнительной информации прочтите наше руководство по управлению изменениями robots.txt с помощью DeepCrawl.

Хотите больше такого?

Мы надеемся, что этот пост был полезен для вас, когда вы узнали больше о noindex, nofollow и disallow для управления сканированием вашего сайта.

Вы можете узнать больше об этих темах в нашей Технической библиотеке SEO или, если вы хотите узнать, как проводить технический SEO-аудит, прочитайте наше руководство.

Кроме того, если вы заинтересованы в том, чтобы быть в курсе последних обновлений Google и рекомендациями по передовому опыту, почему бы не заглянуть в наши электронные письма?

Loop Me In!

Автор

Сэм Марсден

Сэм Марсден — менеджер по поисковой оптимизации и контенту DeepCrawl.Сэм регулярно выступает на маркетинговых конференциях, таких как SMX и BrightonSEO, и является автором отраслевых публикаций, таких как Search Engine Journal и State of Digital.

Теги

Управление роботами

Какие страницы на вашем сайте использовать noindex или nofollow? • Yoast

Михил Хейманс

Михиэль был одним из наших первых сотрудников и раньше был партнером Yoast. Начните оптимизацию своего сайта с его статей!

Некоторые страницы вашего сайта служат определенной цели, но эта цель не состоит в ранжировании в поисковых системах и даже не в привлечении трафика на ваш сайт.Эти страницы должны быть там, как клей для других страниц, или просто потому, что правила требуют, чтобы они были доступны на вашем веб-сайте. Если вы регулярно читаете наш блог, вы знаете, как noindex или nofollow могут помочь вам справиться с этими страницами. Однако, если вы новичок в этих условиях, продолжайте читать и позвольте мне объяснить, что они из себя представляют и к каким страницам они могут применяться!

Что такое noindex nofollow?

noindex означает, что веб-страница не должна индексироваться поисковыми системами и, следовательно, не должна отображаться на страницах результатов поиска. nofollow означает, что пауки поисковых систем не должны переходить по ссылкам на этой странице. Вы можете добавить эти значения в свой метатег robots. Мета-тег robots — это фрагмент кода в разделе заголовка веб-страницы. Он сообщает поисковым системам, как сканировать и индексировать ли страницу.

Наше полное руководство по метатегу robots — отличное чтение, если вы хотите немного глубже погрузиться в эту тему.

Вкратце:

В большинстве случаев метатег robots выглядит следующим образом:
VALUE1 и VALUE2 имеют значение индекса , по умолчанию используется , что означает данная страница может быть проиндексирована поисковыми системами, и по ссылкам на этой странице можно переходить для сканирования страниц, на которые они ссылаются.
VALUE1 и VALUE2 могут иметь значение noindex, nofollow или другую комбинацию, например индекс , nofollow .

Но пусть вас не пугает этот код. Yoast SEO поможет вам! Если вы хотите узнать, как noindex пост в WordPress очень простым способом, вам следует прочитать этот пост: Как noindexing пост в WordPress: простой способ.

Но когда какое значение использовать?

Страницы для установки в noindex

Авторские архивы в блоге с одним автором

Если вы единственный, кто пишет для своего блога, страницы ваших авторов, вероятно, на 90% совпадают с домашней страницей вашего блога.Это бесполезно для Google и может рассматриваться как дублированный контент. Чтобы предотвратить такое дублирование контента, вы можете полностью отключить авторский архив. Вот как легко включить или отключить его с помощью Yoast SEO. Если по какой-то причине вы хотите сохранить его на своем сайте, но не в результатах поиска, вы можете noindex его. К счастью, с Yoast SEO это тоже не сложно; просто проверьте, как нельзя индексировать архив автора.

Определенные (настраиваемые) типы сообщений

Иногда плагин или веб-разработчик добавляют пользовательский тип сообщения, который вы не хотите индексировать.Например, в Yoast мы используем персонализированные страницы для наших продуктов, поскольку мы не являемся типичным интернет-магазином, продающим физические продукты. Таким образом, нам не нужно изображение продукта, фильтры, такие как размеры и технические характеристики, на вкладке рядом с описанием. Поэтому мы не индексируем обычные страницы продуктов, которые выводит WooCommerce, и используем наши собственные страницы. Действительно, у нас noindex тип сообщения о продукте.

Соответственно, мы видели решения для электронной коммерции, которые также добавляли такие характеристики, как размеры и вес, в качестве настраиваемого типа сообщений.Эти страницы считаются некачественным контентом. Вы поймете, что эти страницы бесполезны ни для посетителей, ни для Google, поэтому их тоже нужно держать подальше от страниц результатов поиска.

Спасибо страниц

Эта страница служит только для того, чтобы поблагодарить вашего клиента / подписчика на новостную рассылку / впервые комментирующего. Эти страницы, как правило, представляют собой страницы с тонким контентом, с возможностью дополнительных продаж и социальных сетей, но они не представляют ценности для тех, кто использует Google для поиска полезной информации. Следовательно, этих страниц не должно быть на страницах результатов поиска.

Страницы администратора и входа в систему

Большинство страниц входа не должны находиться в Google. Но это так. Не допускайте попадания своего в индекс, добавив к нему noindex . Исключение составляют страницы входа в систему, которые обслуживают сообщество, например Dropbox или аналогичные службы. Просто спросите себя, стали бы вы гуглить одну из своих страниц входа в систему, если бы вы не работали в своей компании. В противном случае можно с уверенностью сказать, что Google не нужно индексировать эти страницы входа. К счастью, если вы используете WordPress, вы в безопасности, поскольку CMS не индексирует страницу входа на ваш сайт автоматически.

Результаты внутреннего поиска

Результаты внутреннего поиска — это в значительной степени последние страницы, на которые Google хотел бы отправлять своих посетителей. Если вы хотите испортить поиск, вы ссылаетесь на другие страницы поиска вместо фактического результата. Но ссылки на странице результатов поиска по-прежнему очень ценны, вы определенно хотите, чтобы Google следил за ними. Таким образом, необходимо переходить по всем ссылкам, а мета-настройка роботов должна быть:

Yoast SEO следит за тем, чтобы для ваших внутренних поисковых страниц по умолчанию было установлено значение noindex.Это одна из скрытых функций Yoast SEO. Это не редактируемый параметр, потому что это просто то, как это должно быть сделано в соответствии с рекомендациями Google, и мы полностью с ними согласны.

Только для разработчиков: если вы действительно хотите изменить это, это можно сделать с помощью одного из наших фильтров. Пример можно найти здесь.

Страницы для установки на nofollow

Для всех примеров, упомянутых выше, нет необходимости nofollow все ссылки на этих страницах.Вы не хотите, чтобы они отображались в результатах поиска, но вы хотите, чтобы Google переходил по ссылкам на странице. Теперь, когда следует добавить nofollow в метатег роботов?

Если вы установите для страницы значение nofollow с метатегом robots, ни одна из ссылок на этой странице не будет переходить. Google придумал nofollow, чтобы иметь возможность различать ссылки на ненадежный контент (или, позже, оплаченный, например, рекламу). На обычном веб-сайте, вероятно, очень мало страниц, на которых вы бы хотели, чтобы Google не переходил по любой ссылке .

Пример: если у вас есть страница со списком книг по SEO с избытком партнерских ссылок Amazon, они могут быть полезны для вашего сайта для ваших пользователей. Но я бы добавил nofollow на всю страницу, если на странице нет ничего важного. Однако вы могли бы проиндексировать его. Просто убедитесь, что вы правильно скрываете свои ссылки.

Одинарные ссылки Nofollow

Если у вас есть сообщение или страница с несколькими ссылками, вы можете помочь поисковым системам квалифицировать их.В настоящее время вы можете использовать nofollow для одной ссылки или даже установить для нее спонсируемый или пользовательский контент. Добавление правильных атрибутов rel к вашей ссылке позволяет вам это сделать. Например, ссылка на рекламу будет выглядеть так: пример ссылки . С Yoast SEO настроить эти атрибуты rel очень просто, как вы можете видеть в этом видео:

Заключение

Как мы уже видели, для noindex страница или nofollow ссылка сводится к двум вопросам: хотите ли вы, чтобы эта страница отображалась на страницах результатов поиска и , если поисковые системы переходят по ссылкам на эта страница? Например, для страниц с благодарностью или страниц входа в систему ответ на первый вопрос — «нет».Для страницы с множеством партнерских ссылок ответ на второй вопрос — «нет». Помните о примерах из этого поста, и у вас больше не будет проблем с поиском ответов для вашего собственного сайта!

PS. Вы noindex пост или страницу, хотя не хотели? Не беспокойтесь, вы можете легко исправить случайную ошибку noindex !

Подробнее: Как не индексировать сообщение »

noindex vs. nofollow — Справочный центр Siteimprove

Модуль Siteimprove SEO уведомляет пользователей о страницах, исключенных noindex / nofollow.Эта статья предназначена для объяснения разницы между метатегами noindex и nofollow, когда их использовать и как эти теги влияют на веб-индексирование и страницы результатов поисковой системы (SERP).

Как noindex, так и nofollow являются частью протокола исключения роботов (REP) , стандарта для управления индексированием веб-страниц на вашем сайте. Давайте рассмотрим несколько примеров noindex и nofollow и то, как они контролируют доступ и индексацию вашего веб-сайта Google и другими поисковыми системами.

Что такое noindex и когда его использовать?

Обычно, когда робот Googlebot находит страницу, он читает все ссылки на этой странице, а затем выбирает эти страницы и индексирует их. Это основной процесс, с помощью которого робот Googlebot «сканирует» Интернет. Это полезно, поскольку позволяет Google включать все страницы вашего сайта, если они связаны друг с другом. Что делать, если вы не хотите, чтобы некоторые страницы вашего сайта отображались в индексе Google? Здесь применяется метатег noindex.

Когда вы добавляете метатег «noindex» к веб-странице, он сообщает поисковой системе, что она не может добавить страницу в свой поисковый индекс, даже если поисковая система может сканировать страницу.

Пример Noindex

статей в разделе «Последние новости» CNN могут появиться только в течение нескольких часов, прежде чем они будут обновлены и перемещены в раздел «Статьи». В этом случае CNN захочет проиндексировать все статьи, а не раздел последних новостей с короткой частью полной статьи.

Таким образом, вы можете добавить тег noindex к статьям, находящимся в настоящее время в разделе «Последние новости», и удалить этот тег, как только статья больше не будет актуальной.

Чтобы превратить обычные ссылки в ссылки noindex, добавьте «noindex» в HTML-код:

  Текст ссылки

Что такое nofollow и когда его использовать?

Nofollow — это атрибут HTML, который предписывает большинству поисковых систем воздерживаться от перехода по ссылке и тем самым передавать значение странице, на которую ведет ссылка. Некоторые эксперты по SEO интерпретируют это как способ сообщить поисковым системам, что вы не доверяете или не можете поручиться за содержание ссылки, на которую ведет ссылка. Короче говоря, если вы хотите, чтобы поисковая машина проиндексировала вашу веб-страницу в поиске, но вы, , не хотите, чтобы переходила по ссылкам на этой странице; добавьте на свою страницу тег nofollow.

Чтобы превратить обычные ссылки в ссылки nofollow, добавьте «nofollow» в HTML-код *:

  Текст ссылки

* Вы можете добавить код вручную, но многие CMS вставляют его автоматически, когда это необходимо. Обратитесь за советом к своему веб-мастеру.

Пример с Nofollow

Когда пользователи ищут в Google фразы, связанные с новостями, CNN хочет, чтобы разделы их статей (со статьями) были в первых строчках поисковой выдачи, потому что статьи являются наиболее ценным активом CNN.

Не имеет смысла располагать их раздел входа наверху.

Чтобы сообщить Google, что статьи важнее входа в систему, CNN добавит тег nofollow к своей ссылке для входа.

Примечание: Сканер Siteimprove не учитывает «noindex» или «nofollow» при определении содержания для сканирования. Сканируем на основе настроек сканирования.

Как сказать Google не индексировать страницу в поиске

Индексирование как можно большего количества страниц вашего веб-сайта может быть очень заманчивым для маркетологов, которые пытаются повысить авторитет своей поисковой системы.

Но, хотя это правда, что публикация большего количества страниц, релевантных для определенного ключевого слова (при условии, что они также высокого качества) улучшит ваш рейтинг по этому ключевому слову, иногда на самом деле больше пользы от сохранения определенных страниц на вашем веб-сайте из из индекс поисковой системы.

… Сказать что ?!

Оставайтесь с нами, ребята. В этом посте вы узнаете, почему вы можете захотеть удалить определенные веб-страницы из SERPS (страниц результатов поисковой системы), и как именно это сделать.

Почему вы хотите исключить определенные веб-страницы из результатов поиска

В ряде случаев вам может потребоваться исключить веб-страницу или ее часть из сканирования и индексации поисковой системой.

Для маркетологов одной из распространенных причин является предотвращение индексации дублированного контента (когда поисковыми системами индексируется несколько версий страницы, как в версии вашего контента для печати).

Еще один хороший пример? Страница благодарности (т.д., страница, на которую посетитель попадает после конверсии на одной из ваших целевых страниц). Обычно здесь посетитель получает доступ к тому предложению, которое обещала целевая страница, например, к ссылке на электронную книгу в формате PDF.

Вот как выглядит страница с благодарностью за нашу электронную книгу с советами по SEO, например:

Вы хотите, чтобы любой, кто попал на ваши страницы благодарности, попал туда, потому что они уже заполнили форму на целевой странице — , а не , потому что они нашли вашу страницу благодарности в поиске.

Почему нет? Потому что любой, кто найдет вашу страницу благодарности в поиске, может получить прямой доступ к вашим предложениям по привлечению потенциальных клиентов — без необходимости предоставлять вам свою информацию для прохождения через форму для сбора потенциальных клиентов. Любой маркетолог, который понимает ценность целевых страниц, понимает, насколько важно сначала привлечь этих посетителей в качестве потенциальных клиентов, прежде чем они смогут получить доступ к вашим предложениям.

Итог: Если ваши страницы с благодарностью можно легко обнаружить с помощью простого поиска в Google, возможно, вы оставляете на столе ценных потенциальных клиентов.

Что еще хуже, вы можете даже обнаружить, что некоторые из ваших страниц с самым высоким рейтингом для некоторых из ваших длиннохвостых ключевых слов могут быть вашими страницами благодарности — что означает, что вы можете приглашать сотни потенциальных клиентов, чтобы обойти ваши формы для захвата лидов. Это довольно веская причина, по которой вы захотите удалить некоторые из своих веб-страниц из поисковой выдачи.

Итак, как вы делаете «деиндексирование» определенных страниц из поисковых систем? Вот два способа сделать это.

2 способа деиндексировать веб-страницу из поисковых систем

Вариант №1: Добавить роботов.txt на свой сайт.

Используйте, если: вам нужен больший контроль над тем, что вы деиндексируете, и у вас есть необходимые технические ресурсы.

Один из способов удалить страницу из результатов поиска — добавить на сайт файл robots.txt. Преимущество использования этого метода заключается в том, что вы можете получить больший контроль над тем, что вы разрешаете индексировать ботам. Результат? Вы можете заранее исключить нежелательный контент из результатов поиска.

В файле robots.txt вы можете указать, хотите ли вы блокировать ботов с одной страницы, со всего каталога или даже с одного изображения или файла.Существует также возможность запретить сканирование вашего сайта, при этом позволяя объявлениям Google AdSense работать, если они у вас есть.

При этом из двух доступных вам вариантов этот требует самого технического кунг-фу. Чтобы узнать, как создать файл robots.txt, прочтите эту статью из Инструментов Google для веб-мастеров.

Клиенты HubSpot: Здесь вы можете узнать, как установить файл robots.txt на свой веб-сайт, а также узнать, как настроить содержимое роботов.txt здесь.

Если вам не нужен полный контроль над файлом robots.txt и вы ищете более простое и менее техническое решение, тогда этот второй вариант для вас.

Вариант № 2: Добавьте метатег «noindex» и / или метатег «nofollow».

Используйте, если: вам нужно более простое решение для деиндексации всей веб-страницы и / или деиндексации ссылок на всей веб-странице.

Использование метатега для предотвращения появления страницы в поисковой выдаче и / или в ссылках на странице — это просто и эффективно.Для этого требуется совсем немного технических ноу-хау — на самом деле, это просто копирование / вставка, если вы используете правильную систему управления контентом.

Теги, которые позволяют делать это, называются «noindex» и «nofollow». Прежде чем я перейду к тому, как добавлять эти теги, давайте определим их и проведем различие. В конце концов, это две совершенно разные директивы, и их можно использовать как по отдельности, так и вместе друг с другом.

Что такое тег noindex?

Когда вы добавляете на веб-страницу метатег «noindex», он сообщает поисковой системе, что, даже если она может сканировать страницу, она не может добавить страницу в свой поисковый индекс.

Таким образом, любая страница с директивой noindex будет , а не попадет в поисковый индекс поисковой системы и, следовательно, не может отображаться на страницах результатов поисковой системы.

Что такое тег nofollow?

Когда вы добавляете на веб-страницу метатег «nofollow», запрещает поисковым системам сканировать ссылки на этой странице. Это также означает, что любой рейтинг, который страница имеет в поисковой выдаче, будет , а не , будет передан на страницы, на которые она ссылается.

Таким образом, на любой странице с директивой nofollow все ссылки будут игнорироваться Google и другими поисковыми системами.

Когда бы вы использовали «noindex» и «nofollow» по отдельности или вместе?

Как я уже говорил, вы можете добавить директиву «noindex» отдельно или вместе с директивой «nofollow». Вы также можете добавить директиву nofollow отдельно.

Добавьте только тег «noindex»: , если вы, , не хотите, чтобы поисковая система индексировала вашу веб-страницу в поиске, а вы, , хотите, чтобы переходила по ссылкам на этой странице — тем самым давая авторитет ранжирования. на другие страницы, на которые ссылается ваша страница.

Платные целевые страницы — отличный тому пример. Вы не хотите, чтобы поисковые системы индексировали в поиске целевые страницы, за просмотр которых люди должны платить, но вы можете захотеть, чтобы страницы, на которые они ссылаются, извлекали выгоду из его авторитета.

Добавьте только тег «nofollow»: , когда вы хотите, чтобы поисковая система проиндексировала вашу веб-страницу в поиске, но вы, , не хотите, чтобы переходила по ссылкам на этой странице.

Не так много примеров, когда вы добавляете тег «nofollow» на всю страницу без добавления тега «noindex».Когда вы выясняете, что делать на данной странице, больше вопрос в том, добавлять ли ваш тег «noindex» с тегом «nofollow» или без него.

Добавьте теги «noindex» и «nofollow»: , если вы, , не хотите, чтобы поисковые системы индексировали веб-страницу в поиске, и вы не хотите, чтобы они переходили по ссылкам на этой странице.

Страницы с благодарностью — отличный пример такого рода ситуаций. Вы не хотите, чтобы поисковые системы индексировали вашу страницу с благодарностью, и вы также не хотите, чтобы они перешли по ссылке на ваше предложение и начали индексировать содержание этого предложения.

Как добавить метатег «noindex» и / или «nofollow»

Шаг 1: Скопируйте один из следующих тегов.

Для «noindex»:

Для «nofollow»:

Для noindex и nofollow:

Шаг 2: Добавьте тег в раздел HTML-кода вашей страницы, a.к.а. заголовок страницы.

Если вы являетесь клиентом HubSpot, это очень просто — щелкните здесь или прокрутите вниз, чтобы просмотреть инструкции, предназначенные для пользователей HubSpot.

Если вы , а не клиент HubSpot, , вам придется вручную вставить этот тег в код на своей веб-странице. Не волнуйтесь — это довольно просто. Вот как это сделать.

Сначала откройте исходный код веб-страницы, которую вы пытаетесь деиндексировать. Затем вставьте полный тег в новую строку в разделе HTML-кода вашей страницы, известном как заголовок страницы.Скриншоты ниже помогут вам в этом.

Тег обозначает начало вашего заголовка:

Вот метатег для «noindex» и «nofollow», вставленный в заголовок:

И тег обозначает конец заголовка:

Бум! Это оно. Этот тег указывает поисковой системе развернуться и уйти, оставив страницу вне результатов поиска.

Клиенты HubSpot: Добавить метатеги noindex и nofollow стало еще проще.Все, что вам нужно сделать, это открыть инструмент HubSpot на странице, на которую вы хотите добавить эти теги, и выбрать вкладку «Настройки».

Затем прокрутите вниз до Advanced Options и нажмите «Edit Head HTML». В появившемся окне вставьте соответствующий фрагмент кода. В приведенном ниже примере я добавил теги «noindex» и «nofollow», поскольку это страница с благодарностью.

Нажми «Сохранить», и ты золотой.

Ta Da!

Вы только что волшебным образом удалили свою страницу из результатов поиска.Теперь вы можете снова начать собирать больше потерянных потенциальных клиентов.

Имейте в виду, что вы не увидите результаты мгновенно. Ваши изменения не вступят в силу до тех пор, пока поисковая система не просканирует вашу страницу в следующий раз. В зависимости от того, как часто вы обычно публикуете новые страницы на своем веб-сайте, на самом деле это может занять несколько недель. Чем чаще вы публикуете контент, тем чаще поисковые системы будут сканировать ваш сайт. Лучший способ отслеживать, как часто Google посещает ваш веб-сайт, — это просматривать статистику сканирования в Инструментах Google для веб-мастеров.

Итог: если вы заметили, что ваша страница все еще отображается в результатах поиска Google даже с тегом «noindex», возможно, это связано с тем, что Google не сканировал ваш сайт с тех пор, как вы добавили этот тег. Вы можете запросить у Google повторное сканирование вашей страницы с помощью инструмента «Просмотреть как Google».

Также обратите внимание, что веб-сканеры некоторых поисковых систем могут интерпретировать эти директивы иначе, чем Google, поэтому возможно, что ваша страница все еще может отображаться в результатах других поисковых систем.Но для Google это будет нормально — как только он просканирует ваш сайт. Если вы хотите узнать, как поисковые системы сканируют, индексируют и обслуживают контент, пройдите наш курс по SEO.

Тем не менее, вы сможете спать немного легче, зная, что в конечном итоге вы сделали свой веб-сайт лучшим местом для маркетинга.

Какие еще советы вы можете дать по деиндексации веб-страниц и когда это будет полезно для маркетологов? Поделитесь своими мыслями в комментариях.

Страницы веб-роботов

О теге

роботов

В двух словах

Вы можете использовать специальный тег HTML, чтобы запретить роботам индексировать содержание страницы и / или не сканировать ее на предмет наличия ссылок.

Например:

...

При использовании тега robots следует учитывать два важных момента:

роботы могут игнорировать ваш тег. Особенно вредоносные роботы, которые сканируют Интернет на наличие уязвимостей в системе безопасности и сборщики адресов электронной почты, используемые спамерами не обращаю внимания.
директива NOFOLLOW применяется только к ссылкам на этой странице.Это вполне вероятно, что робот найдет те же ссылки на других страница без NOFOLLOW (возможно, на каком-то другом сайте), и так далее попадает на вашу нежелательную страницу.

Не путайте это NOFOLLOW с rel = «nofollow» атрибут ссылки.

Детали

Как и /robots.txt, robots META tag является стандартом де-факто. Он возник в результате встречи «птиц пера» в 1996 году. распределенный семинар по индексированию, и он был описан в заметках о совещании.

Тег META также описан в HTML Спецификация 4.01, Приложение B.4.1.

Остальная часть этой страницы дает обзор того, как использовать роботов. Теги на ваших страницах с некоторыми простыми рецептами. Чтобы узнать больше, см. Также FAQ.

Как написать метатег для роботов

Куда девать

Как и любой тег, он должен быть помещен в раздел HEAD HTML-кода. page, как в примере выше. Вы должны поместить его на каждую страницу своего сайт, потому что робот может найти глубокую ссылку на любой страницу на вашем сайте.

Что в него положить

Атрибут «ИМЯ» должен быть «РОБОТЫ».

Допустимые значения атрибута CONTENT: «ИНДЕКС», «НОИНДЕКС», «СЛЕДУЮЩИЕ», «НЕ СЛЕДУЕТ». Допускается несколько значений, разделенных запятыми, но очевидно, только некоторые комбинации имеют смысл. Если нет тег роботов, по умолчанию — «INDEX, FOLLOW», так что нет необходимости объяснять это. Остается:

Как скрыть веб-страницы с помощью noindex, nofollow и disallow

Это руководство по использованию noindex, nofollow и disallow пригодится, если ваши веб-страницы должны быть невидимы для поисковых систем, индексирующих роботов и сканеров веб-страниц.

Бывают случаи, когда вам нужно сделать свои веб-страницы невидимыми для поисковых систем, роботов-индексаторов и сканеров веб-страниц. В этих случаях вы можете подумать о добавлении «noindex», «nofollow» и / или «disallow» к атрибутам, тегам, метаданным и командам вашей веб-страницы; это включает в себя сайты, используемые для разработки, тестирования или подготовки, или если вы хотите ограничить доступ к страницам (например, вход на порталы или фотогалереи), или если страницы или определенные ссылки считаются избыточными, устаревшими, заархивированными или содержат тривиальный контент.

Это руководство поможет вам понять, как использовать «noindex», «nofollow» и / или «disallow» как часть процедуры обслуживания и управления вашим веб-сайтом.

Примеры синтаксиса

Индексные веб-страницы

В следующих примерах выделено несколько вариантов и комбинаций, доступных для тегов метаданных, которые могут быть добавлены в тег.

Этот тег метаданных сообщит всем поисковым системам, что нужно проиндексировать весь ваш веб-сайт; он также проиндексирует все ваши другие веб-страницы.

Этот тег метаданных дает указание поисковым системам не индексировать эту страницу в частности, но он будет сканировать остальные веб-страницы вашего веб-сайта.

Этот тег метаданных сообщает поисковым системам только проиндексировать эту страницу и прекратить сканирование.

Этот тег метаданных предписывает поисковым системам не индексировать эту страницу и не сканировать ее дальше.

Предположим, вы хотите запретить роботу googlebot индексировать ваш веб-сайт; вы бы использовали этот синтаксис.

Связывание

Вы также можете использовать «nofollow» в определенных активных ссылках на страницах, которые вы, возможно, не хотите индексировать. Синтаксис ссылки nofollow похож на этот пример тега привязки ColdFusion cfm.

Robots.txt запретить

Вы также можете использовать файл robots.txt и поместить его в корневой или другой каталог в зависимости от конфигурации вашего веб-сервера. Типичный файл robots.txt будет содержать всего несколько строк кода, который дает команду роботам с использованием так называемого протокола / стандарта исключения роботов. Приведенные ниже примеры синтаксиса иллюстрируют несколько способов реализации этой функции.

В этом примере все роботы не заходят на ваш сайт.

 Агент пользователя: *
Disallow: /

В этом примере всем роботам дается команда держаться подальше от определенных каталогов.

 Агент пользователя: *
Запретить: / резервное копирование /
Запретить: / архив /
Disallow: / cgi-mail /

В этом примере всем роботам предписывается избегать доступа к определенному файлу.

 Агент пользователя: *
Запретить: /any-directory/any-file.htm

Вы можете указать несколько конкретных роботов, чтобы они не попадали в определенные или все области вашего веб-сайта. Ниже приведены несколько примеров.

 Пользовательский агент: badbot
Disallow: / private /
 
Пользовательский агент: anybot-news
Запретить: /

Пользовательский агент: googlebot
Disallow: /

Caveat

Хотя эти стратегии помогут вам в поисках управления доступом, их использование не гарантирует автоматически, что указанные вами теги или команды noindex, nofollow и / или disallow будут соблюдаться всеми поисковыми системами. , пауки и ползунки. Для того, чтобы эти методы вступили в силу, может потребоваться время, особенно если страницы были ранее разрешены для индексации или отслеживания, а затем для них было установлено значение nofollow или noindex.Вы все еще можете видеть страницы в результатах поиска, потому что их индексирование не обновлялось или обновлялось в последнее время.

Основы SEO: объяснение мета-роботов «Noindex, Nofollow»

Сегодня мы будем говорить о , одной из самых больших ошибок SEO , которые может сделать владелец веб-сайта (или веб-разработчик): noindex . Одно лишь упоминание об этом может вызвать у разработчика дрожь.

Обновление от 29.08.2018: см. Примечания к обновлению в конце сообщения.

Что такое тег

Проще говоря, этот метатег сообщает поисковым системам, какие действия они могут (или не предпринимать) на определенной странице. Основные поисковые системы будут соблюдать команды, включенные в этот тег.

Этот метатег может быть включен в любое место между тегами и в заголовке страницы, как показано ниже:

ВАЖНО: Этот тег не влияет на весь сайт.Он может содержать разные значения на разных страницах одного и того же веб-сайта.

Доступные значения для тега META ROBOTS

Вот список допустимых значений для тега META ROBOTS.

Индекс ( значение по умолчанию )
Noindex
Нет
Follow
Nofollow
Noarchive
Nosnippet
Noodp ( больше не актуально )
Noydir
Эти значения можно комбинировать, поэтому, например, все приведенные ниже варианты являются совершенно допустимыми метатегами роботов:
Эффект NOINDEX, NOFOLLOW
Значение NOINDEX указывает поисковым системам НЕ индексировать эту страницу, поэтому в основном эта страница не должна отображаться в результатах поиска.
Значение NOFOLLOW указывает поисковым системам НЕ следить (обнаруживать) страницы, на которые есть СВЯЗЬ на этой странице.
Иногда разработчики добавляют мета-теги роботов NOINDEX, NOFOLLOW на веб-сайты разработки, чтобы поисковые системы случайно не начали отправлять трафик на веб-сайт, который все еще находится в стадии разработки.
Или у вас может быть текущий (действующий) веб-сайт на www.example.com, но вы также храните копию для разработки на www.dev.example.com/. В этом случае рекомендуется использовать noindex, nofollow для версии Dev, чтобы избежать многих потенциальных проблем.
Часто случается, что люди случайно добавляют этот тег к действующим веб-сайтам, забывают добавить его в разрабатываемые копии или, что еще хуже: забывают удалить его с действующих веб-сайтов после запуска.
Да, такие же результаты и проблемы могут возникнуть из-за плохого файла robots.txt в корне веб-сайта, но это выходит за рамки темы этой публикации.
~ 3% веб-сайтов отелей затронуты
Согласно независимому анализу, проведенному HermesThemes.com из более чем 50 000 веб-сайтов отелей со всего мира, было определено, что ~ 3% веб-сайтов блокируют индексацию своих веб-сайтов поисковыми системами.
Это было шокирующее открытие, которое побудило нас решить проблему в этой статье.
Как проверить, есть ли эта ошибка на моем веб-сайте?
К счастью, есть очень простой способ проверить любой веб-сайт / страницу на наличие этой ошибки.
Просто откройте страницу в своем браузере, щелкните правой кнопкой мыши где-нибудь на странице (но не по ссылкам или изображениям) и выберите «Просмотреть исходный код страницы».В большинстве браузеров под Windows вы можете просто нажать CTRL + U на клавиатуре.
Откроется новая вкладка с полным HTML-кодом (как его видит браузер) для текущей страницы. Как упоминалось ранее, метатеги обычно находятся в верхней части веб-сайта, как в этом примере:
Если вы видите на этой странице строку META ROBOTS со значением NOINDEX или NONE, вам необходимо немедленно выполнить действие !
Как затронутые веб-сайты выглядят в результатах поиска?
Рад, что вы (надеюсь) спросили.
Существует очень удобный способ поиска в Google проиндексированных страниц с определенного доменного имени: [site: example.com] (без квадратных скобок).
Итак, мы заходим в Google и ищем домен, который использует мета-роботов NOINDEX на своем веб-сайте, и вот что мы получаем:
Я надеюсь, что вы понимаете, какой ущерб может быть нанесен полным удалением вашего веб-сайта из Google и другие поисковые системы. Ваш органический поисковый трафик упадет до нуля в течение нескольких дней.
Как исправить / удалить линию Meta Robots?
К счастью, решить эту проблему легко, и откладывать ее нельзя. Сначала вам нужно определить, откуда эта линия.
В WordPress первое, что вам нужно сделать, это перейти в Панель управления> Настройки> Чтение.
Убедитесь, что для Search Engine Visibility установлен флажок , снят .
Если это не помогло, проверьте, жестко ли закодирована эта строка в теме.
Чтобы проверить это, перейдите в «Внешний вид»> «Редактор», а затем выберите «Заголовок темы header.php» из списка файлов справа (действительно для большинства тем).
Просмотрите этот файл и убедитесь, что в нем нет тега META ROBOTS с вредоносным значением. Если есть — удалите и нажмите синюю кнопку «Обновить файл».
В заключение
Эта строка кода может вызвать большую головную боль, потерю дохода и негативное долгосрочное влияние на SEO.
На ваш веб-сайт влияет NOINDEX? Проверьте сегодня!
Обновления от 29.08.2018:
Я хотел бы уделить время и упомянуть новые цифры от 29 августа 2018 года.
Количество сайтов, которые я анализирую, резко увеличилось. В исходной статье использовались данные, полученные с 50 000 веб-сайтов отелей. Сейчас я анализирую ~ 875 000 уникальных сайтов отелей (уникальных доменов).
Результаты этих 875 000+ гостиничных веб-сайтов показывают, что 1,502% гостиничных веб-сайтов используют NOINDEX или NONE в качестве значения мета-роботов.
No related posts.

alexxlab

Разное

Синемаграфия на iphone: Синемаграфия в Instagram / Паразайт

Разное

Размеры css: Как задать ширину html страницы?

Разное

Брошюры примеры: 3300+ брошюры Шаблоны для бесплатной загрузки на Pngtree

Разное

Подбор шрифтовой пары: 404-Ошибка: 404

Разное

Как в инстаграмм сделать личный блог: Как сделать личный блог в Инстаграме: на телефоне, через Фейсбук

Разное