Как использовать noindex nofollow: Что такое и чем различаются noindex и nofollow

Содержание

Что это за теги Nofollow и Noindex, в чем разница и как правильно прописывать

Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.

Теги и атрибуты

Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики…

Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.

Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.

Что такое noindex

«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.

Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.

Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.

На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.

Какой контент помечается этим тегом?

Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.

Обычно в noindex заворачивают четыре типа текстового контента:

Информацию с низкой уникальностью, чтобы избежать проблем с антиплагиатом.
Коды счетчиков (типа метрики и других аналитических систем), ненужные поисковику.
Контактные данные, номера и ссылки, которые не стоило бы показывать в поисковой выдаче.
Постоянно меняющийся текст, индексация которого не принесет никакой пользы.

Как использовать тег?

Тег можно вставить в <head> страницы как мету (атрибутом), увеличив область его действия на всю страницу.

С таким кодом индексация страницы разрешается:


<meta name="robots" content="index"/>

А с таким индексация запрещается:


<meta name="robots" content="noindex"/>

Такое правило можно указать для конкретного робота. Например, поискового бота Google:


<meta name="googlebot" content="noindex"/>

Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.


<noindex>кусок текста, который хотелось бы скрыть от индексации поисковиками</noindex>

Правда, такая разметка может нагородить ошибок из-за того, что многие поисковики не понимают тег <noindex> и считают его наличие в тексте ошибкой. Поэтому приходится исползать его вариацию <!–noindex–>. В таком виде роботы, понимающие тег, считывают его без проблем и задают нужные свойства, а непонимающие попросту игнорируют.

Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в <noindex> и все.

Что такое nofollow

Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить.

Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.

Какой контент помечается этим атрибутом?

Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.

Как прописывать тег?

С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:


<meta name="robots" content="nofollow"/>

Как и в случае с <noindex>, правило можно задать для конкретного поискового робота:


<meta name="googlebot" content="nofollow"/>

Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.


<a href=“page.html” rel=“nofollow”>Гиперссылка</a>

Преимущества тега noindex и атрибута nofollow

Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.

Теги помогают сделать информацию на сайте более релевантной за счет вычленения из нее неуникального и разного рода утилитарного контента, который никак не связан с данными для посетителей. Не только пропадает текст, понижающий общую уникальность, но и увеличивается плотность вхождения ключевых слов.
Тегами можно спрятать информацию из сквозных блоков, которые часто воспринимаются роботами как дубликаты данных.

Я уже упомянул выше, что за тегом <noindex> частенько прячут контактную информацию, но не пояснил зачем. Дело в поисковых сниппетах Яндекса и Google, в которые ненароком могут попасть номера телефонов и адреса, указанные на другом сайте или закрепленные за другой компанией в Яндекс.Справочнике.
Атрибут nofollow может прятать платные ссылки. Рекламные статьи, заметки и обзоры, размещенные на странице. Поисковикам запрещают переход по ним, чтобы избежать санкций со стороны Google или Яндекса.
Еще nofollow нужен для распределения приоритетов сканирования. Чтобы в него не попадали всякие формы регистрации и прочие технические страницы. Сканирование этой информации никакой пользы не принесет.

Выше мы использовали <noindex> и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:


<meta name="robots" content="index, follow"/>

А это полный запрет на контент и ссылки:


<meta name="robots" content="noindex, nofollow"/>

Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.

Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.

Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots.txt заносите новые ссылки, неизвестные для Google и Яндекс.

Итоги

Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.

как, зачем и для чего используют в SEO

Noindex, nofollow имеют несколько разных понятий, и в зависимости от значений выполняют определенные функции.

метатег <meta name=»robots» content=»noindex, nofollow» />;
тег <noindex>;
атрибут rel=”nofollow”.

Для чего же созданы эти элементы и в каких случаях их стоит применять? Давайте разберемся вместе.

1. Метатег robots

Поисковая выдача формируется из документов, просканированных и проиндексированных поисковым роботом. Но не вся информация должна попадать в индекс. И тогда на помощь приходит метатег robots, благодаря которому можно скрыть страницу от индексации поисковыми роботами.

Тег необходимо установить в секцию <head> для того, чтобы страница не попала в индекс.

Пример:

<head>

</head>

Большинство поисковых роботов понимают этот метатег. А при необходимости можно закрыть страницу только от определенного робота.

Например, от Google:

Или только от Яндекс:

Что же тогда означает комбинация значений «noindex, nofollow»?

Как вы уже поняли, noindex запрещает индексировать страницу, включая весь контент, который на ней находится.

А nofollow запрещает поисковым роботам переходить как по внутренним, так и по внешним ссылкам, размещенным на странице.

Рассмотрим различные варианты значений метатега robots:

<meta name=“robots” content=“noindex, nofollow”>	Запрещает индексировать страницу и переходить по ссылкам
<meta name=“robots” content=“index,follow”>	Разрешает индексировать страницу и переходить по ссылкам на ней. Но в этой комбинации нет необходимости, т. к. по умолчанию поисковые роботы выполняют те же действия
<meta name=“robots” content=“index,nofollow”>	Можно индексировать страницу, но нельзя переходить по ссылкам
<meta name=“robots” content=“noindex,follow”>	Нельзя индексировать страницу, но можно переходить по URL-адресам. Используется для того, чтобы страница не попала в индекс, но поисковые роботы могли посещать ссылки, размещенные на ней. Эта комбинация встречается чаще всего. Вы можете увидеть ее на второй и последующих страницах пагинации, т. к. данные страницы не должны попадать в индекс, но поисковые роботы должны иметь возможность переходить по ссылкам товаров

Очень часто для запрета индексирования используют файл robots.txt. Но для поисковых роботов условия, написанные в нем, скорее служат рекомендациями и могут быть проигнорированы. Более надежным способом запрета от индексирования считается метатег <meta name=«robots» content=«noindex»/>.

Довольно часто для удаления уже проиндексированной страницы используют директиву Disallow в файле robots.txt. Это ошибка, ведь в таком случае вы запрещаете доступ к странице, и поисковый робот не удалит ее из индекса.

В выдаче поисковой системы вместо описания страницы вы увидите сообщение о том, что доступ к данной странице заблокирован с помощью файла robots.txt.
Чтобы удалить проиндексированную страницу из индекса, необходимо добавить метатег <meta name=“robots” content=“noindex,follow”>. Поисковый робот просканирует страницу, увидит атрибут noindex, и исключит страницу из индекса.

3. Атрибут rel=”nofollow”

rel=”nofollow” применим к тегу <а> и относится только к гиперссылке, для которой он прописан.

Как он выглядит:

<a href=»http://site.com/» rel=»nofollow»>текст ссылки</a>

Вид в коде страницы:

Рис. 1 — nofollow в коде страницы

История атрибута очень интересна. Изначально Google позиционировал nofollow как инструмент для борьбы со спамом в комментариях. Но это было в далеком 2005.

Затем шла борьба с накруткой PageRank. Все пытались манипулировать внутренним весом, чтобы у продаваемых страниц был самый высокий PageRank. Ведь ссылочный вес делился одинаково между всеми гиперссылками на странице, не учитывая rel=«nofollow». И поэтому в 2009 Google внес поправки, согласно которым ссылочный вес не передавался по ссылкам, к которым применим атрибут rel=«nofollow».

Более того, изменились правила передачи ссылочного веса. Например, если на странице Х размещены 3 ссылки (2 dofollow и 1 nofollow), а вес страницы Х равен 6 “баллам”, то до внесения изменений Гуглом каждая ссылка без nofollow получила бы по 3 “балла”. А сейчас такие ссылки получат по 2 “балла”. Это означает, что ссылочный вес разделяется между всеми внутренними ссылками, но передается только по dofollow.

Когда специалисты стали меньше заморачиваться над передачей ссылочного веса, Google заявил, что все купленные ссылки должны иметь атрибут rel=«nofollow», утверждая, что некоторые проплаченные ссылки ничем не отличаются от тех, что были получены естественным путем (когда люди просто делятся тем, что по их мнению может быть интересным и полезным для других). Таким образом Google стимулирует получать естественные ссылки путем создания качественного контента.

В каких случаях сейчас стоит использовать ссылки с атрибутом «nofollow»?

Могу порекомендовать вам использовать nofollow ссылки для того, чтобы:

сделать ссылочный профиль сайта разнообразным;
обезопасить себя от санкций, применив атрибут к некачественным ссылкам.

Как использовать NOINDEX и NOFOLLOW?

Общаясь с клиентами и посещая тематические форумы по SEO не редко можно встретить вопрос, как, каким образом и в каких случаях использовать запрет индексации, «NOINDEX» и «NOFOLLOW»?

Прежде чем погрузиться в эту тему полностью уточним синтаксис, как объявляются эти правила.

«NOINDEX» можно объявить как HTML-тег:

<noindex>текст или код, запрещаемый для индексирования</noindex>

Но, написав код именно так, вы получите ошибку валидатора, потому что такой синтаксис не валиден. Если вы стремитесь к валидному коду, следует написать так:

текст или код, запрещаемый для индексирования

Если вы хотите запретить индексировать всю страницу, можно использовать META-тег:

<meta name="robots" content="noindex"/>

Теперь рассмотрим синтаксис объявления «NOFOLLOW».

«NOFOLLOW» можно объявить как содержимое атрибута REL – (relationship) дословно-отношения. Атрибут указывает на отношение текущего документа к документу, на который ведёт ссылка, указанная в атрибуте «HREF» тега «A»:

<a href=”” rel="nofollow">анкор</a>

или как META-тег:

<meta name="robots" content="nofollow"/>

Как именно использовать эти инструкции, решать вам. А вот разницу давайте рассмотрим вместе.

<NOINDEX> и REL=»NOFOLLOW»

HTML-тег «NOINDEX» запрещает поисковой системе «Яндекс», только «Яндекс» поймёт эту инструкцию, и не будет индексировать выделенную этим тегом часть кода HTML-страницы. Только в Яндексе, потому что в поисковой системе «Google» возможность исключения части страницы не предусмотрена, что и указано в хелпе (помощи) поисковой системы.

Существует заблуждение, что если часть текста или кода страницы выделить тегом «NOINDEX», то Яндекс пропустит этот кусок кода при обходе роботом. Нет, не пропустит. Часть кода будет прочитана роботом и проанализирована поисковой системой, но не будет появляться и учитываться в поисковой выдаче системы. Чтобы лучше понять, почему так, поясним работу поисковых роботов, краулеров. Робот заходит на страницу вашего сайта и начинает её сканировать, читать. В какой-то момент обнаруживается объявление, открытие тега «NOINDEX». Так как страница роботом читается так же, как и людьми, слева направо и сверху вниз, разница в том, что робот читает не видимую часть, а код страницы, то краулер должен увидеть закрытие тега, то есть в какой точке страницы заканчивается отрывок кода, который вы запрещаете для индексации, значит, страница будет прочитана полностью. А значит, всё её содержимое будет известно поисковой системе. В связи с этим можно утверждать, что скрывать тегом «NOFOLLOW» часть неуникального текста – бессмысленно. Поисковая система поймёт и просчитает уникальность текста на вашей странице.

Встречается ещё один миф об этом теге. Если в тег «NOINDEX» поместить ссылку, то она не будет проиндексирована, а значит, не будет передавать свой «вес». Будет. Но в поисковую выдачу не попадёт текст, указанный в этой ссылке, сам анкор.

Какой смысл у тега «NOINDEX»?

Возникает резонный вопрос. А для чего нужен тег «NOINDEX»?

Тег «NOINDEX» предназначен для скрытия информации именно в поисковой выдаче, например, текст на странице посвящён описанию какой-либо одной характеристике товара, которая встречается у очень многих позиций вашего интернет-магазина, и вы в качестве примеров приводите описания этих товаров для сравнения и вам не нужно, чтобы в поиске всплывали эти второстепенные описания. Вот в этом случае ненужные подробные описания товаров и заключаются в тег «NOINDEX». Или ещё вариант, если на многих страницах повторяется один и тот же кусок текста. Конечно же, он может попасть в поисковую выдачу на всех этих страницах. Чтобы этого не произошло, используется тег «NOINDEX».

Как закрыть ссылку? Используем «NOFOLLOW».

С тегом «NOINDEX» разобрались. А для чего нужен «NOFOLLOW»?

Иногда нужно сослаться на информацию на другом интернет-ресурсе, но по каким-то причинам очень не хочется отдавать «вес» своей страницы. Вот в таких случаях и применяется атрибут отношения страницы-донора к акцептору (странице принимающей вес) – «NOFOLLOW».

Содержимое атрибута REL «NOFOLLOW» понимается обоими флагманами поиска, «Яндексом» и «Google». При указании «NOFOLLOW» роботы обойдут, прочитают и проанализируют сами ссылки, содержащиеся анкоры (текстовое содержание ссылки) и страницы, на которые идут ссылки, но вес вашей страницы передан не будет.

Синтаксис использования «NOINDEX» «NOFOLLOW» следующий:

Передаётся вес и индексируется анкор ссылки.

<a href=”http://reg50.ru/”> Поддержка и продвижение сайтов</a>

Вес страницы передаётся, но Яндекс не индексирует текстовое содержимое ссылки, анкор.

<a href=”http://reg50.ru/”> Поддержка и продвижение сайтов</a>

Вес страницы не передаётся и Яндекс не индексирует текстовое содержимое ссылки, анкор.

<a href=”http://reg50.ru/” rel="nofollow"> Поддержка и продвижение сайтов</a>

META-теги NOINDEX и NOFOLLOW

В начале статьи мы указали, что кроме тега «NOINDEX» и содержимого атрибута REL «NOFOLLOW» (rel=”nofollow”) есть ещё и META-теги с такими же именами. А зачем нужны они, если имеющегося функционала и так достаточно? Для чего используются
<meta name="robots" content="noindex"/>
и
<meta name="robots" content="nofollow"/>?

META-тег «NOINDEX», как и в случае с HTML-тегом запрещает индексирование только поисковой системе «Яндекс», всей страницы. То есть, в поисковую выдачу не попадёт только текстовая составляющая всей страницы, но страница будет прочтена и проанализирована, ссылки передадут «вес» страницам на которые ссылаются.

При наличии META-тега «NOFOLLOW» поисковые системы не будут индексировать ссылки, переходить по ним на акцепторы и передачи веса страниц не будет. Но, если на других страницах вашего сайта имеются такие же ссылки и они не закрыты META-тегом или атрибутом, то вес будет передан.

Итого

Теперь подведём итоги об использовании и значении «NOINDEX» и «NOFOLLOW».

Если нам нужно исключить какую-либо информацию из поисковой выдачи, используем «NOINDEX».

Если нам нужно сослаться на источник или материал на нашем сайте, но не нужно передавать вес страницы-донора, используем «NOFOLLOW».

При объявлении этих инструкций не забываем об описанных выше нюансах и принципах обработки этих команд поисковыми системами.

Успешного Вам продвижения!

#оптимизация сайта, #продвижение сайта, #техническая оптимизация

Что такое nofollow ссылка? Всё что вам нужно об этом знать

Тег rel=”nofollow” — один из самых простых HTML-тегов и один из самых важных для понимания, если вы занимаетесь SEO-оптимизацией. В этом руководстве вы узнаете о ссылках с атрибутом nofollow всё, что нужно, и даже больше.

Ссылки с атрибутом nofollow не новы. Они существуют уже 14 лет.

Если вам важен успех сайта в поисковых системах, то знать, когда стоит использовать ссылки с nofollow, а когда нет — не просто важно, а необходимо.

В этом руководстве я объясню, как появились ссылки nofollow, как они помогают в SEO и при правильном использовании защитят ваш сайт от фильтров Google.

Давайте сперва поговорим об основах.

Что такое nofollow ссылки?

Ссылки nofollow — это гиперссылки с атрибутом rel со значением “nofollow.”

Такие ссылки не влияют на ранжирование страниц на которые ведут, потому что Google не передаёт PageRank или анкорный текст через них. На самом деле, поисковый бот Google даже не посещает подобные страницы.

Рекомендуем к прочтению: Google PageRank не умер: почему он всё ещё имеет значение

Ссылки nofollow vs. dofollow ссылки

Ссылки с и без атрибута nofollow для среднестатистического пользователя выглядят одинаково.

Синий текст в этом предложении — это dofollow ссылка. А синий текст в этом предложении — nofollow. Разница между ними становится заметна только если покопаться в HTML-коде.

Ссылка dofollow:

<a href="https://ahrefs.com">Синий текст</a>

Ссылка nofollow:

<a href="https://ahrefs.com" rel="nofollow">синий текст</a>

Они идентичны, за исключением того, что во второй ссылке появляется тег rel=”nofollow”.

Можно сделать так, чтобы все ссылки на странице стали ссылками nofollow — просто добавьте тег в header страницы. Однако, тег rel=”nofollow” используется чаще, поскольку он позволяет добавлять атрибут nofollow только к определенным ссылкам на странице, а не ко всем.

Не уверены зачем это вообще нужно? Пришло время для небольшого экскурса в историю.

История возникновения

rel=”nofollow”

В 2005 году компания Google представила тег nofollow, позиционируя его как инструмент для борьбы со спамом в комментариях.

Если вы блогер (или читатель блога), вам, вероятно, до боли знакомы люди, которые пытаются поднять позиции своих сайтов в поисковых системах через комментарии со ссылками, например, “Заглядывайте на мой сайт со скидками на лекарства”. Это называется спам в комментариях, и нам он тоже не нравится, поэтому мы тестируем новый тег, который его блокирует. С этого момента, когда Google видит атрибут (rel=“nofollow”) на гиперссылках, они не получают никакой пользы при ранжировании сайта в результатах поиска. Это не влияет на сайт, на котором был размещен этот самый комментарий, это всего лишь способ убедиться в том, что спамеры не получат выгоды от злоупотребления попыткой пропиариться в публичных пространствах типа комментариев в блоге, трекбеках и списках сайтов источников переходов.

Вскоре после этого Yahoo, Bing и несколько других поисковых систем также объявили о поддержке тега nofollow.

ВАЖНО

В разных поисковых системах определения тега nofollow немного отличаются. Вот таблица, демонстрирующая эти различия

В настоящее время WordPress, как и многие другие CMS, по умолчанию добавляет тег nofollow к ссылкам в комментариях. Так что даже если раньше вы никогда не слышали о ссылках с атрибутом nofollow, можете быть уверены, что любой спам-комментатор в вашем блоге, скорее всего, не получит никакой SEO-выгоды, несмотря на приложенные усилия.

Тем не менее, если вы переживаете, что к вашим комментариям не применяется атрибут nofollow, то вот простой способ это перепроверить:

Найдите комментарий
Щёлкните правой кнопкой мыши на ссылку
Нажмите “Проверить”
Посмотрите на выделенный HTML-код.

Если вы видите тег rel=nofollow, то ссылка nofollow, а если нет, то, соответственно, dofollow

Не хочется копаться в HTML-кодах? Установите расширение “nofollow” для Chrome, которое будет выделять все ссылки nofollow при просмотре веб-страниц.

Есть? Отлично. А теперь вернёмся к нашему уроку истории.

2009: Google ведёт борьбу с накруткой PageRank

PageRank передаётся по сайту через внутренние ссылки (ссылки с одной страницы сайта на другую).

Например, часть веса PageRank этой статьи перетекает на другие страницы этого сайта по гиперссылкам, подобным этой. И в целом, более высокий PageRank означает более высокое место при ранжировании. Гари Илш подтвердил эту информацию ещё несколько лет назад.

DYK that after 18 years we’re still using PageRank (and 100s of other signals) in ranking?
Wanna know how it works?https://t.co/CfOlxGauGF pic.twitter.com/3YJeNbXLml
— Gary “鯨理” Illyes (@methode) 9 February 2017

Однако, PageRank передаётся только по ссылкам dofollow.

Так было всегда, но с годами способ распределения PageRank между follow ссылками на странице изменился.

До 2009 года всё работало следующим образом:

Если у вас было три ссылки на странице, и одна из них — nofollow, то общий PageRank делился между двумя ссылками dofollow.

К сожалению, некоторые люди начали использовать это как возможность влиять на ранжирование путём наращивания PageRank для своих сайтов.

Другими словами, они перестали размещать ссылки на менее важные страницы, чтобы обеспечить максимальный приток PageRank на продающие страницы.

В 2009 году Google объявил об изменениях, направленных на пресечение подобной практики на корню.

Так что же всё-таки произойдет, если у вас будет страница с десятью “баллами” PageRank и десятью исходящими ссылками, где пять из них — nofollow? […] Первоначально пять ссылок без nofollow получили бы по два “балла” PageRank каждая […] А более года назад Google изменили это, и теперь PageRank проходит по ссылкам таким образом, что пять ссылок без nofollow получают только по одному значению PageRank.

Вот наглядный пример того, как это выглядело до и после:

ВАЖНО

PageRank — зверь очень загадочный и непростой. Прошло больше десяти лет с тех пор, как в Google внесли эти изменения. И хотя в последние годы от них не было слышно о каких-либо дальнейших изменениях, связанных с работой PageRank, вполне вероятно, что негласно они всё же происходили.

И хотя накрутка PageRank больше не практикуется, добавление атрибута nofollow к некоторым внутренними ссылками поможет с приоритетом сканирования, потому что, как было сказано ранее, поисковый бот Google даже не переходит по подобным ссылкам.

Поисковые боты не могут войти или зарегистрироваться на вашем сайте в качестве пользователя, поэтому нет смысла приглашать Google-бота переходить на страницы регистрации и авторизации. Использование тега nofollow даёт возможность боту Google сканировать другие более важные для вас страницы, которые и попадут в индекс Google.

Однако, это немного другая и более сложная тема, поэтому не будем углубляться в неё сегодня.

Рекомендуем к прочтению: Crawl budget for SEO: the ultimate reference guide

2013 год и далее: Google борется с проплаченными ссылками

Покупка и продажа ссылок, которые передают PageRank нарушают Руководство для вебмастеров.

Таким образом, все проплаченные ссылки должны быть nofollow.

Так было на протяжении многих лет, даже задолго до 2013 года.

Однако, судя по всему, с этого времени Google все больше беспокоится о влиянии проплаченных ссылок на алгоритм ранжирования.

Мэтт Каттс рассуждает о разоблачени таких ссылок в видео от 2013 года:

Подытожим: Google хочет поощрять заработанные, а не проплаченные ссылки.

Люди относятся к ссылкам как к рекомендациям от редакторов. Они ставят ссылки на что-то, что их вдохновляет. На что-то интересное. Они делятся ссылками с друзьями. Значит, есть причина, по которой они хотят выделить эту конкретную ссылку.

Проблема заключается в том, что некоторые “проплаченные” ссылки ничем не отличаются от заслуженных. Подумайте о том, какая разница между ссылками в проплаченном обзоре и независимом обзоре.

На первый взгляд обе ссылки будут выглядеть одинаково. Поэтому у Google должен быть способ обозначить “проплаченные” ссылки.

Думайте об этом в следующем ключе: Есть два способа получить Оскар:

Вариант #1: Жить ради актёрского искусства, постоянно оттачивать навыки, совершенствовать своё мастерство в течение долгих лет.

Вариант #2: Купить сразу 6 штук на Амазоне всего за $8.97…

Тег nofollow (на “проплаченных ссылках”) для Google — все равно Что ценник в $8.97 на обратной стороне вашего фальшивого Оскара: признак того, что вы не заслужили такую награду.

Помогают ли ссылки с атрибутом nofollow для SEO?

Давайте вкратце вспомним, что говорит Google о том, как они работают с nofollow-ссылками:

Google не передаёт PageRank и не учитывает анкорный текст по таким ссылкам.

Вроде всё понятно, пока вы не прочитаете предыдущее предложение:

Обычно мы не переходим по таким ссылкам. Это означает, что Google не передаёт по ним PageRank или анкорный текст.

Выражение “обычно” довольно размыто и абстрактно, как по мне. Оно подразумевает, что в некоторых случаях они всё же по таким ссылкам переходят.

Что это могут быть за случаи — остаётся только догадываться.

Некоторые считают, что все без исключения ссылки всё еще передают PageRank. Некоторые считают, что Google передаёт PageRank по ссылкам с атрибутом nofollow, но не по всем. Другие полагают, что некоторые слишком вчитываются в текст, который не менялся в течение добрых семи лет.

Ранее в этом году мы изучили 44,589 поисковых выдач на предмет корреляции между ранжированием в Google и различными атрибутами ссылок — одной из метрик было количество dofollow ссылок.

Вот что мы выяснили:

Корреляция обратных ссылок dofollow несколько слабее корреляции с общим количеством обратных ссылок.

Вот что на этот счёт говорит Тим:

Это может указывать на то, что Google ценит nofollow ссылки с “сильных” страниц больше, чем dofollow ссылки со “слабых” страниц. #ктознает

Но отнеситесь к этому скептически. Основной целью данного исследования не являлся анализ влияния ссылок nofollow vs. dofollow как таковой. Поэтому мы не изучали этот фактор в отдельности.

Но даже если предположить, что ссылки nofollow не оказывают прямого влияния на SEO, косвенно они все равно могут иметь влияние, поскольку:

1. Они помогают разнообразить ваш ссылочный профиль

Естественные ссылочные профили содержат разные ссылки.

Некоторые dofollow ссылки, а некоторые — nofollow. Это неизбежно, потому что кто-то обязательно будет ссылаться на вас через ссылки nofollow… как бы вы вам это не хотелось это изменить.

Более того, большинство обратных ссылок, которые вы получаете из следующих мест, автоматически будут ставиться в nofollow:

Социальные сети (Facebook, Twitter, YouTube, и т.д.)
Форумы (Reddit, Quora, и т.д.)
Пресс-релизы
Гостевые книги (привет, 1998 год!)
Википедия (подсказка “почему”: любой может отредактировать страницу в Википедии)
Пингбэки
Каталоги

Короче говоря, если у веб-сайта есть только dofollow ссылки то это подозрительно.

Чтобы проверить количество dofollow ссылок и nofollow воспользуйтесь отчетом Overview в Сайт Эксплорере Ahrefs.

Site Explorer > введите любой домен, URL, или вложенную папку > Overview

Мы видим, что 85% ссылающихся доменов на блог Ahrefs это dofollow ссылки.

Хорошо это или плохо? Пока есть разнообразие, это хорошо.

Но если увидите 100% dofollow ссылок или около того, то это явный признак ссылочных манипуляций. Исходя из опыта, я бы сказал, что 60–90% — это вполне нормально, но этот диапазон не является каким-либо абсолютом оценивания. Если кажется, что что-то нечисто, копните немного глубже.

2. Они приводят трафик, а трафик даёт dofollow ссылки

Ссылки полезны не только для SEO. Это ещё и источник реферального трафика.

Вот почему мы так активны на Quora.

Если вы никогда ранее не слышали о Quora, это сайт вопросов и ответов, на котором каждый может ответить на вопросы, которые задают другие люди. Quora позволяет вставлять в ответах ссылки на соответствующие ресурсы.

Вот недавний ответ нашего менеджера по маркетингу Ребекки Бек, где она оставила ссылку на блог Ahrefs:

К сожалению, все исходящие ссылки на Quora являются nofollow. И эта ссылка прямо не повлияет на SEO.

Но вот что интересно:

Если мы проверим отчет по Backlinks (обратным ссылкам) в Сайт Эксплорере Ahrefs для ahrefs.com и поставим фильтр только на ссылки dofollow, то вот одна из многих обратных ссылок, которые мы увидим:

А теперь давайте рассмотрим ссылающуюся страницу (страницу, с которой идёт dofollow ссылка):

Единственная причина, по которой мы получили dofollow ссылку заключается в том, что автор этой статьи наткнулся на ответ Ребекки на Quora. Другими словами, nofollow ссылка косвенно привела к ссылке dofollow.

Поэтому стоит запомнить следующее: чтобы кто-то мог оставить на вас ссылку, следующие три события должны произойти в таком порядке::

Люди должны увидеть ваш контент
Он должен им понравиться
Они рекомендуют его другим (через другие ссылки на сайте).

Поскольку ссылки с атрибутом nofollow могут помочь выполнить первый шаг, они часто являются катализаторами последующих ссылок.

3. Они могут защитить от санкций со стороны Google

Иногда есть справедливые основания для того, чтобы платить за ссылки.

Если сайт получает кучу трафика, есть смысл заказать рекламный пост на этом сайте. И если вы платите хорошие деньги за размещение, то вы, вероятно, захотите оставить обратную ссылку на ваш сайт, чтобы читатели могли легко на него выйти.

Проблема? Google утверждает, что использование платных ссылок противоречит Руководству для вебмастеров.

Учитывая сказанное, SEO-коммьюнити, как правило, делится на два лагеря:

Те, кто считает, что Google может точно определить платные ссылки алгоритмически.
Те, кто считает, что Google не может точно определить платные ссылки алгоритмически.

Кто из них прав — уже совсем другой вопрос.

Пока что предположим, что лагерь под номером 2 прав, и Google действительно с трудом определяет подобные ссылки. Это значит, что вы можете не беспокоиться и спокойно продавать и покупать ссылки на контент, который вам нравится, верно? Не спешите.

У Google есть инструмент, позволяющий любому пожаловаться на сайт, который покупает или продаёт ссылки..

Инструмент Google для жалоб на “проплаченные” ссылки.

Перевожу: возможно следует бояться не Google, а конкурентов.

Подумайте сами: Если конкурент видит, что вы хорошо ранжируетесь по его целевому запросу и использует такой инструмент, как Сайт Эксплорер Ahrefs для поиска ваших ссылок и находит dofollow ссылки вроде этой:

Пример “проплаченной” ссылки.

Почему бы ему на вас не пожаловаться?

Если благодаря этой жалобе команда, занимающейся веб-спамом в Google увидит сайт, найдёт проплаченные ссылки и применит ручные меры, то на одного конкурента в выдаче станет меньше.

И это подводит нас к следующему пункту:

Как проверить сайт на наличие проблем с nofollow ссылками

Рискованно иметь dofollow ссылки, которые противоречат Руководству для вебмастеров от Google.

То же самое относится и к исходящим ссылкам на вашем сайте, которые должны иметь атрибут nofollow.

Но дело не только в гневе Google (т.е. санкциях). Может случиться так, что некоторые внутренние ссылки nofollow будут ухудшать SEO.

Дальше мы научимся проводить беглый анализ, который поможет выявить и устранить любые подобные проблемы.

1. Ищите dofollow ссылки с вхождениями запросов в анкорных текстах

Чаще всего, ссылаясь на ваш сайт, люди не будут использовать точное вхождение запроса в анкорном тексте. Поэтому dofollow ссылки с точным вхождением обычно служат признаком манипуляций со ссылками.

Чтобы их найти, воспользуйтесь отчетом Anchors (Анкоры) в Сайт Эксплорере Ahrefs.

Site Explorer > введите свой домен > Anchors > фильтр dofollow

Здесь мы видим, что большинство анкоров этого сайта брендированные или общие (размытые с целью конфиденциальности), но есть также девятнадцать веб-сайтов (ссылающихся доменов), которые ссылаются, используя в качестве анкора фразу “кредиты”.

Если нажать на выпадающий список, а затем выбрать Referring domains (Ссылающиеся домены), мы сможем увидеть, что это за сайты.

Затем, если еще раз нажмем на выпадающий список, то увидим окружающий текст всех ссылок с каждого домена.

Вот некоторые рекомендации по работе с различными типами ссылок:

Покупные ссылки на некачественных сайтах. Попросите убрать ссылку на ваш сайт (желательно) или добавить к ней атрибут nofollow. В противном случае, просто отклоните ссылки на уровне домена или страницы.
Ссылки из блока об авторе в гостевых постах. Вы когда-нибудь оставляли ссылки с точным вхождением в блоке автора в гостевых постах? Попросите поставить ссылку на бренд, а не ключевое слово. А если хотите оставить ссылку с вхождением, то поставьте nofollow
Ссылки c виджетов. Измените HTML вашего виджета так, чтобы ссылка была nofollow. Попросите того, кто уже встроил виджет, добавить к ссылке атрибут nofollow.
“Сквозные” ссылки. Попросите поменять анкор с ключевого слова на бренд.

Обратите внимание, что точное вхождение ключевых слов в dofollow ссылках не всегда говорит о том, что сайт низкого качества или ссылка “проплачена”. Такие ссылки могут появляться и естественным образом.

Поэтому, прежде чем отклонять обратные ссылки или просить добавить к ним тег nofollow, стоит тщательно их изучить.

Если этого не делать, в конечном счёте можно нанести больше вреда, чем пользы.

СОВЕТ

Во вкладке с отчётами Anchors крупных сайтов может быть огромное количество различных анкоров.

Так что вот небольшая хитрость:

Сначала экспортируйте полный список всех анкоров.

Site Explorer > введите свой домен > Anchors > добавьте фильтр dofollow > Export > CSV

Затем скопируйте и вставьте их в Ahrefs Keywords Explorer пачками по 10000 за раз.

Нажмите на поиск, чтобы сгенерировать отчёт, затем отсортируйте по CPC от большего к меньшему.

Поскольку обычно анкоры с высоким CPC спамятся чаще, они будут вверху списка.

В отчёте Anchors в Сайт Эксплорере введите спамные анкоры в поисковую строку и исследуйте дальше.

2. Ищите проплаченные обратные ссылки follow

Обратные ссылки из проплаченных постов всегда должны иметь атрибут nofollow.

Потому что вы фактически платите за ссылку и она не должна передавать PageRank.

Чтобы найти такие ссылки, введите слово “sponsored” в поиск в отчёте Backlinks по вашему сайту, используя Сайт Эксплорер Ahrefs.

Site Explorer > Backlinks > поиск по слову “sponsored” > фильтр dofollow

Разберитесь с ними и попросите сделать такие ссылки nofollow.

3. Ищите на своём сайте исходящие ссылки с вхождениями ключевых слов

Знаете ли вы, что Forbes сделал все исходящие ссылки на сайте nofollow ещё в 2017 году?

Это произошло после того, как они обнаружили, что некоторые из их авторов продавали ссылки со своих статей. И поскольку авторов у них очень много, они решили, что проверять каждую ссылку будет очень долго, и воспользовались “ленивым” вариантом, чтобы не пропустить ни одной.

Как это относится к вам?

Если вы когда-либо публиковали гостевые публикации на своём сайте или у вас есть UGC контент, вы можете столкнуться с аналогичной проблемой.

Чтобы это выяснить, посмотрите на исходящие анкоры в Сайт Эксплорере Ahrefs.

Site Explorer > введите свой домен > Outgoing links > Anchors > фильтр dofollow

Ищите подозрительные слова и фразы, которые не ожидаете увидеть на своём сайте, и удаляйте или ставьте тег nofollow везде, где ссылка может показаться неестественной (например, анкоры с точными или частичными вхождениями ключевых слов в блоке автора в гостевых постах и т.д.).

Google лучше всех может объяснить почему это важно:

Если вы не можете или не хотите поручиться за содержание страниц, на которые ссылаетесь, например, комментарии или записи в “гостевой книге”, лучше сделать эти ссылки nofollow. Это может отбить у спамеров охоту использовать в своих корыстных целях ваш сайт, и поможет уберечь его от непреднамеренной передачи PageRank.

Нашли много анкоров?

Воспользуйтесь советом из пункта #1.

4. Ищите проплаченные follow ссылки на своём сайте

Вы когда-нибудь публиковали на сайте посты за деньги? А убедились, что ссылки обернуты в nofollow?

Если нет, то проверьте.

Для этого вбейте в строку Google <code>site:yourwebsite.com “sponsored post”</code>

Открывайте результаты один за другим и ищите эти самые ссылки.

Если вы установили расширение для Хрома nofollow, все ссылки с атрибутом nofollow на странице будут выделены, соответственно, спонсируемая ссылка тоже должна быть выделена. А если нет, то это dofollow ссылка.

Убедитесь в этом наверняка, проверив HTML код. Щёлкните правой кнопкой мыши по ссылке, нажмите “Inspect”и найдите тег <code>rel=”nofollow”<code>—HTML—

Если его нет, то это dofollow ссылка и вам следует добавить к ней тег nofollow.

5. Ищите внутренние nofollow ссылки

Ни одна внутренняя ссылка не должна быть nofollow если она не указывает на маловажные страницы или те, которые вы хотите исключить из индекса поисковых систем.

Чтобы найти внутренние nofollow ссылки, используйте отчёт Best by Links в Ahrefs Site Explorer.

Site Explorer > введите свой домен > Best by Links > переключите на Internal > сортировать по nofollow

Если вы видите страницы с внутренними nofollow ссылками, нажмите на цифру с их количеством, чтобы увидеть где они появились и разбирайтесь подробнее. Возможно, они там нужны (например, если есть внутренние nofollow ссылки на страницу входа в систему).

Однако, если очевидной причины для добавления атрибута nofollow нет, просто удалите его.

У нас тоже есть такое. По какой-то причине у нас появилась nofollow ссылка с одной записи в блоге на другую.

СОВЕТ

Для более детального аудита проблем, связанных с внутренними nofollow ссылками, запустите последнюю версию Ahrefs Site Audit.

Это не только даст вам на 100% свежие данные, но и предупредит о множестве специфических проблем, связанных с внутренними и внешними ссылками nofollow.

Пример проблем, которые могут возникнуть со внутренними ссылками nofollow в Ahrefs Site Audit

Узнайте, как настроить первое сканирование в Site Audit в этом видео:

Заключительные мысли

Ссылки nofollow играют огромную роль в SEO.

Надеюсь, это руководство вооружит вас знаниями, необходимыми для того, чтобы ссылки nofollow работали на вас… а не против вас.

Прежде чем закончить, хочу поделиться заключительной и, возможно, довольно очевидной мыслью: если вы активно создаёте ссылки на сайт, то стоит отдать предпочтение созданию dofollow ссылок. Через них передаётся PageRank и они оказывают непосредственное влияние на SEO.

В Site Explorer все наши отчёты по обратным ссылкам имеют фильтры dofollow и nofollow.

Так проще выбирать нужное при анализе ссылочных профилей конкурентов, или при создании списка для методики “skyscraper” и т.д.

Всё ещё остались вопросы? Спросите в комментариях ниже или в Twitter.

Перевел Дмитрий Попов, владелец Affilimarketer.com

Тег noindex и атрибут nofollow: что это такое

Тег noindex введен поисковой системой Яндекс. Он предназначен для закрытия от индексации роботами ссылки или части html кода на странице. Имеет следующую структуру:

<noindex> ссылка или часть кода, которые необходимо скрыть, </noindex>

Данный тег не чувствителен к вложенности и может быть размещен в любой части кода. Поисковые машины, кроме Яндекса, воспринимают команду в качестве невалидной. Если валидность кода важна, тег оформляется следующим образом:

<!—noindex—> текст <!—/noindex—>

Функции:

Тег noindex позволяет:

повысить релевантность страницы поисковым запросам за счет уменьшения доли второстепенной информации и увеличения плотности ключевых слов,
скрыть дублирующийся контент, за использование которого может последовать пессимизация сайта в выдаче Яндекса,
сохранять статический вес страниц и управлять его передачей, так как закрытие одних ссылок пропорционально увеличивает вИЦ оставшихся,
улучшить сниппет. Если в ходе раскрутки сайта в его текстовое описание в выдаче попадает ненужная информация со страницы, ее закрывают от индексации,
скрыть от роботов лишние данные (коды счетчиков, ссылки на сайты с постоянно изменяющейся информацией и т.д.).

Nofollow

Атрибут nofollow не оказывает влияния на индексацию ссылок, но сообщает поисковым роботам, что вес данного линка равен нулю. При продвижении сайта это позволяет сохранить его PR и тИЦ, которые на указанную страницу не передаются. Поисковые боты (кроме googlebot) по ссылке переходят. Атрибут поддерживают Google, Yahoo и Яндекс (с 30 апреля 2010 года). Структура написания параметра следующая: анкор ссылки

Атрибут nofollow используют для ссылок на все сайты, которым не требуется передавать TrustRank ресурса-донора. Для внутренней перелинковки прием не применяется.

Noindex и nofollow позволяют закрыть от индексацию не только отдельную ссылку, но и всю страницу (прописываются внутри нее или в файле robots.txt):

или

<html>
<head>
<meta content=”nofollow”/>
<title>Заголовок данной страницы</title>
</head>

Nofollow и noindex могут использоваться совместно:

<noindex><a rel=»nofollow» href=»http://example.ru»> анкор ссылки</a></noindex>.

В таком случае поисковый робот Google ссылку проигнорирует, а Яндекса не увидит.

Другие термины на букву «N»

Совпадений не найдено

Все термины SEO-Википедии

Теги термина

что это такое, как правильно использовать

Nofollow – это атрибут, который прописывается для определенной ссылки или всех ссылок на странице в мета-теге robots с целью запрета поисковым роботам на переход по ним.

Noindex – это атрибут, который закрывает от индексации текст на странице.

То есть, noindex отвечает за контент в документе и запрет на индексацию его, в то время как nofollow – за ссылку.

Правила применения и зачем нужен nofollow?

Чтобы понять, в каких случаях может вообще пригодиться этот атрибут, рассмотрим, как к нему относятся популярнейшие поисковые системы.

Яндекс. Когда на вашем ресурсе содержатся разделы, предназначенные специально для обсуждения записей, написания комментариев к статьям или форум, важно следить за тем, какие исходящие ссылки оставляют в них посетители. Желательно модерировать каждый комментарий. Благодаря этому владелец сайта сможет предотвратить размещение различных вредоносных ссылок от спамеров. Хотя поисковик и не учитывает их, спам сильно влияет на репутацию веб-ресурса и к нему может быть применен фильтр. В связи с этим следует проверять все комментарии, и если есть какие-то сомнения относительно качества размещаемой ссылки, пропишите для них атрибут rel=”nofollow”. Сейчас, в измененном руководстве Яндекс, данный текст был удален и осталось только правило применения rel=»nofollow» Руководство Яндекс о nofollow
Google. Если у вашего сайта есть раздел, где пользователи могут комментировать записи, есть большой риск, что в комментариях появятся ссылки на вредоносные страницы. Спамеры «любят» сайты с комментариями без модерации. Атрибут nofollow для спам-ссылок спасет ваш ресурс и сохранит его чистую репутацию в глазах поисковой системы. Если же вы доверяете сайту, на который ссылается посетитель или вы сами ссылаетесь, то нет необходимости прописывать nofollow. Руководство Google о nofollow

Эти сообщения взяты с официальных сайтов поисковиков. Как видите, в Яндекс и Google написаны аналогичные вещи: значение nofollow нужно использовать в тех случаях, когда вы хотите сообщить ботам о недоверии в отношении сайта, на который ведет ссылка.

Только в Яндекс упор делается, что ссылка с rel=»nofollow» не будет индексироваться поисковой системой, а в Google говорится о том, что робот не будет переходить по такой ссылке.

Рассмотрим более конкретный пример, когда для ссылки требуется прописать запрещающий атрибут:

Материал сомнительного качества. Если вам не нравится содержание страницы, на которую посетитель оставляет ссылку в комментарии, и вы не желаете жертвовать репутацией своего сайта, прописывайте в теги данной ссылки значение rel=”nofollow”. Спамеры, заметив на вашем ресурсе тенденцию, когда к непроверенным ссылкам добавляется блокирующий атрибут, вскоре прекратят попытки навредить сайту. Если же вы видите, что пользователь оставляет ссылку на качественный материал, вручную или автоматически nofollow можно удалить.

Как правильно прописать nofollow?

Это сейчас nofollow позволяет управлять каждой ссылкой отдельно, но когда-то данное значение можно было задействовать только в мета-теге, который закрывал от поисковой системы абсолютно все ссылки на странице. И для запрета перехода по отдельным ссылкам вебмастерам приходилось блокировать их URL в robots.txt.

Robots Nofollow

Эти мета-теги так и остались по сей день. Если вы хотите закрыть от индексации все ссылки, содержащиеся на определенной странице, то на этой странице нужно прописать такой код:

<meta name=”robots” content=”nofollow” />

Важно не путать данный тег с двумя нижеприведенными кодами, content=»none» и content=”noindex, nofollow” блокируют доступ ботов ко всей странице, а не только к ее ссылкам. Поэтому, если вы хотите чтобы страницы индексировались, то ни в коем случае не прописывайте для них два вот этих тега:

<meta name=”robots” content=”none” />

<meta name =”robots” content=”noindex, nofollow” />

Rel=»Nofollow»

Выше мы рассмотрели варианты, как запретить переход поисковых роботов по всем ссылкам на страницах. Но еще можно назначить запрет на переход к конкретной ссылке.

Чтобы запретить для индексации и переход робота по ссылке, к ней надо прописать атрибут rel=”nofollow”, в коде это выглядит так:

<a href=”URL” rel=”nofollow”>анкор гиперссылки</a>

Утекает ли вес ссылки через nofollow?

Хотя Google в своих заявлениях позиционирует применение атрибута nofollow как переход по ссылке. И это подтвердило обращение бывшего главы компании по борьбе с поисковым спамом, Мэтта Катса. Он заявил, что «Google может учитывать ссылки из социальных сетей, даже несмотря на nofollow».

А вот с Яндексом вопрос не явный. Он четко пишет в своей документации, что данный атрибут запрещает индексацию таких ссылок.

А если мы перейдем в описание атрибута robots nofollow, то здесь уже видим запрет на переход, и не слово про индексацию.

Но, раньше можно было это проверить, если применить в поиске такую конструкцию url: ваш урл << inlink:(“анкор ссылки”), и Яндекс нам отображал только те страницы, где содержится наш искомый анкор ссылки. Сейчас же этот метод не работает, поисковая система Яндекс запретила использовать такую конструкцию в поиске. Поэтому можно с большей долью вероятностью сказать, что Яндекс может учитывать такие ссылки, потому что они появляются в Яндекс Вебмастер.

Видно, например, что Яндекс учитывает ссылки с Твиттера, даже если они отдаются через редирект и закрыты nofollow.

В целом можно сказать, что применение данного атрибута для поисковых роботов не всегда является запретом, если особенно сайт авторитетный.

Стоит ли закрывать внутренние ссылки в nofollow?

В прошлом, seo оптимизаторы сильно злоупотребляли rel=»nofollow» тем самым манипулирую передаваемым весом внутри сайта. Поэтому поисковая система Google заявила, что все внутренние ссылки отмеченные rel=»nofollow» будут отдавать вес вникуда https://www.mattcutts.com/blog/pagerank-sculpting/.

То есть со страницы где стоит такая ссылка будет уходить вес, но на страницу на которую стоит ссылка он не будет передаваться, получается он будет обнуляться.

Об этом в видео говорит бывший руководитель поиска в Google. Видео на английском, поэтому включите русские субтитры.

Атрибут noindex: что это и чем отличается от nofollow?

Многие начинающие вебмастера ломают голову, не понимая, чем noindex отличается от nofollow. Все просто:

nofollow — применяется к ссылкам
noindex — применяется к тексту

Если вы хотите запретить текст на всей странице сайта для индексации, но при этом учитывать ссылки, на странице нужно прописать следующий код:

<meta name=”robots” content=”noindex, follow: />

Если вы хотите закрыть часть текста, то в Google нет такого атрибута, но в Яндексе это возможно. Тег noindex был внедрен поисковиком Яндекс, так как раньше он не понимал nofollow, а ненужные ссылки нужно было как-то закрывать от роботов.

Но в 2010 году поисковая система начала работать с атрибутом rel=”nofollow”, при этом noindex не исчез, а остался отвечать за скрытие текста. Теперь, если вы хотите закрыть от индексации текст или например анкор ссылки, пропишите команду:

<noindex><a href=”url”>анкор ссылки</a></noindex>

Сама ссылка будет открыта для перехода роботами поисковых систем, не учтется только ее текст (анкор). Так же можно закрывать не только анкоры ссылок, но и контент.

Например это удобно было, когда Яндекс ввел новый алгоритм Баден-Баден, который накладывал санкции за seo тексты. Стоило закрыть портянки текста в noindex, и можно было выйти из под этого фильтра, причем не потерять позиции в Google, так как поисковая система Google не учитывает тег <noindex></noindex>.

Выводы

Nofollow отвечает за переход поисковых систем по этим ссылкам, как на всей странице, так и для определенной ссылки. Ранее noindex тоже выполнял аналогичную функцию, но только по отношению к Яндексу, который со временем начал понимать nofollow, в результате чего значением noindex начали закрывать от индексации контент на странице.

Владелец сайта должен грамотно использовать атрибут nofollow и понимать, в каких именно случаях это делать:

Когда ссылка ведет на веб-ресурсы с некачественным контентом.
Когда вы размещаете на странице коммерческий контент.

По атрибуту nofollow ссылка может индексироваться и передавать свой вес, если она стоит на качественный ресурс.

Главная задача использования nofollow — помочь указать приоритетные для сканирования ссылки, разделить продающие статьи от информационных, а также защитить сайт от спама, который, если не контролировать, может привести к снижению ранжирования или куда хуже, вылету ресурса из индекса.

Для всех других ситуаций можете смело применять dofollow ссылки, открытые для поисковых роботов. Репутация сайта ничуть не ухудшится, а даже улучшится, если вы будете оставлять ссылки на полезные для вашей целевой аудитории страницы. И никакой вес ваши документы не потеряют, а наоборот даже могут приобрести за счет обратного PageRank.

что это такое и как использовать

Nofollow – тег, который используют веб-мастера при размещении ссылок на сторонние ресурсы, чтобы не превратить сетевой ресурс в бесплатную площадку для наращивания ссылочной массы, не упасть в поисковой выдаче и не быть заблокированным поисковыми системами. Ссылки с атрибутом nofollow играют важную роль в продвижении сайтов, несмотря на то, что они не индексируются поисковыми системами. Мнение о полезности использования атрибута rel =»nofollow» расходятся. Многие считают, что на ранжирование сетевого ресурса они не влияют и поэтому получать их бессмысленно. Давайте узнаем, чем могут быть полезны гиперссылки, закрытые от индексации.

nofollow1.png

Определение nofollow

В коде HTML nofollow является одним из множества значений, которые способен принимать атрибут rel. В исходном коде веб-страницы его можно найти после адреса ссылки, например <a href=»http://url.ru/» rel=»nofollow»>текст </a>. Если перевести значение атрибута на русский язык, то получим слово «не следовать». Вписывая атрибут rel со значением «не следовать», веб-мастер дает указание поисковому роботу не индексировать активную ссылку.

Для чего запрещать индексацию ссылок

Есть множество причин. Перечислим самые известные и важные из них.

nofollow2.jpg

Ссылки на некачественные, нетематические сайты могут негативно повлиять на ранжирование продвигаемого ресурса.
Большое количество ссылок, ведущих на сторонние сайты, может стать причиной блокировки ресурса или выпадения из индекса определенных страниц.
Защита от ссылок, оставляемых пользователями в комментариях.
Сохранение и перераспределение веса страниц или разделов.
Желание исключить из индексации страницы или разделы, которые не предназначены для попадания в поисковую выдачу, например страницы с формой регистрации или страницы входа на сайт.
Потребность в создании естественного ссылочного профиля.

Как проверить наличие закрытых от индексации ссылок

В поисках площадок, подходящих для наращивания ссылочной массы, необходимо быстро и точно определять способ их установки веб-мастером: с тегом rel=»nofollow» или без него. Сделать это можно при помощи разных инструментов.

nofollow3.png

Ищем при помощи браузера Google Chrome:

Открываем страницу в браузере.
Выделяем проверяемую ссылку.
При помощи правой кнопки мыши открываем контекстное меню.
Выбираем в меню строку «Посмотреть код элемента».
Проверяем HTML-код на наличие тега rel с атрибутом nofollow.

При выборе площадки для размещения обратной ссылки важно уметь определять не только атрибут rel=»nofollow», но и другие теги с похожими функциями. Например, redirect, noindex, dofollow, nofollow noopener. Ссылки с атрибутами и тегами, имеющими перечисленные значения, пользы в плане наращивания ссылочной массы и продвижения сайта в поисковых системах не принесут.

Ищем при помощи дополнения к браузеру:

Зайдите в магазин Google Chrome.
Найдите дополнение RDS Bar или аналогичное.
Установите расширение.
В настройках дополнения включите подсветку ссылок, закрытых для индексации при помощи соответствующих тегов и атрибутов.

После этого на всех страницах, отрываемых в браузере, будут автоматически зачеркнуты все зарытые для индексации ссылки.

nofollow4.jpg

Обработка значения nofollow атрибута rel поисковой системой Google

Из официального справочного материала Google можно узнать, что поисковый робот по таким ссылкам не переходит. Если добавить к ссылке атрибут с указанным значением, то ссылка не попадает в сеть Google. Но закрытые таким образом от индексации страницы все равно появляются в индексе, если на них ведут открытые ссылки с других ресурсов или их адреса находятся в карте сайта. В тексте справки вы увидите словосочетание «как правило», которое использовали в предложении о переходе по закрытым от индексации ссылкам. Оно может означать, что поисковая система сама решает, переходить или не переходить, индексировать или не индексировать. Учитывая это и то, что другие поисковые системы не обращают внимания на nofollow, можно сказать, что закрытые таким образом ссылки способны приносить пользу наравне с открытыми.

Как используют ссылки в бизнесе

Прибыль напрямую зависит от посещаемости сетевого ресурса. Если по ссылкам переходят заинтересованные пользователи, то открыты они или закрыты от индексации – большого значения не имеет. Главную функцию они выполняют. Такие ссылки способны:

повысить узнаваемость бренда, популярность продукции, востребованность услуги. Если ссылка ведет на интересный, полезный контент и по ней переходят целевые посетители, то она рано или поздно окажет положительное влияние и на СЕО. Возрастающий целевой трафик будет по достоинству оценен поисковыми системами и учтен в ранжировании;
увеличить объем продаж. Если продукт качественный, отвечает заявленным характеристикам, доступен по цене, то все заинтересованные посетители, перешедшие на сайт по закрытым ссылкам, оформят заказ;
стать причиной появления новых ссылок. Всем известно, что социальные сети являются огромным источником потребителей и все ссылки в любых публикациях закрыты от индексации. То есть для повышения СЕО-показателей размещать их нет смысла. Зато они привлекут внимание пользователей, которые поделятся интересной информацией на других сетевых ресурсах.

Какие площадки надо использовать для размещения ссылок

Размещать ссылки нужно на площадках, способных приводить на продвигаемый ресурс целевой трафик. Если установленная ссылка увеличивает число потенциальных потребителей, то она полезна, независимо от того, закрытая она или открытая для индексации. Полезные ресурсы:

видеохостинговые сайты. Например, на Youtube ссылки, которые оставляют пользователи, не учитываются поисковой системой Google, но могут стать постоянным источником трафика с хорошими поведенческими факторами;
социальные сети. Ссылки в социальных сетях не индексируются. Несмотря на это, их постоянно оставляют в заметках и комментариях. Если опубликованный материал привлекает внимание, трафик по закрытой ссылке обеспечен;
форумы. Эти ресурсы обычно закрывают ссылки при помощи nofollow или noindex. Если поисковые системы эти ссылки не учитывают, то многомиллионная аудитория популярных форумов их видит, переходит по ним, создавая постоянный целевой трафик.

Как повысить эффективность закрытых ссылок

Чтобы пользователи сетевых ресурсов интересовались вашим контентом и переходили по ссылкам на продвигаемые страницы, нужно перед публикацией материалов и установкой ссылок тщательно проверять и тестировать важные элементы статьи и околоссылочного текста. Заголовки, лиды должны мотивировать посетителя перейти на ваш сайт, контент должен быть интересным, полезным и релевантным теме. Чтобы получить максимальную отдачу от ссылки:

подбирайте не только площадку, но и место установки;
определите цель для каждой ссылки;
проверяйте релевантность контента;
оптимизируйте посадочные страницы.

Ссылки, закрытые от индексации, могут быть полезнее, чем индексируемые. Все зависит от того, где установлена ссылка и куда приводит пользователя. Если для индексируемых ссылок это практически не имеет значения, то для nofollow-ссылок является основным фактором, определяющим ее полезность, так как цели для них преследуются разные. Наращивание массы индексируемых ссылок происходит преимущественно для поднятия показателей сайта, а неиндексируемых – исключительно для привлечения целевой аудитории. То есть открытые ссылки влияют на посещаемость продвигаемого сетевого ресурса косвенно, а закрытые напрямую.

В процессе ранжирования поисковые системы учитывают множество разнообразных факторов, причем делают это по-разному. «Яндекс», Google и другие поисковики принимают во внимание все ссылки, которые находят на страницах сетевых ресурсов, независимо от того, какие дополнительные атрибуты они имеют. Они лишь учитывают желание веб-мастера не допустить индексацию. Окончательное решение всегда остается за поисковой системой.

Что это такое и как их использовать?

Три слова, приведенные выше, могут звучать как SEO gobbledegook, но эти слова стоит знать, поскольку понимание того, как их использовать, означает, что вы можете управлять роботом Googlebot. Это весело.

Итак, начнем с основ: есть три способа контролировать, какие части вашего сайта будут сканироваться поисковыми системами:

Noindex: указывает поисковым системам не включать ваши страницы в результаты поиска.
Disallow: запрещает сканирование ваших страниц.
Nofollow: говорит им не переходить по ссылкам на вашей странице.

Что такое метатег Noindex?

Тег noindex указывает поисковым системам не включать страницу в результаты поиска.

Самый распространенный метод запрета индексации страницы — это добавить тег в заголовок HTML или в заголовки ответов. Чтобы поисковые системы могли видеть эту информацию, страница не должна быть заблокирована (запрещена) в файле robots.txt.Если страница заблокирована с помощью вашего файла robots.txt, Google никогда не увидит тег noindex, и страница может по-прежнему отображаться в результатах поиска.

Чтобы поисковые системы не индексировали вашу страницу, просто добавьте в раздел следующее:

Вторая часть тега содержимого здесь указывает, что необходимо переходить по всем ссылкам на этой странице, которые мы обсудим ниже.

В качестве альтернативы тег noindex можно использовать в теге X-Robots-Tag в заголовке HTTP:

X-Robots-Tag: noindex

Дополнительную информацию см. В сообщении разработчиков Google о спецификациях метатега Robots и HTTP-заголовка X-Robots-Tag.

Как я могу использовать Noindex в файле Robots.txt?

Тег noindex в вашем файле robots.txt также указывает поисковым системам не включать страницу в результаты поиска, но это более быстрый и простой способ не индексировать сразу много страниц, особенно если у вас есть доступ к вашему robots.txt. файл. Например, вы не можете индексировать любые URL-адреса в определенной папке.

Вот пример директивы noindex, которую можно поместить в файл robots.txt:

Noindex: / robots-txt-noindexed-page /

Однако Google не рекомендует использовать этот метод: Джон Мюллер заявил, что «не следует полагаться на него».

Что такое запретительная директива?

Запрещение страницы означает, что вы указываете поисковым системам не сканировать ее, что необходимо сделать в файле robots.txt вашего сайта. Это полезно, если у вас много страниц или файлов, которые бесполезны для читателей или поискового трафика, поскольку это означает, что поисковые системы не будут тратить время на сканирование этих страниц.

Чтобы добавить запрет, просто добавьте в файл robots.txt следующую строку:

Запретить: / your-page-url /

Если на странице есть внешние ссылки или канонические теги, указывающие на нее, ее все равно можно проиндексировать и ранжировать, поэтому важно сочетать запрет с тегом noindex, как описано ниже.

Предупреждение: запрещая страницу, вы фактически удаляете ее со своего сайта.

Запрещенные страницы не могут передавать PageRank куда-либо еще — поэтому любые ссылки на этих страницах фактически бесполезны с точки зрения SEO — а запрещение страниц, которые должны быть включены, может иметь катастрофические последствия для вашего трафика, поэтому будьте особенно осторожны при написании запрещающих директив.

Как я могу объединить Noindex и Disallow?

Noindex (страница) + Disallow: Disallow не может сочетаться с noindex на странице, потому что страница заблокирована, и поэтому поисковые системы не будут сканировать ее, чтобы знать, что они не должны оставлять страницу вне индекс.

Noindex (robots.txt) + Disallow : предотвращает появление страниц в индексе, а также предотвращает сканирование страниц. Однако помните, что через эту страницу не может пройти PageRank.

Чтобы объединить запрет с noindex в файле robots.txt, просто добавьте обе директивы в файл robots.txt:

Запретить: / example-page-1/

Запретить: / example-page-2/

Noindex: / example-page-1/

Noindex: / example-page-2/

Что такое тег Nofollow?

Тег nofollow в ссылке указывает поисковым системам не использовать ссылку для определения важности связанных страниц (PageRank) или обнаружения дополнительных URL-адресов на том же сайте.

Обычно nofollows использует ссылки в комментариях и другом контенте, который вы не контролируете, платные ссылки, встраиваемые элементы, такие как виджеты или инфографику, ссылки в гостевых сообщениях или что-нибудь не по теме, на которое вы все еще хотите связать людей.

Исторически сложилось так, что оптимизаторы поисковых систем также избирательно исключали переход по ссылкам, чтобы направить внутренний PageRank на более важные страницы.

Теги Nofollow могут быть добавлены в одном из двух мест:

страницы (для nofollow всех ссылок на этой странице):
Код ссылки (для nofollow отдельной ссылки): пример страницы

nofollow не предотвратит полное сканирование связанной страницы; он просто предотвращает сканирование по этой конкретной ссылке. Наши и другие тесты показали, что Google не будет сканировать URL-адрес, который он находит в ссылке nofollowed.

Google заявляет, что если другой сайт ссылается на ту же страницу без использования тега nofollow или страница отображается в файле Sitemap, эта страница может по-прежнему отображаться в результатах поиска. Точно так же, если это URL, о котором уже знают поисковые системы, добавление ссылки nofollow не удалит его из индекса.

В сентябре 2019 года Google объявил об обновлении своей директивы nofollow и представил два новых атрибута ссылки, а именно:

rel = «sponsored» — Атрибут sponsored следует использовать для идентификации ссылок, предназначенных для рекламных целей, при наличии соглашений о спонсорстве и компенсации.
rel = «ugc» — В качестве атрибута для пользовательского контента это значение рекомендуется для ссылок на сайтах с пользовательским контентом, например для сообщений на форумах и комментариев в блогах.

Кроме того, все ссылки, помеченные как nofollow, sponsored или ugc, теперь обрабатываются как подсказки относительно того, какие ссылки следует учитывать при поиске и сканировании, а не просто как сигнал, как раньше использовалось для nofollow. Вы можете узнать больше об этом обновлении в нашем посте, который также охватывает их влияние и мнения экспертов.

Что такое Noindex Nofollow?

Как упоминалось выше, добавление тега nofollow к странице не препятствует ее полному сканированию.Поэтому, чтобы предотвратить индексирование, вам также нужно не индексировать страницу. Это позволит Google сканировать страницу, но она не будет отображаться в индексе. Страницы, которые вы, вероятно, захотите включить в noindex; страницы администратора / входа, внутренние результаты поиска и страницы регистрации. Чтобы Google полностью прекратил сканирование страницы, вам также следует запретить это (см. Выше).

Другие директивы: Canonical Tags, Pagination и Hreflang

Есть и другие способы сообщить Google и другим поисковым системам, как обрабатывать URL-адреса:

Канонические теги сообщают поисковым системам, какую страницу из группы похожих страниц следует проиндексировать.Канонизированные (т. Е. Вторичные страницы, которые направляют поисковые системы к первичной версии) не включаются в индекс. Если у вас есть отдельные мобильные и настольные сайты, вы должны канонизировать свои мобильные URL-адреса на свои настольные.
Разбивка на страницы группирует несколько страниц вместе, чтобы поисковые системы знали, что они являются частью набора. Поисковые системы должны отдавать приоритет первой странице каждого набора при ранжировании страниц, но все страницы в наборе останутся в индексе.
Hreflang сообщает поисковым системам, какие международные версии одного и того же контента предназначены для какого региона, чтобы они могли определить приоритетность правильной версии для каждой аудитории.Все эти версии останутся в индексе.

Сколько времени вам следует потратить на сокращение краулингового бюджета?

Вы можете услышать много разговоров на форумах SEO о том, насколько важны для SEO эффективность сканирования и бюджет сканирования, и, хотя обычной практикой является запрещение и noindex большие группы страниц, которые не имеют никакой пользы для поисковых систем или читателей (например, back -end кода, который используется только для работы сайта или некоторых типов дублированного контента), решение о том, скрывать ли много отдельных страниц, вероятно, не лучший вариант использования времени и усилий.

Google любит индексировать как можно больше URL-адресов, поэтому, если нет особой причины скрыть страницу от поисковых систем, обычно можно оставить решение на усмотрение Google. В любом случае, даже если вы скроете страницы от поисковых систем, Google все равно будет проверять, изменились ли эти URL-адреса. Это особенно актуально, если есть ссылки, указывающие на эту страницу; даже если Google забыл об URL-адресе, он может снова обнаружить его в следующий раз, когда на него будет найдена ссылка.

Тестирование с помощью Search Console, DeepCrawl и Robotto

Тестовые роботы.txt с помощью Search Console

Инструмент robots.txt Tester в Search Console (в разделе «Сканирование») — популярный и в значительной степени эффективный способ проверить новую версию файла на наличие ошибок до того, как он будет опубликован, или проверить конкретный URL, чтобы убедиться, что он заблокирован:

Однако этот инструмент не работает точно так же, как Google, с некоторыми небольшими различиями в конфликтующих правилах разрешения / запрета, которые имеют одинаковую длину.

Инструмент тестирования robots.txt сообщает, что это разрешено, однако Google сказал: «Если результат не определен, robots.txt могут разрешить или запретить сканирование. По этой причине не рекомендуется полагаться на то, что какой-либо из результатов будет использоваться повсеместно ».

Подробнее читайте в этом обсуждении на справочном форуме в Центре веб-мастеров.

Найти все неиндексируемые страницы с помощью DeepCrawl

Запустите универсальное сканирование без каких-либо ограничений (но с применением условий robots.txt), чтобы DeepCrawl мог вернуть все ваши URL-адреса и показать вам все индексируемые / неиндексируемые страницы.

Если у вас есть параметры URL, которые были заблокированы для робота Google с помощью Search Console, вы можете имитировать эту настройку для сканирования, используя поле «Удалить параметры» в разделе Расширенные настройки> Перезапись URL .

Затем вы можете использовать следующие отчеты, чтобы убедиться, что сайт настроен так, как вы ожидали при первом сканировании, а затем объединить их со встроенными журналами изменений при последующих сканированиях.

Индексация> Страницы Noindex

В этом отчете будут показаны все страницы, содержащие тег noindex в метаинформации, HTTP-заголовке или файле robots.txt файл.

Индексация> Запрещенные страницы

Этот отчет содержит все URL-адреса, сканирование которых невозможно из-за запрещающего правила в файле robots.txt. На панели управления вашего отчета есть цифры для обоих этих отчетов:

Используйте наши интуитивно понятные отчеты в каждом из наших отчетов, чтобы проверить определенные папки и выявить шаблоны в URL-адресах, которые в противном случае вы могли бы пропустить:

Протестируйте новый файл robots.txt с помощью DeepCrawl

Используйте роботов DeepCrawl.txt Функция перезаписи в расширенных настройках для замены живого файла на пользовательский.

Затем при следующем запуске сканирования вы можете использовать тестовую версию вместо активной.

В отчетах о добавленных и удаленных запрещенных URL-адресах будет показано, какие именно URL-адреса были затронуты измененным файлом robots.txt, что упростит оценку.

Для получения дополнительной информации прочтите наше руководство по управлению изменениями robots.txt с помощью DeepCrawl.

Хотите больше такого?

Мы надеемся, что вы нашли этот пост полезным для получения дополнительной информации о noindex, nofollow и disallow для управления сканированием вашего сайта.

Вы можете узнать больше об этих темах в нашей Технической библиотеке SEO или, если вы хотите узнать, как проводить технический SEO-аудит, прочитайте наше руководство.

Кроме того, если вы заинтересованы в том, чтобы быть в курсе последних обновлений Google и рекомендациями по передовому опыту, почему бы не заглянуть в наши электронные письма?

Loop Me In!

Автор

Сэм Марсден

Сэм Марсден — менеджер по поисковой оптимизации и контенту DeepCrawl.Сэм регулярно выступает на маркетинговых конференциях, таких как SMX и BrightonSEO, и является автором отраслевых публикаций, таких как Search Engine Journal и State of Digital.

Теги

Управление роботами

Какие страницы на вашем сайте использовать с помощью noindex или nofollow? • Yoast

Михиэль Хейманс

Михиэль был одним из наших первых сотрудников и раньше был партнером Yoast. Начните оптимизацию своего сайта с его статей!

Некоторые страницы вашего сайта служат определенной цели, но эта цель не состоит в ранжировании в поисковых системах и даже не в привлечении трафика на ваш сайт.Эти страницы должны быть там, как клей для других страниц, или просто потому, что правила требуют, чтобы они были доступны на вашем веб-сайте. Если вы регулярно читаете наш блог, вы знаете, как noindex или nofollow могут помочь вам справиться с этими страницами. Однако, если вы новичок в этих условиях, пожалуйста, продолжайте читать и позвольте мне объяснить, что они из себя представляют и к каким страницам они могут применяться!

Что такое noindex nofollow?

noindex означает, что веб-страница не должна индексироваться поисковыми системами и, следовательно, не должна отображаться на страницах результатов поиска. nofollow означает, что пауки поисковых систем не должны переходить по ссылкам на этой странице. Вы можете добавить эти значения в свой метатег robots. Мета-тег robots — это фрагмент кода в разделе заголовка веб-страницы. Он сообщает поисковым системам, как сканировать и индексировать ли страницу.

Наше полное руководство по метатегу robots — отличное чтение, если вы хотите немного глубже погрузиться в эту тему.

Вкратце:

В большинстве случаев метатег robots выглядит следующим образом:
VALUE1 и VALUE2 имеют индекс , по умолчанию , что означает данная страница может быть проиндексирована поисковыми системами, и по ссылкам на этой странице можно переходить для сканирования страниц, на которые они ссылаются.
VALUE1 и VALUE2 могут иметь значение noindex, nofollow или другую комбинацию, например индекс , nofollow .

Но пусть вас не пугает этот код. Yoast SEO поможет вам! Если вы хотите узнать, как noindex пост в WordPress очень простым способом, вам следует прочитать этот пост: Как noindexing пост в WordPress: простой способ.

Но когда какое значение использовать?

Страницы для установки в noindex

Авторские архивы в блоге с одним автором

Если вы единственный, кто пишет для своего блога, ваши страницы авторов, вероятно, на 90% совпадают с домашней страницей вашего блога.Это бесполезно для Google и может рассматриваться как дублированный контент. Чтобы предотвратить такое дублирование контента, вы можете полностью отключить авторский архив. Вот как легко включить или отключить его с помощью Yoast SEO. Если по какой-то причине вы хотите сохранить его на своем сайте, но не в результатах поиска, вы можете noindex его. К счастью, с Yoast SEO это тоже не сложно; просто проверьте, как нельзя индексировать архив автора.

Определенные (настраиваемые) типы сообщений

Иногда плагин или веб-разработчик добавляют пользовательский тип сообщения, который вы не хотите индексировать.Например, в Yoast мы используем персонализированные страницы для наших продуктов, поскольку мы не являемся типичным интернет-магазином, продающим физические продукты. Таким образом, нам не нужно изображение продукта, фильтры, такие как размеры и технические характеристики, на вкладке рядом с описанием. Поэтому мы не индексируем обычные страницы продуктов, которые выводит WooCommerce, и используем наши собственные страницы. Действительно, у нас noindex тип сообщения о продукте.

Соответственно, мы видели решения для электронной коммерции, которые также добавляли такие характеристики, как размеры и вес, в качестве настраиваемого типа сообщений.Эти страницы считаются некачественным контентом. Вы поймете, что эти страницы бесполезны ни для посетителей, ни для Google, поэтому их тоже нужно держать подальше от страниц результатов поиска.

Спасибо страниц

Эта страница служит только для того, чтобы поблагодарить вашего клиента / подписчика на новостную рассылку / впервые комментирующего. Эти страницы обычно представляют собой страницы с тонким контентом, с опциями допродажи и обмена в социальных сетях, но они не представляют ценности для тех, кто использует Google для поиска полезной информации. Следовательно, этих страниц не должно быть на страницах результатов поиска.

Страницы администратора и входа в систему

Большинство страниц входа не должны находиться в Google. Но это так. Не допускайте попадания своего в индекс, добавив к нему noindex . Исключение составляют страницы входа в систему, которые обслуживают сообщество, например Dropbox или аналогичные службы. Просто спросите себя, стали бы вы гуглить одну из своих страниц входа, если бы вы не работали в своей компании. В противном случае можно с уверенностью сказать, что Google не нужно индексировать эти страницы входа. К счастью, если вы используете WordPress, вы в безопасности, поскольку CMS не индексирует страницу входа на ваш сайт автоматически.

Результаты внутреннего поиска

Результаты внутреннего поиска — это в значительной степени последние страницы, на которые Google хотел бы отправлять своих посетителей. Если вы хотите испортить поиск, вы ссылаетесь на другие страницы поиска вместо фактического результата. Но ссылки на странице результатов поиска по-прежнему очень ценны, вы определенно хотите, чтобы Google следил за ними. Таким образом, необходимо переходить по всем ссылкам, а мета-настройка роботов должна быть:

Yoast SEO следит за тем, чтобы для ваших внутренних поисковых страниц по умолчанию было установлено значение noindex.Это одна из скрытых функций Yoast SEO. Это не редактируемый параметр, потому что это просто то, как это должно быть сделано в соответствии с рекомендациями Google, и мы полностью с ними согласны.

Только для разработчиков: если вы действительно хотите изменить это, это можно сделать с помощью одного из наших фильтров. Пример можно найти здесь.

Страницы для установки на nofollow

Для всех примеров, упомянутых выше, нет необходимости nofollow все ссылки на этих страницах.Вы не хотите, чтобы они отображались в результатах поиска, но хотите, чтобы Google переходил по ссылкам на странице. Теперь, когда следует добавить nofollow в метатег роботов?

Если вы установите для страницы значение nofollow с метатегом robots, ни одна из ссылок на этой странице не будет переходить. Google придумал nofollow, чтобы иметь возможность различать ссылки на ненадежный контент (или, позже, оплаченный, например, рекламу). На обычном веб-сайте, вероятно, очень мало страниц, на которых вы бы хотели, чтобы Google не переходил по любой ссылке .

Пример: если у вас есть страница со списком книг по SEO с избытком партнерских ссылок Amazon, они могут быть полезны для вашего сайта для ваших пользователей. Но я бы добавил nofollow на всю страницу, если на странице нет ничего важного. Однако вы могли бы проиндексировать его. Просто убедитесь, что вы правильно скрываете свои ссылки.

Одинарные ссылки Nofollow

Если у вас есть сообщение или страница с несколькими ссылками, вы можете помочь поисковым системам квалифицировать их.В настоящее время вы можете nofollow для одной ссылки или даже установить для нее спонсируемый или пользовательский контент. Добавление правильных атрибутов rel к вашей ссылке позволяет вам это сделать. Например, ссылка на рекламу будет выглядеть так: пример ссылки . С Yoast SEO настроить эти атрибуты rel очень просто, как вы можете видеть в этом видео:

Заключение

Как мы уже видели, для noindex страница или nofollow ссылка сводится к двум вопросам: хотите ли вы, чтобы эта страница отображалась на страницах результатов поиска и , если поисковые системы переходят по ссылкам на эта страница? Например, для страниц с благодарностями или страниц входа в систему ответ на первый вопрос — «нет».Для страницы с множеством партнерских ссылок ответ на второй вопрос — «нет». Помните о примерах из этого поста, и у вас больше не будет проблем с поиском ответов для вашего собственного сайта!

PS. Вы noindex пост или страницу, хотя не хотели? Не беспокойтесь, вы можете легко исправить случайную ошибку noindex !

Подробнее: Как не индексировать сообщение »

Страницы веб-роботов

О теге

роботов

В двух словах

Вы можете использовать специальный тег HTML, чтобы запретить роботам индексировать содержание страницы и / или не сканировать его на предмет наличия ссылок.

Например:

...

При использовании тега robots необходимо учитывать два важных момента:

роботы могут игнорировать ваш тег. Особенно вредоносные роботы, которые сканируют Интернет на наличие уязвимостей в системе безопасности и сборщики адресов электронной почты, используемые спамерами не обращаю внимания.
директива NOFOLLOW применяется только к ссылкам на этой странице.Это вполне вероятно, что робот найдет такие же ссылки на других страница без NOFOLLOW (возможно, на каком-то другом сайте), и так далее попадает на вашу нежелательную страницу.

Не путайте это NOFOLLOW с rel = «nofollow» атрибут ссылки.

Детали

Как и /robots.txt, robots META tag является стандартом де-факто. Он возник в результате встречи «птиц пера» в 1996 году. распределенный семинар по индексированию, который был описан в заметках о совещании.

Тег META также описан в HTML Спецификация 4.01, Приложение B.4.1.

Остальная часть этой страницы дает обзор того, как использовать роботов. Теги на ваших страницах с некоторыми простыми рецептами. Чтобы узнать больше, см. Также FAQ.

Как написать метатег для роботов

Куда девать

Как и любой тег, он должен быть помещен в раздел HEAD HTML-кода. page, как в примере выше. Вы должны поместить его на каждую страницу своего сайт, потому что робот может найти глубокую ссылку на любой страницу на вашем сайте.

Что в него положить

Атрибут «ИМЯ» должен быть «РОБОТЫ».

Допустимые значения атрибута CONTENT: «ИНДЕКС», «НОИНДЕКС», «СЛЕДУЮЩИЕ», «НЕ СЛЕДУЕТ». Допускается несколько значений, разделенных запятыми, но очевидно, только некоторые комбинации имеют смысл. Если нет тег роботов, по умолчанию — «INDEX, FOLLOW», так что нет необходимости объяснять это. Остается:

Как скрыть веб-страницы с помощью noindex, nofollow и disallow

Это руководство по использованию noindex, nofollow и disallow пригодится, если ваши веб-страницы должны быть невидимы для поисковых систем, индексирующих роботов и сканеров веб-страниц.

Бывают случаи, когда вам нужно сделать свои веб-страницы невидимыми для поисковых систем, роботов-индексаторов и сканеров веб-страниц. В этих случаях вы можете подумать о добавлении «noindex», «nofollow» и / или «disallow» к атрибутам, тегам, метаданным и командам вашей веб-страницы; это включает в себя сайты, используемые для разработки, тестирования или подготовки, или если вы хотите ограничить доступ к страницам (например, вход на порталы или фотогалереи), или если страницы или определенные ссылки считаются избыточными, устаревшими, заархивированными или содержат тривиальный контент.

Это руководство поможет вам понять, как использовать «noindex», «nofollow» и / или «disallow» как часть процедуры обслуживания и управления вашим веб-сайтом.

Примеры синтаксиса

Индексные веб-страницы

В следующих примерах выделено несколько вариантов и комбинаций, доступных для тегов метаданных, которые могут быть добавлены в тег.

Этот тег метаданных сообщит всем поисковым системам, что нужно проиндексировать весь ваш веб-сайт; он также проиндексирует все ваши другие веб-страницы.

Этот тег метаданных даст указание поисковым системам не индексировать эту страницу в частности, но он будет сканировать остальные веб-страницы вашего веб-сайта.

Этот тег метаданных сообщает поисковым системам только проиндексировать эту страницу и прекратить сканирование дальше.

Этот тег метаданных предписывает поисковым системам не индексировать эту страницу и не сканировать ее дальше.

Предположим, вы хотите запретить роботу googlebot индексировать ваш веб-сайт; вы бы использовали этот синтаксис.

Связывание

Вы также можете использовать «nofollow» в определенных активных ссылках на страницах, которые вы, возможно, не хотите индексировать. Синтаксис ссылки nofollow похож на этот пример тега привязки ColdFusion cfm.

Robots.txt запретить

Вы также можете использовать файл robots.txt и поместить его в корневой или другой каталог в зависимости от конфигурации вашего веб-сервера. Типичный файл robots.txt будет содержать всего несколько строк кода, который дает команду роботам с использованием так называемого протокола / стандарта исключения роботов. Приведенные ниже примеры синтаксиса иллюстрируют несколько способов реализации этой функции.

В этом примере все роботы не заходят на ваш сайт.

 Агент пользователя: *
Disallow: /

В этом примере всем роботам дается команда держаться подальше от определенных каталогов.

 Агент пользователя: *
Запретить: / резервное копирование /
Запретить: / архив /
Disallow: / cgi-mail /

В этом примере всем роботам предписывается избегать доступа к определенному файлу.

 Агент пользователя: *
Запретить: /any-directory/any-file.htm

Вы можете указать несколько конкретных роботов, чтобы они не попадали в определенные или все области вашего веб-сайта. Ниже приведены несколько примеров.

 Пользовательский агент: badbot
Disallow: / private /
 
Пользовательский агент: anybot-news
Запретить: /

Пользовательский агент: googlebot
Disallow: /

Caveat

Хотя эти стратегии помогут вам в поисках управления доступом, их использование не гарантирует автоматически, что указанные вами теги или команды noindex, nofollow и / или disallow будут соблюдаться всеми поисковыми системами. , пауки и ползунки. Для того, чтобы эти методы вступили в силу, может потребоваться время, особенно если страницы ранее были разрешены для индексации или отслеживания, а затем для них было установлено значение nofollow или noindex.Вы все еще можете видеть страницы в результатах поисковой системы, потому что их индексирование не обновлялось или обновлялось в последнее время.

Разница между метатегами Noindex и Nofollow

Слышал про index, noindex, follow, nofollow… .и интересно, о чем, черт возьми, люди говорят? Ознакомьтесь с этим руководством, чтобы узнать больше!

NOINDEX

Директива noindex — часто используемое значение в метатеге, которое можно добавить в исходный HTML-код веб-страницы, чтобы предложить поисковым системам (в первую очередь Google) не включать эту конкретную страницу в свой список результатов поиска.

По умолчанию веб-страница настроена на «индексирование». Вам следует добавить директиву на веб-страницу в разделе HTML, если вы не хотите, чтобы поисковые системы сканировали данную страницу и включали ее в SERP (страницы результатов поисковой системы).

Какие примеры страниц следует установить на «noindex»?

NOFOLLOW

Директива nofollow — часто используемое значение в метатеге, которое может быть добавлено в исходный HTML-код веб-страницы, чтобы предложить поисковым системам (в первую очередь Google) не передавать равенство ссылок через какие-либо ссылки на данной веб-странице.

Ссылки являются важной частью поисковой оптимизации, хотя эксперты все время спорят о том, какую роль ссылки играют в общем рейтинге. Мы знаем, что ссылки с внешних авторитетных веб-сайтов помогут укрепить доверие к нашему собственному веб-сайту и повысить его рейтинг.Внутренние ссылки тоже полезны! Они помогают пользователям и роботу Google перемещаться по вашему веб-сайту и объединять важные идеи.

По умолчанию для ссылок установлено значение «следовать». Вы можете установить ссылку на «nofollow» следующим образом: Anchor Text , если вы хотите предложить Google что гиперссылка не должна передавать ссылочной стоимости / ценности SEO целевой ссылке.

Какие примеры ссылок следует установить на «nofollow»?

Ссылки в комментариях блога — Если вы потратили время на то, чтобы написать ценный пост для своего веб-сайта, вы не хотите, чтобы конкурент или спамер по ссылкам мог добавить бесполезный комментарий к вашему сообщению в блоге со ссылкой на свой веб-сайт, на котором написано что-то вроде «Отличный блог.Я также написал блог на эту горячую тему »и включил обратную ссылку на его / ее веб-страницу, чтобы он / она извлекли выгоду из ссылки, которую этот человек только что добавил с вашего веб-сайта на свой собственный. Если для этой ссылки установлено значение «nofollow», спамер по ссылкам может сообщить об этом заранее и может не беспокоиться о добавлении комментария «Отличный блог» к вашему сообщению в блоге, зная, что от этого не будет никакой выгоды для SEO.
Платных ссылок. Еще одна тактика SEO, которая приобрела популярность в SEO-сообществе черных шляп, — это массовая покупка ссылок через Интернет.Владельцы веб-сайтов со страницей спонсоров на своем сайте могут включить логотипы и ссылки на свои веб-сайты спонсоров мероприятия, но использовать метатег «nofollow» для каждой ссылки на странице спонсора, чтобы указать Google, что они не могут поручиться за каждую. веб-сайт организации, на который делается ссылка. Имейте в виду, что хотя ссылки «nofollow» не предназначены для повышения SEO для связанного контента, они по-прежнему ценны для взаимодействия с пользователем и трафика.

ЗАКЛЮЧЕНИЕ

Надеюсь, это руководство дало вам лучшее понимание noindex vs.nofollow и когда каждый из них может быть полезен. Напоминаем:

«noindex» предлагает поисковым системам (в первую очередь Google) не индексировать определенную веб-страницу.
«nofollow» предлагает поисковым системам (в первую очередь Google) не передавать ссылочную массу через ссылки на веб-странице.

Обязательно проконсультируйтесь с квалифицированным агентством цифрового маркетинга при применении директив noindex и nofollow к своему веб-сайту. Если сделать это неправильно, эти маленькие теги могут нанести большой ущерб вашему органическому трафику.

Познакомьтесь с Кэти Хельгесен

Кэти Хельгесен, директор по SEO в Launch Digital Marketing, имеет более чем 15-летний опыт работы в области цифрового маркетинга, SEO и аналитики. Ей нравится кататься на американских горках, читать, смеяться, спать и проводить время со своим мужем, 3 детьми и 2 собаками. Просмотреть все сообщения Кэти Хельгесен →

В чем разница между NoIndex и NoFollow?

В чем разница между NoFollow и NoIndex?

Цифровые маркетологи тратят много времени и энергии на совершенствование каждой страницы контента на веб-сайте.У каждой страницы есть цель, с хорошо проработанным и стратегически сформулированным содержанием, ориентированным на целевого пользователя. Контент создается для привлечения потенциальных клиентов и повышения авторитета веб-страниц и их соответствующих доменов. Затем эти страницы отправляются для индексации поисковым системам, чтобы их можно было сканировать и в конечном итоге сохранять с целью быть найденными вашим конечным пользователем.

Однако есть страницы, сканирование которых запрещено. Эти страницы могут помешать тяжелой работе, которую вы вложили в создание этого красивого и индивидуального контента.Помня об этом, вам нужно знать, как правильно сообщить сканерам поисковых систем, что вы не хотите, чтобы ваш контент индексировался или сканировался.

Что такое NoIndex?

NoIndex — это метатег, который добавляется в код заголовка веб-страницы, чтобы сообщить поисковым системам, что, хотя они могут сканировать страницу, чтобы понять ее содержание, они не могут проиндексировать страницу, чтобы она отображалась в результатах поиска. Это пример того, как NoIndex отображается в исходном коде веб-страницы:

Что такое NoFollow?

NoFollow — это метатег, добавляемый в код заголовка веб-страницы, который сообщает поисковым системам не переходить по ссылкам на этой странице.По сути, это дезавуирует ссылки на этой странице и информирует поисковую систему, чтобы она не передавала никаких полномочий или «ссылочного веса» страницам, на которые есть ссылки в вашем контенте. Это пример того, как NoFollow отображается в исходном коде веб-страницы:

Чем они отличаются?

NoIndex и NoFollow сильно различаются по полезности. Вы будете использовать NoIndex при указании поисковой системе не сохранять вашу веб-страницу для отображения в результатах поиска, в то время как вы будете использовать NoFollow, когда вы дадите указание сканерам поисковой системы не переходить по ссылкам на вашей странице.Следовательно, NoIndex предназначен для вашей веб-страницы , а NoFollow — для ссылок , существующих на вашей веб-странице.

Когда следует использовать каждый?

Примером метатега NoIndex является страница с благодарностью. Вы бы не хотели, чтобы поисковая система отображала страницу с благодарностью на странице результатов поисковой системы, поскольку это обычно страница, на которую пользователь попадает после того, как он заполнил вашу форму генерации лидов. Чтобы поисковые системы знали, что эту страницу хранить нельзя, вы должны указать метатег NoIndex в коде заголовка вашей веб-страницы.Другие примеры страниц, которые вы не хотели бы индексировать поисковыми системами, включают Политику конфиденциальности, Положения и условия и страницы «Страница не найдена».

Примером метатега NoFollow также является целевая страница. Если ваша целевая страница содержит ссылку на ваше предложение, скажем, электронную книгу «10 советов, как максимально использовать ваши усилия в цифровом маркетинге», вы должны убедиться, что сканер поисковой системы не просканирует эту ссылку и не начнет индексировать этот контент.

Изучение ресурсов для защиты и оптимизации вашего контента для поисковых систем является важной частью ваших инициатив по контент-маркетингу и привлечению потенциальных клиентов.Правильное использование метатегов NoFollow и NoIndex поможет вам максимально использовать вашу контент-стратегию и убедиться, что вы не теряете ценных потенциальных клиентов.

Как мне реализовать NoIndex или NoFollow на моем веб-сайте?

Если вы используете WordPress, мы рекомендуем бесплатный инструмент Yoast SEO для управления вашими усилиями по SEO на странице. Чтобы активировать функции NoIndex и NoFollow, вы должны включить «расширенные настройки» на панели настроек Yoast.

Оттуда вы найдете варианты для реализации правил NoIndex и NoFollow на каждой странице вашего веб-сайта.

Легко, как пирог!

Прочтите, когда и как использовать Noindex, Nofollow, Canonical и Disallow

Сложно ли вам решить, как и когда использовать теги, атрибуты и команды, такие как Noindex, Nofollow, Canonical или Disallow?

Мы убедили Хенрика Бондтофте (датского мастера поисковой оптимизации) выступить в роли вашего судьи.

Nofollow

Nofollow был разработан совместно Yahoo, MSN и Bing в 2005 году.Его цель заключалась в том, чтобы подавить растущую проблему спама в комментариях.

Nofollow — это атрибут HTML, который предписывает большинству поисковых систем воздерживаться от перехода по ссылке и тем самым передавать ценность сайту, на который ведет ссылка.

Ссылка nofollow не гарантирует, что целевой сайт не будет сканироваться автоматически. На самом деле у Google есть бот, созданный специально для этой цели.

Тег, однако, сообщает поисковой системе, что вы не доверяете или не можете поручиться за содержание веб-сайта, на который ведет ссылка.

Вот почему довольно глупо использовать nofollow для внутренних целей на вашем собственном сайте. Это странный сигнал для поисковых систем — что на вашем сайте есть контент, за который вы не можете поручиться. Так что, пожалуйста, не делай этого.

Nofollow можно вставить, добавив rel = ”nofollow” в активную ссылку. В большинстве CMS / систем управления контентом вы можете установить его в редакторе WYSIWYG при вставке активной ссылки.

Nofollow также можно реализовать с помощью метатега.Вы можете увидеть пример ниже.

Фактически, это была первоначальная форма Nofollow, но поскольку она затемняла всю страницу, она оказалась менее адаптируемой и полезной, чем атрибут, который можно было добавлять к ссылкам по отдельности.

Запрещено: (Robots.txt)

Robots.txt — это привратник вашего веб-сайта.

Он находится в корне вашего веб-сайта, и его директивы важнее всех остальных.

Вам следует использовать Disallow, если на вашем веб-сайте есть целые папки, которые необходимо заблокировать.И особенно если они раньше не индексировались.

Когда вы создаете Disallow в своем robots.txt, вы сообщаете поисковым системам, что они не должны сканировать соответствующую страницу или папку.

Вы можете заблокировать даже весь свой сайт, но это не означает, что страница не будет проиндексирована.

Если ваша страница продолжает отображаться в индексе Google, вы можете использовать Инструменты Google для веб-мастеров, чтобы запросить ее повторное удаление. Если, конечно, вы настаиваете на использовании robots.txt для этой цели.

Если вы объедините Disallow и Noindex, последний будет проигнорирован, потому что ваша команда Disallow уже сообщила поисковым системам, что они не могут просматривать страницу.

Поэтому использование этих двух тегов вместе излишне. Если вы хотите быть абсолютно уверены, что ваш URL-адрес не индексируется поисковыми системами, используйте Noindex и ничего больше.

Использование Disallow на уже проиндексированных страницах, например, с входящими ссылками, означает, что вы теряете ценность, которая в противном случае была бы передана другим страницам вашего веб-сайта.

Вот почему я настоятельно рекомендую вам по возможности использовать Noindex.

Если вы устанавливаете внутренние ссылки на страницы, которые запрещены в вашем robots.txt, вы теряете внутренний рейтинг страницы.

Примеры запрещающих команд

 Запретить: / folder-we-dont-want-to-show /
Запретить: /file-we-dont-want-to-show.html
Разрешить: /folder-we-dont-want-to-show/single-file-we-want-to-show-from-folder.html

(Разрешить поддерживает Google, но не все поисковые системы)

Noindex

Тег Noindex сообщает поисковым системам, что соответствующая страница не должна индексироваться в их результатах поиска.

Если вы не добавили Nofollow к тегу, поисковые системы по-прежнему будут переходить по всем ссылкам на странице.

Другими словами, страница будет прочитана поисковыми системами, но не будет проиндексирована.

Если вы не хотите, чтобы поисковые системы переходили по ссылкам на вашей странице, вам нужно добавить в команду Nofollow.

Не индексировать, а переходить по ссылкам .

Не индексировать и не переходить по ссылкам.

Преимущество отказа от использования Nofollow с Noindex состоит в том, что Pagerank может проходить через Noindex и переходить к страницам, на которые есть ссылки. Этого не может произойти при сочетании с атрибутом Nofollow.

Канонический тег

Канонический тег используется для обозначения главной страницы, когда у вас есть несколько страниц с дублированным содержанием.

Если у вас пять версий одной и той же страницы, то четыре из них должны быть помечены каноническим тегом, указывающим на основную страницу.Таким образом, поисковые системы могут видеть, что это правильный URL.

Канонические теги — это всего лишь рекомендация. Вот почему нередко можно найти в индексе страницы с каноническим тегом. Это также причина того, что вы, вероятно, немного потеряете свой рейтинг страницы, если будете использовать канонические теги вместо Noindex.

Примеры канонических тегов

Вышеупомянутый фрагмент кода необходимо вставить в заголовок страницы

Сводка

В заключение я ранжирую эти четыре метода в следующем порядке:

Тег Noindex, без атрибута Nofollow
Канонический тег
Роботы.txt запретить команду. Если не нужно убирать целые папки, в этом случае я рекомендую robots.txt выше Canonical или Noindex.
Nofollow — На самом деле, я вообще не рекомендую вам использовать этот последний.

Пожалуйста, помогите нам убедить Хенрика написать больше статей для DashboardJunkie.com

Если вам нравится это руководство, нажмите кнопки ниже или оставьте комментарий.

Помогите себе и своей сети прямо сейчас!

Хенрик Бондтофте руководит успешной датской компанией по интернет-маркетингу Bondtofte.dk, интернет-магазине спортивного снаряжения Wolfgear.dk и написал одну из самых популярных датских книг о SEO.

Получайте уведомления о новых статьях!

Да, сообщите мне