Больше видео на нашем канале — изучайте интернет-маркетинг с SEMANTICA

В чем отличие между noindex и nofollow

Первое существенное отличие их в том, что первый был виден ранее для Google, а второй — только для Яндекса и Rambler. В настоящее время Яндекс также научился распознавать Ноуфоллоу, который работает только для ссылок, а Ноуиндекс — для любого кода сайта.

Применение Nofollow не превращает ссылку в невидимую, а всего лишь указывает, что по ней не нужно идти и индексировать документ, на который она ведет. Поисковый робот индексирует эту гиперссылку, но вес с сайта не передается, если она ведет на чужой ресурс. Работает этот атрибут для всех поисковиков.

Что касается тега Noindex, то с ним работает только Яндекс. Гугл же просто проигнорирует его. Использовать его нужно в тех случаях, когда вы хотите закрыть какой-то участок страницы — текст, картинку или ссылку — от индексации. Поисковик контент распознает, но впоследствии выкидывает из индекса. Эта мера установлена для полного анализа страницы и процедуры наложения возможных санкций за нарушения.

Для чего нужен Noindex

• Закрывается ненужная/неуникальная информация, что улучшает релевантность страницы, потому что увеличивается плотность ключевых фраз, соответствие тематике, уникальность.
• Прячутся сквозные блоки и гиперссылки, наличие которых может приводить к пессимизации.
• Скрывается личная и служебная информация, если вы не хотите, чтобы она легко находилась через поиск.

Для чего нужен Nofollow

• Закрытие лишних веб-ссылок.
• Сохранение веса страницы неизменным.
• Распределение определенного веса по ссылкам.

Как использовать noindex и nofollow

текст, который надо скрыть <a href=”ссылка куда-то”>, и еще</a> текст</noindex>.

Весь текст и анкор ссылки изначально индексируются, но потом удаляются из базы поисковика. Гиперссылка индексируется, и вес по ней передается.

При работе с Ноиндекс существует вероятность того, что снизится валидность кода, так как данный тэг знает только российский поисковик. Поэтому рекомендуется следующий вариант написания:

<!—Noindex—> Весь текст, который надо скрыть  <!—/noindex—>.

Весь текст, который надо скрыть .

При этом другие поисковики просто его пропустят, и валидность кода останется неизменной.

Атрибут Nofollow для ссылок применяется

<a href=”веб-ссылка куда-то” rel=”nofollow”> анкор </a>

При этом анкор попадает в индекс, но поисковик по веб-ссылке не идет, вес на странице остается.

Если на странице слишком много Нофоллоу, то это может негативно сказаться на лояльности поисковиков.

Совместное использование

Для того чтобы закрыть и текстовую часть, и гиперссылку, следует придерживаться такого написания:

<!—Noindex—> Весь текст, который надо скрыть  <a href=”веб-ссылка куда-то” rel=”nofollow”> анкор </a>, и еще текст <!—/noindex—>

Варианты правильного использования Noindex и Nofollow для запрета индексации документа в целом

Тег и атрибут, все время ходят “за ручку”, и часто их применяют вместе. Они могут применяться в meta name=robots документа для указания рекомендаций по его индексации и переходу по веб-ссылкам. Указание на запрет индексации необходимо, если обнаружены дубли страниц, Или в сети появилась конфиденциальная или устаревшая информация, а другим способом страницы убрать нельзя.

В случае, если вы хотите закрыть всю страницу от индексации и запретить учет располагающихся на ней ссылок, необходимо указать в метаданных страницы — следующее:

Ноуиндекс создает команду Яндексу не индексировать контент на странице, но робот ходит по ее веб-ссылкам. Поэтому дополнительный Ноуфоллоу указывает по ним на не ходить. Данное указание воспринимают как Яндекс, так и Google.

Что касается удаления документа из индекса Google, то поисковиком предусмотрен альтернативный метод: запись X-Robots-Tag: noindex, nofollow. Данное указание закрепляется в http-заголовках, не видимых в коде страницы.

Рассказываем о разнице между Nofollow и Noindex, как их правильно использовать для ссылок и скрытия контента на сайте.

Всегда следите за наличием рассмотренных в статье тегов и атрибутов в нужных местах, чтобы получать именно тот результат, которого вы ожидаете.

Используем rel=nofollow и noindex для Yandex » WPbloging

Давайте попробуем разобраться в этих новинках Яндекса .

Небольшая предыстория атрибута rel=nofollow

Что такое rel=nofollow?

Rel=» « — атрибут в ссылке <a>, указывающий отношение ссылки к целевой странице. Также, есть еще атрибут Rev=» «, указывающий отношение целевой страницы к ссылке, например (ссылка с rev=»sponsor» указывает, что это спонсорская ссылка). Но об этом в следующей статье.

Nofollow — статус, говорящий о том,что вы не одобряете данную ссылку.

Исходя из вышесказанного:

Rel=nofollow — определяет отношение вашей ссылки к целевой странице как не одобряемое. Применительно к поисковикам, данный атрибут указывает индексирующим роботам, что по данной ссылке не следует переходить на целевую страницу.

Rel=nofollow был введен и стандартизирован в 2005 году, в ответ на многочисленный ссылочный спам, присутствующий в блогах. Инициатором введения была поисковая система Google, источник.

Google, встречая ссылку с данным атрибутом, не следует по данной ссылке и не передает вес PR целевым страницам. Также, данные ссылки не учитывались в расчетах распределения ссылочного веса по ссылкам страницы. Но, так было до 2010 года. На данный момент, Google, также не передает ссылочный вес и не следует по ссылкам с rel=»nofollow», но вот ссылочный вес, внутри страницы, стал распределятся и на эти ссылки но впустую. То есть, если у вашей страницы PR-10 и 10 ссылок на странице, где 5 из них закрыты, то каждая открытая ссылка передавала по 2PR на целевую страницу. Теперь каждая открытая ссылка будет передавать 1PR по открытым ссылкам и по 1PR в пустоту по закрытым. Но эта статья не о Google, вернемся к Яндексу.

Yandex, до апреля месяца 2010г., не учитывал данный статус. В рекомендациях Яндекса находим нашумевший тег <noindex>, который позволял сделать тоже самое и больше. Теперь там и nofollow.

В чем разница rel=nofollow и <noindex>

Так в чем же проблема?
Зачем Яндексу понадобилось вводить поддержку rel=»nofollow»?

<!--noindex-->Блок вашего закрываемого текста<!--/noindex-->


Еще одна проблема тега <noindex> в том, что зарубежные веб-мастера, не ведая о данном теге, не используют его в разработках своих плагинов к WordPress. Приходится данные плагины адаптировать под Яндексовскую реальность.
Если в комментариях блога ссылки были закрыты атрибутом rel=»nofollow», то для Яндекса эти ссылки были открыты. Это означало, что роботу приходилось путешествовать по всем ссылкам указанным в комментариях.

Атрибут со статусом rel=»nofollow» стандартизирован и используется во всем мире для указания поисковикам, что ссылка не одобрена автором и  по ней не нужно следовать.
Например, если закрыть служебную страницу от индексации в robots.txt, а ссылку оставить открытой, робот проследует на данную страницу, но не проиндексирует ее. Зачем тогда тратить ресурсы робота на переходы по ненужным страницам? Еще есть один нюанс, если на вашу служебную страницу ведут открытые ссылки с других внешних источников, то ваша, как бы закрытая страница, попадет в поиск, даже если она закрыта в robots.txt. Об этом также расскажу в следующих статьях.

Исходя из всего этого, по многочисленным просьбам и жалобам веб-мастеров, Яндекс ввел поддержку стандартизированного W3C атрибута со статусом rel=»nofollow». Атрибут закрывает ссылки от переходов роботом и не передает вес. Теперь многое стало проще. Но есть один нюанс. Анкоры ссылок будут проиндексированы как текст.

Зачем нужен <noindex>?

Тег <noindex> очень важен, если вы хотите, чтобы часть текста, со всеми анкорами ссылок и т.д., не индексировалась и не попала в поисковую базу Yandex.
Например, у вас на странице может быть служебная информация, или блок текста с сайта, который используется как негативный пример. Вы не хотите, чтобы поисковик  связал ваш сайт с данным текстом или индексировал служебную информацию и сохранил у себя в базе. Для этого данный блок обрамляется тегом <noindex>.

К сожалению, такого инструмента для Google не существует. Вполне возможно, что Google или консорциум W3C в будущем обратят внимание на данный тег или придумают свой, и веб-мастера получат в свой инструментарий еще один полезный инструмент.

Как правильно прописать rel=nofollow и <noindex>

1. Для закрытия ссылок от индексации, с помощью rel=»nofollow»,  используется простая схема:
   <a rel=»nofollow» href=»http://www.site.com» title=»Подсказка»>Ссылка на сайт</a>
   перехода по ссылке не будет.
2. Для закрытия блока текста тегом <noindex>, со всем содержимым, в том числе и с анкорами ссылок, используется схема:
   <!--noindex-->Блок вашего закрываемого текста<!--/noindex-->
данный текстовый блок не будет проиндексирован в Яндекс, со всеми текстами ссылок.
3. Для закрытия блока текста тегом и ссылок в блоке, используется схема:
   <!--noindex-->Блок вашего закрываемого текста <a rel="nofollow" href="http://www.site.com" title="Подсказка">Текст анкор ссылки</a> Блок вашего закрываемого текста<!--/noindex-->
данный блок не будет проиндексирован в Яндекс, со всеми ссылками содержащимся в данном блоке.

Что изменилось с вводом поддержки rel=nofollow?

1. Для тех, кто ведет ресурсы для людей и не использует спам-продвижения, почти ничего не изменится. Возможно некоторое уменьшение числа внешних ссылок, закрытых с rel=»nofollow».
2. Для тех, кто использовал в продвижении ссылочный спам (спам в комментариях, спам в форумах, соц. сетях, Википедии и т.д), и у кого основная ссылочная масса, дающая ТИЦ, состояла из таких ссылок, будет существенное снижение ТИЦ и как правило, проседание в поисковой выдаче Yandex.

Источник

Кратко, о новинках апреля 2010 года в Яндекс:

1. У страницы поисковой выдачи Яндекс теперь фиксированная ширина.
2. Появились в выдаче навигационные цепочки, у некоторых сниппетов и даты публикации.
3. Появился колдунщик видео.
4. В панели веб-мастера появилась возможность просмотра статистики по собственным ключевым словам.

P.S. Теперь осталось дождаться включения поддержки Яндексом канонического атрибута rel=»canonical», о котором я писал в статье о дублированном контенте, и многие блогеры вздохнут с облегчением.
Хорошая новость, в конце мая 2011г. Яндекс стал учитывать атрибут rel=»canonical». Принесет это облегчение или нет, покажет время.

что это такое, как правильно использовать

Nofollow – это атрибут, который прописывается для определенной ссылки или всех ссылок на странице в мета-теге robots с целью запрета поисковым роботам на переход по ним.

Noindex – это атрибут, который закрывает от индексации текст на странице.

То есть, noindex отвечает за контент в документе и запрет на индексацию его, в то время как nofollow – за ссылку.

Правила применения и зачем нужен nofollow?

Чтобы понять, в каких случаях может вообще пригодиться этот атрибут, рассмотрим, как к нему относятся популярнейшие поисковые системы.

• Яндекс. Когда на вашем ресурсе содержатся разделы, предназначенные специально для обсуждения записей, написания комментариев к статьям или форум, важно следить за тем, какие исходящие ссылки оставляют в них посетители. Желательно модерировать каждый комментарий. Благодаря этому владелец сайта сможет предотвратить размещение различных вредоносных ссылок от спамеров. Хотя поисковик и не учитывает их, спам сильно влияет на репутацию веб-ресурса и к нему может быть применен фильтр. В связи с этим следует проверять все комментарии, и если есть какие-то сомнения относительно качества размещаемой ссылки, пропишите для них атрибут rel=”nofollow”. Сейчас, в измененном руководстве Яндекс, данный текст был удален и осталось только правило применения rel=»nofollow» Руководство Яндекс о nofollow
• Google. Если у вашего сайта есть раздел, где пользователи могут комментировать записи, есть большой риск, что в комментариях появятся ссылки на вредоносные страницы. Спамеры «любят» сайты с комментариями без модерации. Атрибут nofollow для спам-ссылок спасет ваш ресурс и сохранит его чистую репутацию в глазах поисковой системы. Если же вы доверяете сайту, на который ссылается посетитель или вы сами ссылаетесь, то нет необходимости прописывать nofollow. Руководство Google о nofollow

Эти сообщения взяты с официальных сайтов поисковиков. Как видите, в Яндекс и Google написаны аналогичные вещи: значение nofollow нужно использовать в тех случаях, когда вы хотите сообщить ботам о недоверии в отношении сайта, на который ведет ссылка.

Только в Яндекс упор делается, что ссылка с rel=»nofollow» не будет индексироваться поисковой системой, а в Google говорится о том, что робот не будет переходить по такой ссылке.

Рассмотрим более конкретный пример, когда для ссылки требуется прописать запрещающий атрибут:

Материал сомнительного качества. Если вам не нравится содержание страницы, на которую посетитель оставляет ссылку в комментарии, и вы не желаете жертвовать репутацией своего сайта, прописывайте в теги данной ссылки значение rel=”nofollow”. Спамеры, заметив на вашем ресурсе тенденцию, когда к непроверенным ссылкам добавляется блокирующий атрибут, вскоре прекратят попытки навредить сайту. Если же вы видите, что пользователь оставляет ссылку на качественный материал, вручную или автоматически nofollow можно удалить.

Как правильно прописать nofollow?

Это сейчас nofollow позволяет управлять каждой ссылкой отдельно, но когда-то данное значение можно было задействовать только в мета-теге, который закрывал от поисковой системы абсолютно все ссылки на странице. И для запрета перехода по отдельным ссылкам вебмастерам приходилось блокировать их URL в robots.txt.

Robots Nofollow

Эти мета-теги так и остались по сей день. Если вы хотите закрыть от индексации все ссылки, содержащиеся на определенной странице, то на этой странице нужно прописать такой код:

<meta name=”robots” content=”nofollow” />

Важно не путать данный тег с двумя нижеприведенными кодами, content=»none» и content=”noindex, nofollow” блокируют доступ ботов ко всей странице, а не только к ее ссылкам. Поэтому, если вы хотите чтобы страницы индексировались, то ни в коем случае не прописывайте для них два вот этих тега:

<meta name=”robots” content=”none” />

<meta name =”robots” content=”noindex, nofollow” />

Rel=»Nofollow»

Выше мы рассмотрели варианты, как запретить переход поисковых роботов по всем ссылкам на страницах. Но еще можно назначить запрет на переход к конкретной ссылке.

Чтобы запретить для индексации и переход робота по ссылке, к ней надо прописать атрибут rel=”nofollow”, в коде это выглядит так:

<a href=”URL” rel=”nofollow”>анкор гиперссылки</a>

Утекает ли вес ссылки через nofollow?

Хотя Google в своих заявлениях позиционирует применение атрибута nofollow как переход по ссылке. И это подтвердило обращение бывшего главы компании по борьбе с поисковым спамом, Мэтта Катса. Он заявил, что

А вот с Яндексом вопрос не явный. Он четко пишет в своей документации, что данный атрибут запрещает индексацию таких ссылок.

А если мы перейдем в описание атрибута robots nofollow, то здесь уже видим запрет на переход, и не слово про индексацию.

Но, раньше можно было это проверить, если применить в поиске такую конструкцию url: ваш урл << inlink:(“анкор ссылки”), и Яндекс нам отображал только те страницы, где содержится наш искомый анкор ссылки. Сейчас же этот метод не работает, поисковая система Яндекс запретила использовать такую конструкцию в поиске. Поэтому можно с большей долью вероятностью сказать, что Яндекс может учитывать такие ссылки, потому что они появляются в Яндекс Вебмастер.

Видно, например, что Яндекс учитывает ссылки с Твиттера, даже если они отдаются через редирект и закрыты nofollow.

В целом можно сказать, что применение данного атрибута для поисковых роботов не всегда является запретом, если особенно сайт авторитетный.

Стоит ли закрывать внутренние ссылки в nofollow?

В прошлом, seo оптимизаторы сильно злоупотребляли rel=»nofollow» тем самым манипулирую передаваемым весом внутри сайта. Поэтому поисковая система Google заявила, что все внутренние ссылки отмеченные rel=»nofollow» будут отдавать вес вникуда https://www.mattcutts.com/blog/pagerank-sculpting/.

То есть со страницы где стоит такая ссылка будет уходить вес, но на страницу на которую стоит ссылка он не будет передаваться, получается он будет обнуляться.

Об этом в видео говорит бывший руководитель поиска в Google. Видео на английском, поэтому включите русские субтитры.

Атрибут noindex: что это и чем отличается от nofollow?

Многие начинающие вебмастера ломают голову, не понимая, чем noindex отличается от nofollow. Все просто:

• nofollow — применяется к ссылкам
• noindex — применяется к тексту

Если вы хотите запретить текст на всей странице сайта для индексации, но при этом учитывать ссылки, на странице нужно прописать следующий код:

<meta name=”robots” content=”noindex, follow: />

Если вы хотите закрыть часть текста, то в Google нет такого атрибута, но в Яндексе это возможно. Тег noindex был внедрен поисковиком Яндекс, так как раньше он не понимал nofollow, а ненужные ссылки нужно было как-то закрывать от роботов.

Но в 2010 году поисковая система начала работать с атрибутом rel=”nofollow”, при этом noindex не исчез, а остался отвечать за скрытие текста. Теперь, если вы хотите закрыть от индексации текст или например анкор ссылки, пропишите команду:

<noindex><a href=”url”>анкор ссылки</a></noindex>

Сама ссылка будет открыта для перехода роботами поисковых систем, не учтется только ее текст (анкор). Так же можно закрывать не только анкоры ссылок, но и контент.

Например это удобно было, когда Яндекс ввел новый алгоритм Баден-Баден, который накладывал санкции за seo тексты. Стоило закрыть портянки текста в noindex, и можно было выйти из под этого фильтра, причем не потерять позиции в Google, так как поисковая система Google не учитывает тег <noindex></noindex>.

Выводы

Nofollow отвечает за переход поисковых систем по этим ссылкам, как на всей странице, так и для определенной ссылки. Ранее noindex тоже выполнял аналогичную функцию, но только по отношению к Яндексу, который со временем начал понимать nofollow, в результате чего значением noindex начали закрывать от индексации контент на странице.

Владелец сайта должен грамотно использовать атрибут nofollow и понимать, в каких именно случаях это делать:

1. Когда ссылка ведет на веб-ресурсы с некачественным контентом.
2. Когда вы размещаете на странице коммерческий контент.

По атрибуту nofollow ссылка может индексироваться и передавать свой вес, если она стоит на качественный ресурс.

Главная задача использования nofollow — помочь указать приоритетные для сканирования ссылки, разделить продающие статьи от информационных, а также защитить сайт от спама, который, если не контролировать, может привести к снижению ранжирования или куда хуже, вылету ресурса из индекса.

Для всех других ситуаций можете смело применять dofollow ссылки, открытые для поисковых роботов. Репутация сайта ничуть не ухудшится, а даже улучшится, если вы будете оставлять ссылки на полезные для вашей целевой аудитории страницы. И никакой вес ваши документы не потеряют, а наоборот даже могут приобрести за счет обратного PageRank.

Что такое meta name robots?

Всем привет. В предыдущей статье я рассказывал про тег <noindex> и атрибут nofollow тега <a>, но в отдельную тему я решил вынести мета-тег robots с атрибутом content=”noindex,nofollow”.

Индексация страниц с точки зрения SEO имеет огромное значение и необходимо владеть базовыми техническими знаниями в SEO. Поэтому сегодня я расскажу вам про мета-тег robots, про который не знают многие оптимизаторы.

Что такое meta name robots?

Прошу не путать с robots.txt, так как это совершенно разные файлы. Meta robots необходим, а Robots.txt призван для того чтобы создавать правила индексирования страниц для поисковых роботов.

Чтоб было нагляднее давайте разберем на примере:

Это пример файла robots.txt

User-agent: *

Disallow: /admin/

Clean-Param: utm_source&utm_medium&utm_campaign

Crawl-Delay: 0.5

Sitemap: https://website.ru/sitemap.xml

Host: https://website.ru

Кстати, совсем недавно написал полноценную статью про правильную настройку robots.txt

Вот это пример мета-тега robots с атрибутами name и content

<meta name=”robots” content=”noindex, follow” />

Как вы видете синтаксис довольно прост + параметры данного тега нечувствительны к регистру. Можно написать и в таком формате

<META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW” />

В принципе синтаксис мы уже увидели. Данный тег должен располагаться в разделе <head> тут</head> и нигде больше! Но использовать данный тег можно несколько раз на странице.

Список параметров мета-тега name robots:

Для всех поисковых систем

index – позволяет индексировать текст страницы

noindex – не индексировать текст страницы

follow – индексировать ссылки на этой странице

nofollow – не индексировать ссылки на этой странице

all – индексировать текст и ссылки на странице

none —  не индексировать текст и ссылки на странице

noarchive – не показывает ссылку на сохраненную копию на странице поисковой системы

Только для Яндекса:

noyaca – не использовать описание Яндекс Каталога в результатах выдачи Яндекса

Только для Google:

nosnippet – не использует фрагмент содержания в результах поиска Google

noodp – не использует описание из каталогов ODP/DMOZ в результатах поиска Google

unavailable_after:[date]: — возможность указать точную дату и время, когда необходимо прекратить индексирование страницы

noimageindex – не использует картинки сайта в качестве источника ссылки, которая отображается в поисковой системе Google

Если тег meta name robots отсутствует на страницы, то мы автоматически разрешаем роботу индексировать текст и ссылки на странице.

Итак, разберем каждый пример отдельно

<meta name=”robots” content=”noindex” />

Этот пример позволит закрыть от индексации текст страницы, но будет учитывать все ссылки на сайте и соответственно проиндексирует их. Та же ситуация произойдет если, мы добавим follow

<meta name=”robots” content=”noindex, follow” />

Разницы нет, писать можно так и так.

Если мы хотим полностью закрыть страницу от индексации через тег meta name, то есть два способа:

<meta name=”robots” content=”noindex, nofollow” />

И <meta name=”robots” content=”none” />

(Также можно использовать на странице тег noindex и и атрибут nofollow)

Оба варианта позволят роботу не учитывать текст и ссылки на странице.

<meta name=”robots” content=”all” />

Этот тег учитывает все ссылки и текст

Далее я расскажу в каких случаях использовать.

Использование meta name robots

Когда нужен robots.txt, а когда meta name robots?

Плюсы meta name robots.txt

Данный файл мы можем указывать, когда необходимо закрыть целые разделы, несколько страниц от индексации поисковых роботов. Причем, чтобы запретить раздел, мы прописываем это только одной строкой и если мы хотим разрешить индексирование одной страницы, то добавляем дополнительно строку.

В принципе более подробно про robots.txt я рассказал здесь.

Мета-тег name robots в этом случае проигрывает, потому что невозможно указать данный тег на весь раздел (придется выставлять отдельно на каждой странице, что очень неудобно и затратно).

Ну в целом и все. Главное, что мы выигрываем время.

Теперь разберем, когда лучше всего использовать meta name robots.

1. Страница в разработке. 

Допустим, вы не до конца доделали страницу и в дальнейшем планируете его закончить, тогда вы можете внести ее на сайт, но попросить поисковую систему не индексировать эту страницу. В дальнейшем, когда страница будет готова, вы удалите этот тег.

Тег будет выглядеть так:

<meta name=”robots” content=”none” />2. Дублированный контент. 

Если вы не знаете, то архивы, ярлыки создают дублирование контента. Но закрывать эти страницы от индексации полностью необязательно. Достаточно, тег meta name robots с запретом индексации текста, но индексацию ссылок не трогать.

<meta name=”robots” content=”noindex,follow” />

Ответы на вопросы

Что будет, если использовать одновременно meta name robots и robots.txt ?

Поисковой системе без разницы что вы используете для управления индексацией (файлом robots.txt или мета тегом robots). Важно чтобы эти элементы не противоречили друг другу. Поэтому будьте внимательны.

Читайте в нашем блоге: Что такое OpenGraph и как его настроить?

Яндекс про meta robots.txt

Прочитал у Яндекса интересную заметку в справке:

“Если мета-теги не указаны, робот считает, что они имеют положительное значение (index, follow, archive). Если робот обнаруживает конфликт между тегами, выбирается именно положительное значение.

Пример:

<meta name=»robots» content=»all»/>

<meta name=»robots» content=»noindex, follow»/>

<!—Робот выберет значение all, текст и ссылки будут проиндексированы.—>

Исключение — атрибут all не влияет на noarchive:

<meta name=»robots» content=»all»/>

<meta name=»robots» content=»noarchive»/>

<!—Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки

на сохраненную копию страницы.—> “

Google про мета-тег robots

Интересную информацию я нашел в справочнике Гугла:

Чтобы заблокировать большую часть поисковых роботов, добавьте следующий метатег в раздел <head> веб-страницы:

<meta name=»robots» content=»noindex»>

Если вы хотите закрыть доступ к странице только роботам Google, используйте такой код:

<meta name=»googlebot» content=»noindex»>

Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.

По поводу ноуиндекс ничего нового мы не узнали, но зато я увидел вот что! В атрибуте name указано значение googlebot, а это говорит о том, что можно использовать различных поисковых ботов. Это я увидел в англоязычном справочнике Гугла.

Вот что пишет справочник Google

Странно здесь одно, что в справочнике Яндекса никакой информации про это я не увидел.

Заключение

Конечно, не стоит закрывать все ссылки на сайте, обязательно ссылайтесь на полезные ресурсы для посетителя и никаких nofollow, noindex вам не понадобится. Потому что роль данных тегов важна с точки зрения индексации, но не с точки зрения продвижения вашего сайта. Ну к примеру, я не использовал данный тег и мои сайты ранжировались нормально. Это скорее некая дополнительная фича к robots.txt.

Не злоупотребляйте спамными техниками и прочими черными методами продвижения сайтов и старайтесь не слушать биржи о покупке ссылок и волшебном продвижении в ТОП 10, и ничего за это вам не будет. Поймите – их цель продать вам продукт и они будут вливать вам как можно больше воды. Можно продвигать сайт без них, есть конкретные кейсы и примеры (точнее без покупки ссылок), ну а в сегодняшней статье всё.

Оставляйте вопросы в комментариях, а пока у меня к вам несколько вопросов:

Как вы используете meta-robots name? 

Используете ли вы различных ботов (googlebot, googlebotnews) для запрета индексации той или иной страницы?

SEO: технические проблемы и проблемы с контентом

SEO (или поисковая оптимизация) — это процесс оптимизации веб-сайта для повышения рейтинга в результатах поисковых систем. Есть две основные области SEO, которые включают в себя ряд тактик, используемых для оптимизации веб-сайтов для поиска:
Оптимизация контента — качество контента сайта, ориентированного на посетителей, с точки зрения того, как он привлекает пользователей, и оптимизирован ли мета-контент для поисковые системы и пользователи.

Техническое SEO — насколько хорошо технические элементы сайта позволяют поисковым роботам получать к нему доступ, сканировать и индексировать его.

Эта страница предназначена для того, чтобы научить вас основам, помогая вам начать работу с:

Если вы впервые используете эту функцию, мы рекомендуем совершить краткий обзор с нашим обзором SEO. Вы также можете указать другие способы обучения, если хотите пройти вебинар или пройти формальный курс в нашей академии.

Устранение проблемы с контентом: повторяющиеся мета-заголовки

Когда две или более ваших страниц имеют одинаковый заголовок, поисковым системам становится труднее решить, какая из них должна занять лучшее место.Рассмотрим сценарий, в котором вы подходите к полке в библиотеке и встречаете две книги с одинаковым названием — какую из них вы открываете первой? Каждая страница вашего веб-сайта должна иметь уникальный заголовок с соответствующими ключевыми словами, резюмирующими ее содержание.

Есть несколько способов решить эту проблему, некоторые из которых требуют больше технических знаний, чем другие:

• Измените заголовок дублирующихся страниц.
• Используйте канонический тег.
• Используйте тег noindex / nofollow.

Мы предоставили подробные объяснения для каждого из этих параметров в статье справочного центра, ссылка на которую приведена ниже.

Статья справочного центра: Как исправить ошибку «Дублирующиеся мета-заголовки» (заголовки страниц) в SEO?

Исправление повторяющихся мета-заголовков (видео):

Устранение технической проблемы: страницы, не включенные в карту сайта

Карта сайта — это файл XML, содержащий список URL-адресов на вашем веб-сайте. Это полезно тем, что позволяет сканерам поисковых систем более легко идентифицировать все страницы, доступные для индексации. В идеале ваша карта сайта будет ссылаться на все наиболее важные страницы вашего сайта, те, которые вы хотите, чтобы они отображались на страницах результатов поисковой системы.
Чтобы решить эту проблему, просмотрите список страниц, которые, как мы определили, отсутствуют в вашей карте сайта, затем выполните одно из следующих действий:

• Добавьте отсутствующие страницы в карту сайта.
• Используйте канонический тег, чтобы указать поисковым системам на более подходящую версию страницы.
• Удалите страницу со своего сайта, если она больше не нужна.

Приведенное ниже видео дает обзор того, как анализировать отдельные проблемы, влияющие на работу вашего сайта по поисковой оптимизации.

Статья справочного центра: Как Siteimprove использует карты сайта?

Учебное пособие в приложении: работа с вопросами и рекомендациями по SEO

Обзор отдельных проблем в SEO Basic (видео):

Дополнительные способы обучения

Курс Академии:

Основы SEO

мета-тегов Noindex Nofollow | Как они влияют на SEO

Meta содержат указания для поисковых систем о том, как сканировать и индексировать информацию на конкретном веб-сайте, который они обнаруживают.Когда боты поисковых систем находят эти инструкции, метадирективы действуют как надежные подсказки о том, как индексировать или сканировать эти страницы.

Теги Noindex и nofollow — это две директивы, которые используются на многих веб-сайтах. Независимо от того, хотите ли вы, чтобы определенные страницы или ваш веб-сайт не сканировались Google, или вы хотите сохранить бюджет сканирования, чтобы улучшить рейтинг вашего сайта по ключевым словам, прочитайте наше последнее руководство, в котором подробно описаны распространенные метадирективы и передовые методы их использования.

Что такое теги NoIndex?

Noindex — это директивы, которые предписывают поисковым системам не индексировать веб-страницу и не включать ее в страницы результатов поисковой системы.

Что такое теги NoFollow?

Теги Nofollow сообщают «паукам» поисковых систем не переходить по ссылкам на веб-странице, отмеченным тегами nofollow. Он советует поисковым системам, как сканировать сайт и какие страницы следует индексировать, чтобы сэкономить так называемый краулинговый бюджет.

Хотите узнать больше о поисковой оптимизации? Прочтите наше Руководство для начинающих по поисковой оптимизации , чтобы узнать все, что вам нужно знать о поисковой оптимизации и о том, как получать бизнес-результаты с помощью поисковых систем, таких как Google и Bing.

Мета-директивы общих роботов

Вот список распространенных метадиректив роботов, которые можно использовать для страниц своего сайта:

• Noindex: советует поисковой системе не индексировать веб-сайт.
• Индекс: информирует поисковую систему о том, что веб-сайт можно проиндексировать. Этот метатег не нужно добавлять, поскольку поисковые системы ожидают, что большинство веб-страниц будет индексируемым.
• Follow: Сканер может переходить по всем ссылкам на веб-сайте, даже если страница не проиндексирована, и передавать средства на связанные страницы.
• Nofollow: Советует поисковому роботу не преследовать и не продвигаться по ссылкам в любых ссылках на веб-сайте.
• Noimageindex: сообщает сканеру, что изображения на веб-сайте не должны индексироваться.
• Нет: аналогично перекрывающемуся использованию тегов noindex и nofollow.
• Noarchive: поисковые системы не просматривают кэшированные соединения в поисковой выдаче для этой статьи.
• Nocache: То же, что и Noarchive, но используется только для Firefox и Internet Explorer.
• Nosnippet: Советует поисковой системе не показывать фрагмент в поисковой выдаче этого веб-сайта (например, мета-заголовок или мета-описание).
• Недоступен после: после указанной даты поисковые системы больше не могут индексировать эту запись.

Когда мне следует использовать метатеги NoIndex или NoFollow?

Ниже приведены несколько различных типов страниц, для которых можно использовать метатеги noindex или nofollow.

Страницы продукта

На многих сайтах электронной торговли у вас могут быть сотни тысяч или даже миллионы страниц продуктов, на которых перечислены ваши конкретные товары. Однако эти продукты могут не иметь большого значения для пользователей в результатах поиска и могут вызывать раздувание, поскольку роботы-сканеры изо всех сил пытаются обнаружить и проиндексировать эти миллионы страниц на вашем сайте.

Это может привести к тому, что эти боты не найдут или не проиндексируют ваши приоритетные страницы, которые вы хотите проиндексировать. Распространенное решение, помогающее сохранить краулинговый бюджет, — это noindex, nofollow отдельные страницы со списком товаров.

Страницы тегов категорий

По умолчанию WordPress создает страницы категорий, на которых перечислены все статьи, в которых используются теги, установленные вами в CMS. Однако страницы с тегами категорий не представляют особой ценности для пользователей или поисковых систем, особенно если у вас есть актуальные категории для вашего веб-сайта.Лучше всего использовать noindex, nofollow для этих типов страниц.

Страницы администратора и входа

Основная часть страниц администратора или входа в систему не предназначена для Google. Однако иногда они индексируются. Чтобы исправить это, вы можете применить к нему noindex, чтобы он не отображался в результатах поиска.

Исключениями являются страницы входа, которые, как Dropbox или связанные сайты, поддерживают сообщество. Просто спросите себя, если бы вы не занимались своим бизнесом, вы бы погуглили один из своих сайтов входа в систему.В противном случае будет справедливо предположить, что эти страницы входа в систему не должны индексироваться Google. К счастью, если вы используете WordPress, вы в безопасности, поскольку CMS немедленно не индексирует страницу входа в ваш блог.

Результаты внутреннего поиска

Одно из последних мест, куда Google хочет привлечь посетителей, — это результаты внутреннего поиска. Результаты внутреннего поиска также создают уникальные страницы с каждым запросом, который пользователь вводит во внутреннюю поисковую систему, что вредит бюджету сканирования вашего веб-сайта и может помешать обнаружению важных страниц.

Чтобы этого не произошло, вы не захотите индексировать свои внутренние страницы результатов поиска.

Страницы благодарности

Страница с благодарностью служит только для того, чтобы поблагодарить вашего нового комментатора / клиента / подписчика на информационный бюллетень. Большинство страниц с благодарностями, как правило, имеют небольшой объем содержания и не представляют особой ценности для пользователей, ищущих конкретную информацию в Google. Из-за тонкого содержания и низкой ценности для SEO эти типы страниц не следует индексировать.

Лучшие практики для тегов NoIndex и NoFollow

Ниже приведены несколько рекомендаций, которым следует следовать при внедрении метатегов noindex или nofollow на вашем веб-сайте:

Не включать теги NoIndex на приоритетных страницах

Это само собой разумеющееся, но если вы хотите, чтобы страница занимала место в рейтинге или отображалась в Google, не добавляйте к ней тег noindex, так как это предотвратит индексирование этих страниц и отображение их для пользователей в поисковых системах.

Не используйте теги NoIndex в файлах Robots.txt

Добавление тегов noindex в файл robots.txt вашего веб-сайта когда-то было поддерживаемой практикой. Однако в сентябре 2019 года Google объявил, что это не стандартная практика, и его поисковая система может игнорировать ваши директивы robots.txt, содержащие теги noindex или nofollow.

Если вы хотите, чтобы страницы не индексировались или не отслеживались, вместо создания директивы в вашем файле robots.txt, вы хотите включить ее в раздел своей страницы или непосредственно перед разделом.Это гарантирует, что директива будет прочитана и будет выполняться поисковыми роботами.

NoIndex в конечном итоге означает NoFollow

По прошествии определенного периода времени для веб-страницы, на которой реализована директива тега noindex, Google в конечном итоге прекратит сканирование этой страницы, рассматривая ее как nofollow в своем архиве, чтобы сохранить бюджет сканирования.

Настройка NoFollow для одиночных ссылок

Если у вас есть спонсируемые или платные ссылки на своем веб-сайте, вы можете добавить директиву, информирующую Google о том, что не следует переходить по этим ссылкам или передавать им право собственности.Вы можете использовать атрибуты HTML rel для разметки этих отдельных ссылок с помощью директивы тега nofollow вместо добавления тегов noindex или nofollow для всей веб-страницы.

Сводка

Заголовок

Как мета-теги Noindex Nofollow влияют на SEO

Описание

Я буду рассматривать мета-теги директив, а точнее никаких тегов index или nofollow. Мета-директивы предоставляют поисковым системам указания о том, как сканировать и индексировать информацию на веб-сайте. Отсутствие индексных тегов в основном указывает поисковым системам не индексировать веб-страницу и не включать их в страницы результатов поисковой системы.

Что такое «без индекса нет метатега слежения?» Где и как мы можем это использовать

Основная функция роботов Google — сканировать и индексировать каждую страницу в Интернете! Это означает, что каждая страница вашего сайта индексируется ботами, хотите вы этого или нет. Итак, что вы делаете, если не хотите делиться страницей или добавлять ее в поисковый индекс.

Ну, там нет индекса, нет метатега слежения вступает в действие.

Когда я впервые в своей карьере блоггера слушаю это «слово».Первое слово, которое приходит мне на ум, было «ебать…». что, черт возьми, это сейчас? »

Я честно говорю, что не знаю ни слова об этом.

Но после долгих поисков в интернете и общения с каким-то специалистом. Я наконец хватаю полезную информацию, которую все еще использую для оптимизации своего сайта, а также сайта моего клиента.

Фактически, no index no follow meta tag , это объединенная форма двух разных метатегов:

1. noindex meta tag
2. nofollow meta tag

Оба являются HTML-кодом, который добавляется в заголовок HTML-документа, чтобы просто сообщить ботам: «НЕ НУЖНО ИНДЕКСИРОВАТЬ ЭТУ КОНКРЕТНУЮ СТРАНИЦУ»

Где

• Роботы: Роботы используются для всех ботов, но вы можете определить ботов-частиц вместо роботов
• Выбор: Вы можете определить значение (действие, которое вы хотите сообщить Google)

Например:

Я рекомендую вам сначала узнать, что такое метатег роботов, чтобы вы могли легко понять, что я собираюсь объяснить

Из этой статьи вы узнаете следующее:

1. Что нет метатега без индекса?
2. Его синтаксис и техническое представление
3. Где и почему мы его используем?

Итак, приступим,

Что такое метатег без индекса и метатега?

Согласно rbobtstxt.org

Метатег No index no follow — это специальный HTML-тег, который сообщает роботам (ботам) не индексировать содержимое страницы и / или не сканировать ее для перехода по ссылкам.

Позвольте мне объяснить простым языком

• метатег nofollow означает «Чтобы сообщить ботам, нет необходимости индексировать эту конкретную страницу» и
• noindex метатег означает: «Чтобы сообщить ботам, не нужно переходить по ссылке на этой странице.

Таким образом, комбинация метатега no index no follow, сообщает ботам, что нет необходимости индексировать этот пост, а также нет необходимости переходить по ссылке, представленной на этой странице.

Синтаксис и техническое представление метатега no index no follow.

nofollow и noindex meta tag — это типы метатега роботов, и я уже объяснил его синтаксис и его правила.

Здесь я выделю лишь несколько моментов.

Синтаксис:

Вы также можете определить более одного значения в отдельных тегах HTML,

Например;

Если вы хотите заблокировать контент из определенной поисковой системы.

Предположим, вам нужно заменить значение robots на имя паука поисковой системы.

Например,

Этот синтаксис помогает вам блокировать только ботов «Новости Google», а все остальные боты работают нормально, как и работают.

Вы также можете заблокировать несколько пауков поисковых систем, разделив их запятыми.

Например,

Примечание. Googlebot понимает любую комбинацию верхнего и нижнего регистра.

Таким образом, каждый из этих метатегов интерпретируется точно так же:

Разработчик добавляет этот код, чтобы гарантировать, что Google не проиндексирует незавершенный веб-сайт. Итак, чтобы убедиться, что этот код все еще присутствует на вашем веб-сайте (или на каждой странице) или нет, просто

• Откройте страницу (веб-сайт) и проверьте исходную страницу (удерживайте Cltr + U в браузере Chrome)

Примечание: Этот код должен быть помещен в заголовок HTML-документа.

 




 ....  

Где и почему мы используем «без индекса, без метатега слежения»?

Существует ряд причин, по которым поисковые системы не индексируют определенные страницы вашего веб-сайта.

Один из наиболее очевидных вариантов использования для маркетологов — « страниц благодарности ».

Другими словами, после успешного завершения преобразования вы перенаправляете посетителя на свою «страницу благодарности», где вы предоставили ссылку для загрузки какой-то электронной книги или PDF-файла.

Предположим, эта страница благодарности проиндексирована Google, тогда любой может найти эту страницу, просто выполнив быстрый поиск в Google.

Поэтому важно, чтобы эта страница была недоступна для ботов. мы можем сделать это, просто разместив на странице метатег no index no follow.

Вторая причина — проблема с дублированием контента. Тот же нишевый веб-сайт имеет ту же страницу политики, страницу условий и условий, страницу отказа от ответственности и т. Д.

Я просто выделил только несколько страниц, но на вашем сайте есть много других похожих страниц, которые вы не хотите добавлять. в поисковике.

Давайте посмотрим на случай, когда вам нужны оба метатега.

Случай 1: — метатег Noindex

Предположим, вы добавляете электронную книгу на свой веб-сайт и размещаете ссылку на этот файл на «Странице A»

Чтобы страница A не попала в поисковый индекс, вы должны добавить метатег noindex в заголовке страницы.

Это говорит ботам, что нет необходимости индексировать эту страницу, но боты переходят по ссылке на странице и индексируют другую страницу (означает ссылку для скачивания в электронной книге), и пользователь может загрузить файл, выполнив быстрый поиск в Google.

Случай 2: — Метатег Nofollow

Если вы добавите только метатег nofollow, то боты не будут переходить по ссылке на «странице благодарности». но проиндексируйте вашу «страницу благодарности». Итак, снова пользователь может загрузить страницу, просто выполнив быстрый поиск в Google по вашей «странице благодарности»

Случай 3: — нет index no follow meta tag

В этом можно , боты не индексируют вашу страницу и не переходят по ссылке на этой странице, что означает, что ваша электронная книга в безопасности.

Примечание: — Но если какой-либо пользователь ссылается на вашу электронную книгу, то боты могут проиндексировать вашу электронную книгу, перейдя по этой ссылке.

Как добавить метатег «no index no follow» на странице

Существует множество методов для реализации метатега no index no follow в заголовке страницы.

Некоторые темы предоставляют возможность добавления метакода в заголовок веб-сайта, например Eleganttheme, Studiopress, Thrives и т. Д., Но я не рекомендую использовать эту функцию.

Потому что в будущем, если вы переключите тему, весь ваш код будет удален.

Я рекомендовал использовать плагин для размещения кода в верхнем и нижнем колонтитулах сайта.

Если вы используете плагин Yoast для SEO, вы можете не добавлять индекс и не следовать метатегам во время написания страницы и публикации.

• Щелкните вкладку Yoast SEO, а затем щелкните значок настройки.
• Выберите метатег, который вы хотите добавить на страницу, и сохраните настройку.

Yoast автоматически добавляет код ниже в заголовок вашей текущей страницы.

Этот код блокирует всю поисковую систему, но если вы хотите заблокировать определенных ботов, вам необходимо изменить значение robots.

Это означает, что плагин Yoast здесь работать не будет.

В такой ситуации создайте код в соответствии с вашими потребностями и вставьте его в заголовок страницы с помощью плагина.

Заключение

Нет индекса, нет метатега, не только определяет, должна ли страница быть индексом, но и контролировать структуру вашего веб-сайта. Качественная страница и полезная информация в поиске могут повысить авторитет домена и рейтинг страницы сайта.

Не забудьте поделиться этим сообщением со всеми, кто может извлечь пользу из этой информации, включая ваших друзей в Facebook, подписчиков в Twitter и членов вашей группы Google+!

Также поддержите нас, поставив лайк на нашей странице в Facebook, Twitter и Google+.

Если у вас есть какие-либо предложения или проблемы по поводу отсутствия индекса и метатега, пожалуйста, не стесняйтесь оставлять комментарии ниже.

Навигация по сообщениям

В чем разница между NoIndex и NoFollow?

В чем разница между NoFollow и NoIndex?

Специалисты по цифровому маркетингу тратят много времени и энергии на совершенствование каждой страницы контента на веб-сайте. У каждой страницы есть цель, с хорошо проработанным и стратегически сформулированным содержанием, ориентированным на целевого пользователя.Контент создается для привлечения потенциальных клиентов и повышения авторитета веб-страниц и их соответствующих доменов. Эти страницы затем отправляются для индексации поисковым системам, чтобы их можно было сканировать и в конечном итоге сохранять с целью быть найденными вашим конечным пользователем.

Однако есть страницы, сканирование которых запрещено. Эти страницы могут помешать вашей тяжелой работе по созданию красивого и индивидуального контента. Помня об этом, вам нужно знать, как правильно сообщить сканерам поисковых систем, что вы не хотите, чтобы ваш контент индексировался или сканировался.

NoIndex — это метатег, который добавляется в код заголовка веб-страницы, чтобы сообщить поисковым системам, что, хотя они могут сканировать страницу, чтобы понять ее содержание, они не могут проиндексировать страницу, чтобы она отображалась в результатах поиска. Это пример того, как NoIndex отображается в исходном коде веб-страницы:

NoFollow — это метатег, который добавляется в код заголовка веб-страницы и сообщает поисковым системам не переходить по ссылкам на этой странице.По сути, это дезавуирует ссылки на этой странице и информирует поисковую систему, чтобы она не передавала какие-либо полномочия или «ссылочный вес» на страницы, на которые есть ссылки в вашем контенте. Это пример того, как NoFollow отображается в исходном коде веб-страницы:

NoIndex и NoFollow сильно различаются по полезности. Вы будете использовать NoIndex при указании поисковой системе не сохранять вашу веб-страницу для отображения в результатах поиска, в то время как вы будете использовать NoFollow, когда вы дадите указание сканерам поисковой системы не переходить по ссылкам на вашей странице.Следовательно, NoIndex предназначен для вашей веб-страницы , а NoFollow — для ссылок , которые существуют на вашей веб-странице.

Примером метатега NoIndex является страница с благодарностью. Вы бы не хотели, чтобы поисковая система отображала страницу с благодарностью на странице результатов поисковой системы, поскольку это обычно страница, на которую пользователь попадает после того, как он заполнил вашу форму генерации лидов. Чтобы поисковые системы знали, что эту страницу хранить нельзя, вы должны указать метатег NoIndex в коде заголовка вашей веб-страницы.Другие примеры страниц, которые вы не хотели бы индексировать поисковыми системами, включают Политику конфиденциальности, Положения и условия и страницы «Страница не найдена».

Примером метатега NoFollow также является целевая страница. Если ваша целевая страница содержит ссылку на ваше предложение, скажем, электронную книгу «10 советов, как максимально использовать ваши усилия в цифровом маркетинге», вы должны убедиться, что сканер поисковой системы не просканирует эту ссылку и не начнет индексировать этот контент.

Изучение ресурсов для защиты и оптимизации вашего контента для поисковых систем является важной частью ваших инициатив по контент-маркетингу и привлечению потенциальных клиентов.Правильное использование метатегов NoFollow и NoIndex поможет вам максимально использовать вашу контент-стратегию и убедиться, что вы не теряете ценных потенциальных клиентов.

Как мне реализовать NoIndex или NoFollow на моем веб-сайте?

Если вы используете WordPress, мы рекомендуем бесплатный инструмент Yoast SEO для управления вашими усилиями по SEO на странице. Чтобы активировать функции NoIndex и NoFollow, вы должны включить «расширенные настройки» на панели настроек Yoast.

Оттуда вы найдете варианты для реализации правил NoIndex и NoFollow на каждой странице вашего веб-сайта.

Легко, как пирог!

URL с «Noindex follow page» [Руководство по их устранению]

Noindex follow page Проблема означает, что существуют URL-адреса, у которых есть «noindex», но нет тега «nofollow» в коде HTML или в заголовке ответа HTTP.

Страница с ответом сервера X-Robots-Tag: noindex, follow или метатег не индексируется поисковой системой.В то же время его значение follow указывает поисковой системе переходить по ссылкам на странице . Это не имеет смысла, поскольку со временем Google примет это как i. е. Google перестанет переходить по ссылкам со временем, независимо от значения, установленного в директиве.

<…> Джон Мюллер из Google объяснил в видео для веб-мастеров на отметке 54:51, что долгосрочные команды noindex, follow в конечном итоге будут приравниваться к директивам noindex, nofollow.Почему, ну, в конце концов, Google перестанет переходить на страницу из-за noindex, удалит ее из индекса и, таким образом, не сможет переходить по ссылкам на этой странице <…>

Круглый стол поисковых систем

Для проверки проблемы достаточно использовать любой браузер. Откройте исходный код некорректной страницы. Для этого щелкните правой кнопкой мыши в любом месте страницы и выберите вариант «просмотреть код» или примените онлайн-инструмент https: // codebeautify.org / просмотрщик исходного кода.

Найдите директиву . Если значение content = noindex, следуйте, есть проблема на странице .

Чтобы проверить ответ сервера, используйте инструмент https://redbot.org/ или любой аналогичный инструмент. Наличие X-Robots-Tag: noindex, follow в ответе сервера означает наличие проблемы.

Подробное описание директивы https: // developers.google.com/search/reference/robots_meta_tag?hl=en.

Рекомендуется проверить наличие директивы и ответа сервера в исходном коде.

При использовании замените значение follow на nofollow: .

При использовании X-Robots-Tag: googlebot: noindex, следуйте, замените это руководство из ответа сервера на X-Robots-Tag: googlebot: noindex, nofollow .

Обнаруживать страницы с noindex, следовать атрибутам

Сканируйте веб-сайт, чтобы собрать все страницы с noindex, следуйте атрибутам

Прочтите, когда и как использовать Noindex, Nofollow, Canonical и Disallow

Сложно ли вам решить, как и когда использовать теги, атрибуты и команды, такие как Noindex, Nofollow, Canonical или Disallow?

Мы убедили Хенрика Бондтофте (датского мастера поисковой оптимизации) выступить в роли вашего судьи.

Nofollow

Nofollow был разработан совместно Yahoo, MSN и Bing в 2005 году.Его цель заключалась в том, чтобы подавить растущую проблему спама в комментариях.

Nofollow — это атрибут HTML, который предписывает большинству поисковых систем воздерживаться от перехода по ссылке и тем самым передавать ценность сайту, на который ведет ссылка.

Ссылка nofollow не гарантирует, что целевой сайт не будет сканироваться автоматически. На самом деле у Google есть бот, созданный специально для этой цели.

Однако тег сообщает поисковой системе, что вы не доверяете или не можете поручиться за содержание веб-сайта, на который ведет ссылка.

Вот почему довольно глупо использовать nofollow для внутренних целей на вашем собственном сайте. Это странный сигнал для поисковых систем — что на вашем сайте есть контент, за который вы не можете поручиться. Так что, пожалуйста, не делай этого.

Nofollow можно вставить, добавив rel = ”nofollow” в активную ссылку. В большинстве CMS / систем управления контентом вы можете установить его в редакторе WYSIWYG при вставке активной ссылки.

Nofollow также можно реализовать с помощью метатега.Вы можете увидеть пример ниже.

Фактически, это была исходная форма Nofollow, но поскольку она затемняла всю страницу, она оказалась менее адаптируемой и полезной, чем атрибут, который можно было добавлять к ссылкам по отдельности.

Запрещено: (Robots.txt)

Robots.txt — это привратник вашего веб-сайта.

Он находится в корне вашего веб-сайта, и его директивы важнее всех остальных.

Вам следует использовать Disallow, если на вашем веб-сайте есть целые папки, которые необходимо заблокировать.И особенно если они раньше не индексировались.

Когда вы создаете Disallow в своем robots.txt, вы сообщаете поисковым системам, что они не должны сканировать соответствующую страницу или папку.

Вы можете заблокировать даже весь свой сайт, но это не означает, что страница не будет проиндексирована.

Если ваша страница продолжает отображаться в индексе Google, вы можете использовать Инструменты Google для веб-мастеров, чтобы запросить ее повторное удаление. Если, конечно, вы настаиваете на использовании robots.txt для этой цели.

Если вы объедините Disallow и Noindex, последний будет проигнорирован, потому что ваша команда Disallow уже сообщила поисковым системам, что они не могут просматривать страницу.

Вот почему использование этих двух тегов вместе излишне. Если вы хотите быть абсолютно уверены, что ваш URL-адрес не индексируется поисковыми системами, используйте Noindex и ничего больше.

Использование Disallow на уже проиндексированных страницах, например, с входящими ссылками, означает, что вы теряете ценность, которая в противном случае была бы передана другим страницам вашего веб-сайта.

Вот почему я настоятельно рекомендую вам по возможности использовать Noindex.

Если вы устанавливаете внутренние ссылки на страницы, которые запрещены в вашем robots.txt, вы теряете внутренний рейтинг страницы.

Примеры запрещающих команд

 Запретить: / папка-мы-не-хотим-показывать /
Запретить: /file-we-dont-want-to-show.html
Разрешить: /folder-we-dont-want-to-show/single-file-we-want-to-show-from-folder.html 

(Разрешить поддерживается Google, но не всеми поисковыми системами)

Noindex

Тег Noindex сообщает поисковым системам, что соответствующая страница не должна индексироваться в их результатах поиска.

Однако, если вы не добавили Nofollow к тегу, поисковые системы по-прежнему будут переходить по всем ссылкам на странице.

Другими словами, страница будет прочитана поисковыми системами, но не будет проиндексирована.

Если вы не хотите, чтобы поисковые системы переходили по ссылкам на вашей странице, вам нужно добавить в команду Nofollow.

Не индексировать, а переходить по ссылкам .

Не индексировать и не переходить по ссылкам.

Преимущество отказа от использования Nofollow с Noindex состоит в том, что Pagerank может проходить через Noindex и переходить к страницам, на которые есть ссылки. Этого не может произойти при сочетании с атрибутом Nofollow.