Мне нужно кое-что объяснить по поводу моего вопроса. Пример в моем заголовке уже добавлен <meta name=robots content=noindex, nofollow /> Должен ли я снова добавить канонический тег в свой…

У меня есть сеть из примерно 200 блогов (WordPress Multisite), и все они показывают ссылки на все остальные на боковой панели справа (в основном 200+ ссылок на правой стороне каждой отдельной…

Я думаю, что название этого вопроса говорит само за себя — при разработке и развертывании бета-версий, должен ли я поставить X-Robots-Tag: noindex, nofollow в ответе HTTP, или <meta name=robots…

Итак, у меня есть WordPress, работающий в корневом каталоге моего веб-пространства; я установлю еще один экземпляр WordPress в подкаталоге того же сервера через пару дней для тестирования. Так вот в…

Я использую мета-теги gem и пытаюсь добавить в свой вид мета-теги noindex и nofollow. В файле представления HAML у меня есть: — noindex_meta_tag — content_for :head do — display_meta_tags noindex:…

My magento store имеет следующее, чтобы позволить google / поисковым системам сканировать весь сайт. <meta name=robots content=INDEX,FOLLOW /> Теперь я нуждаюсь в некоторых конкретных…

Я хочу добавить nofollow и noindex на свой сайт, пока он строится. У клиента есть запрос, чтобы я использовал эти правила. Я знаю о <meta name=robots content=noindex,nofollow> Но у меня есть…

Кажется, есть способ установить внешние ссылки на no-follow по умолчанию, чтобы избежать потери важного ссылочного сока через do-follow ссылки на внешние веб-сайты. У меня есть много статей/постов в…

Это мой код, как я могу добавить nofollow и noindex в социальные ссылки? <?= wp_nav_menu([ ‘menu’ => ‘social_links’, ‘menu_class’ => ‘social-links’, ‘container’ => false, ‘echo’ =>…

У меня есть магазин на PrestaShop с функцией Multistore. Я хочу добавить noindex, nofollow в один из моих магазинов. У меня есть главный магазин: например, www.shop.com и второй магазин, например,…

Используем rel=nofollow и noindex для Yandex » WPbloging

Давайте попробуем разобраться в этих новинках Яндекса .

Небольшая предыстория атрибута rel=nofollow

Что такое rel=nofollow?

Rel=» « — атрибут в ссылке <a>, указывающий отношение ссылки к целевой странице. Также, есть еще атрибут Rev=» «, указывающий отношение целевой страницы к ссылке, например (ссылка с rev=»sponsor» указывает, что это спонсорская ссылка). Но об этом в следующей статье.

Nofollow — статус, говорящий о том,что вы не одобряете данную ссылку.

Исходя из вышесказанного:

Rel=nofollow — определяет отношение вашей ссылки к целевой странице как не одобряемое. Применительно к поисковикам, данный атрибут указывает индексирующим роботам, что по данной ссылке не следует переходить на целевую страницу.

Rel=nofollow был введен и стандартизирован в 2005 году, в ответ на многочисленный ссылочный спам, присутствующий в блогах. Инициатором введения была поисковая система Google, источник.

Google, встречая ссылку с данным атрибутом, не следует по данной ссылке и не передает вес PR целевым страницам. Также, данные ссылки не учитывались в расчетах распределения ссылочного веса по ссылкам страницы. Но, так было до 2010 года. На данный момент, Google, также не передает ссылочный вес и не следует по ссылкам с rel=»nofollow», но вот ссылочный вес, внутри страницы, стал распределятся и на эти ссылки но впустую. То есть, если у вашей страницы PR-10 и 10 ссылок на странице, где 5 из них закрыты, то каждая открытая ссылка передавала по 2PR на целевую страницу. Теперь каждая открытая ссылка будет передавать 1PR по открытым ссылкам и по 1PR в пустоту по закрытым. Но эта статья не о Google, вернемся к Яндексу.

Yandex, до апреля месяца 2010г., не учитывал данный статус. В рекомендациях Яндекса находим нашумевший тег <noindex>, который позволял сделать тоже самое и больше. Теперь там и nofollow.

В чем разница rel=nofollow и <noindex>

Так в чем же проблема?
Зачем Яндексу понадобилось вводить поддержку rel=»nofollow»?

<!--noindex-->Блок вашего закрываемого текста<!--/noindex-->


Еще одна проблема тега <noindex> в том, что зарубежные веб-мастера, не ведая о данном теге, не используют его в разработках своих плагинов к WordPress. Приходится данные плагины адаптировать под Яндексовскую реальность.
Если в комментариях блога ссылки были закрыты атрибутом rel=»nofollow», то для Яндекса эти ссылки были открыты. Это означало, что роботу приходилось путешествовать по всем ссылкам указанным в комментариях.

Атрибут со статусом rel=»nofollow» стандартизирован и используется во всем мире для указания поисковикам, что ссылка не одобрена автором и  по ней не нужно следовать.
Например, если закрыть служебную страницу от индексации в robots.txt, а ссылку оставить открытой, робот проследует на данную страницу, но не проиндексирует ее. Зачем тогда тратить ресурсы робота на переходы по ненужным страницам? Еще есть один нюанс, если на вашу служебную страницу ведут открытые ссылки с других внешних источников, то ваша, как бы закрытая страница, попадет в поиск, даже если она закрыта в robots.txt. Об этом также расскажу в следующих статьях.

Исходя из всего этого, по многочисленным просьбам и жалобам веб-мастеров, Яндекс ввел поддержку стандартизированного W3C атрибута со статусом rel=»nofollow». Атрибут закрывает ссылки от переходов роботом и не передает вес. Теперь многое стало проще. Но есть один нюанс. Анкоры ссылок будут проиндексированы как текст.

Зачем нужен <noindex>?

Тег <noindex> очень важен, если вы хотите, чтобы часть текста, со всеми анкорами ссылок и т.д., не индексировалась и не попала в поисковую базу Yandex.
Например, у вас на странице может быть служебная информация, или блок текста с сайта, который используется как негативный пример. Вы не хотите, чтобы поисковик  связал ваш сайт с данным текстом или индексировал служебную информацию и сохранил у себя в базе. Для этого данный блок обрамляется тегом <noindex>.

К сожалению, такого инструмента для Google не существует. Вполне возможно, что Google или консорциум W3C в будущем обратят внимание на данный тег или придумают свой, и веб-мастера получат в свой инструментарий еще один полезный инструмент.

Как правильно прописать rel=nofollow и <noindex>

1. Для закрытия ссылок от индексации, с помощью rel=»nofollow»,  используется простая схема:
   <a rel=»nofollow» href=»http://www.site.com» title=»Подсказка»>Ссылка на сайт</a>
   перехода по ссылке не будет.
2. Для закрытия блока текста тегом <noindex>, со всем содержимым, в том числе и с анкорами ссылок, используется схема:
   <!--noindex-->Блок вашего закрываемого текста<!--/noindex-->
данный текстовый блок не будет проиндексирован в Яндекс, со всеми текстами ссылок.
3. Для закрытия блока текста тегом и ссылок в блоке, используется схема:
   <!--noindex-->Блок вашего закрываемого текста <a rel="nofollow" href="http://www.site.com" title="Подсказка">Текст анкор ссылки</a> Блок вашего закрываемого текста<!--/noindex-->
данный блок не будет проиндексирован в Яндекс, со всеми ссылками содержащимся в данном блоке.

Что изменилось с вводом поддержки rel=nofollow?

1. Для тех, кто ведет ресурсы для людей и не использует спам-продвижения, почти ничего не изменится. Возможно некоторое уменьшение числа внешних ссылок, закрытых с rel=»nofollow».
2. Для тех, кто использовал в продвижении ссылочный спам (спам в комментариях, спам в форумах, соц. сетях, Википедии и т.д), и у кого основная ссылочная масса, дающая ТИЦ, состояла из таких ссылок, будет существенное снижение ТИЦ и как правило, проседание в поисковой выдаче Yandex.

Источник

Кратко, о новинках апреля 2010 года в Яндекс:

1. У страницы поисковой выдачи Яндекс теперь фиксированная ширина.
2. Появились в выдаче навигационные цепочки, у некоторых сниппетов и даты публикации.
3. Появился колдунщик видео.
4. В панели веб-мастера появилась возможность просмотра статистики по собственным ключевым словам.

P.S. Теперь осталось дождаться включения поддержки Яндексом канонического атрибута rel=»canonical», о котором я писал в статье о дублированном контенте, и многие блогеры вздохнут с облегчением.
Хорошая новость, в конце мая 2011г. Яндекс стал учитывать атрибут rel=»canonical». Принесет это облегчение или нет, покажет время.

WordPress Meta Robots — meta robots для страниц и записей.

WordPress Meta Robots это маленький SEO-плагин, дополняющий функционал больших SEO-плагинов. Он позволяет устанавливать тег «meta robots» для любой страницы или записи в блоге. Таким образом, вы всегда можете запретить поисковикам индексировать содержимое какой-либо отдельно взятой записи или страницы. Запретить индексирование любой страницы можно и через файл robots.txt, но это удобно только, если вам не надо время от времени закрывать новые записи или страницы. Да и через robots.txt нельзя указать поисковикам не индексировать страницу, но при этом следовать по ссылкам в ней. Также плагин управляет индексированием рубрик, архивов, тегов и других типов страниц в WordPress.

Скачиваем плагин с его домашней страницы и устанавливаем его:

1. Распаковываем архив.

2. Копируем папку wordpress-meta-robots в /wp-content/plugins/.

3. Заходим в админку блога на вкладку «Плагины» и активируем плагин.

Никаких настроек в плагине нет. Сразу после активации у каждой вашей записи или страницы при редактировании появится административный виджет (как на скриншоте выше). По умолчанию после активации плагина индексация всех записей и страниц в блоге разрешена, плагин сразу ставит для всех страниц значение по умолчанию «index, follow«. Убедитесь, что тег «meta robots» не дублируется в вашем шаблоне. Для этого откройте файл header.php вашего шаблона и поищите там строчку, похожую на:

<meta name="robots" content="follow, all" />

<meta name=»robots» content=»follow, all» />

Если вы нашли такую строчку, то смело ее удаляйте, так как вставкой этого тега теперь будет заниматься сам плагин.

Некоторые пояснения по поводу значений тега «meta robots«:

1. «index» — разрешает индексирование страницы.
2. «noindex» — запрещает индексирование страницы.
3. «follow» — разрешает следовать по ссылкам.
4. «nofollow» — запрещает следовать по ссылкам.

То есть значение «index, follow» будет означать указание для поисковика индексировать страницу и следовать по каждой ссылке на ней. А значение «noindex, nofollow» будет означать, что поисковику не надо индексировать эту страницу и не надо ходить по ссылкам, то есть для поисковика страница с таким значением тега «meta robots» будет своеобразным «тупиком».

К сожалению, автор плагина встроил поддержку этого тега не только для страниц и записей в блоге. Но и для рубрик и других типов страниц. Только вот он не дал возможности указать настройки тега «meta robots» для этих страниц, а решил, что лучше владельца блога знает, что надо индексировать, а что нет.

Плагин устанавливает значение «noindex, follow» для всех рубрик, тегов и архивов. И значение «noindex, nofollow» для всех остальных типов страниц (кроме страниц и записей). С одной стороны, он в чем-то прав – если в блоге существуют и рубрики и архивы и теги, а все записи выводятся полностью (без использования тега more), то получится, что у вас одна и та же запись будет продублирована аж 5 раз на разных типах страниц (главная, страница рубрики, страница архива, страница тега и сама страница с записью). А это не очень хорошо с точки зрения SEO. С другой стороны, если вы используете тег more и не используете архивы и теги, то дублирование у вас будет только на 2-х типах страниц, да и то лишь неполного текста записи.

Исходя из сказанного, я вам предлагаю все-таки разрешить индексирование любого типа страниц в блоге, а необходимые запреты встроить в файл robots.txt. Откройте файл плагина wp-meta-robots.php и найдите там строчки:

56
57
58

   echo '<meta name="robots" content="noindex, follow" />'."\n";
   } else {
   echo '<meta name="robots" content="noindex, nofollow" />'."\n";

echo ‘<meta name=»robots» content=»noindex, follow» />’.»\n»; } else { echo ‘<meta name=»robots» content=»noindex, nofollow» />’.»\n»;

Поменяйте их на:

56
57
58

   echo '<meta name="robots" content="index, follow" />'."\n";
   } else {
   echo '<meta name="robots" content="index, follow" />'."\n";

echo ‘<meta name=»robots» content=»index, follow» />’.»\n»; } else { echo ‘<meta name=»robots» content=»index, follow» />’.»\n»;

Теперь все типы страниц у вас в блоге станут индексируемыми (кроме тех страниц и записей, для которых вы поставили запрет через виджет плагина при редактировании записи). Но открывать индексирование всего контента в блоге очень плохая идея. Зачастую именно бесконечное дублирование (особенно через страницы тегов) контента записей является причиной для бана в поисковиках. Поэтому вам лучше запретить как минимум индексирование тегов и страниц с результатами поиска. Для этого откройте файл robots.txt и добавьте туда строчки:

56
57
58
59

User-agent: *
Disallow: /*?s=
Disallow: /*&s=
Disallow: /tag/

User-agent: * Disallow: /*?s= Disallow: /*&s= Disallow: /tag/

Если у вас в блоге не установлены ЧПУ, то вам надо будет чуть-чуть отредактировать приведенный пример, чтобы он подходил для вашего вида постоянных ссылок. Например, при структуре постоянных ссылок по умолчанию запрещать индексацию тегов надо не через «Disallow: /tag/«, а через «Disallow: /?tag=«.

Я не пишу про запрет индексирования страниц архивов. Тут я с автором плагина согласен – запретить индексацию архивов надо, а вот отключать хождение по ссылкам на этих страницах нет. Чем больше есть ссылок на страницы записей в вашем блоге, то тем больше вероятность, что поисковики проиндексируют все записи блога полностью. Если вы используете архивы в вашем блоге, то файл плагина надо изменить немного другим образом, найдите в wp-meta-robots.php строчки:

55
56
57
58

   } elseif ( is_category() || is_tag() || is_archive() ) {
   echo '<meta name="robots" content="noindex, follow" />'."\n";
   } else {
   echo '<meta name="robots" content="noindex, nofollow" />'."\n";

} elseif ( is_category() || is_tag() || is_archive() ) { echo ‘<meta name=»robots» content=»noindex, follow» />’.»\n»; } else { echo ‘<meta name=»robots» content=»noindex, nofollow» />’.»\n»;

И замените их на:

55
56
57
58

   } elseif ( is_archive() ) {
   echo '<meta name="robots" content="noindex, follow" />'."\n";
   } else {
   echo '<meta name="robots" content="index, follow" />'."\n";

} elseif ( is_archive() ) { echo ‘<meta name=»robots» content=»noindex, follow» />’.»\n»; } else { echo ‘<meta name=»robots» content=»index, follow» />’.»\n»;

Впрочем, что индексировать в вашем блоге, а что нет решать только вам. Вовсе необязательно следовать моим рекомендациям, думайте сами. В любом случае использование плагина WordPress Meta Robots избавляет вас от необходимости править robots.txt при появлении каждой новой записи, чье индексирование (или чьи ссылки) вы хотите запретить.

Автор плагина: destio
Страница плагина: http://wordpress.org/extend/plugins/wordpress-meta..
Рассматриваемая версия: 1.8 от 22.02.2011
Совместимость с версией WordPress: 3.0 и выше.

Как закрыть сайт или его страницы от индексации: подробная инструкция

Что нужно закрывать от индексации

Важно, чтобы в поисковой выдаче были исключительно целевые страницы, соответствующие запросам пользователей. Поэтому от индексации в обязательном порядке нужно закрывать:

1. Бесполезные для посетителей страницы или контент, который не нужно индексировать. В зависимости от CMS, это могут быть:

• страницы административной части сайта;
• страницы с личной информацией пользователей, например, аккаунты в блогах и на форумах;
• дубли страниц;
• формы регистрации, заказа, страница корзины;
• страницы с неактуальной информацией;
• версии страниц для печати;
• RSS-лента;
• медиа-контент;
• страницы поиска и т.д.

2. Страницы с нерелевантным контентом на сайте, который находится в процессе разработки.

3. Страницы с информацией, предназначенной для определенного круга лиц, например, корпоративные ресурсы для взаимодействий между сотрудниками одной компании.

4. Сайты-аффилиаты.

Если вы закроете эти страницы, процесс индексации других, наиболее важных для продвижения страниц сайта ускорится.

Способы закрытия сайта от индексации

Закрыть сайт или страницы сайта от поисковых краулеров можно следующими способами:

1. С помощью файла robots.txt и специальных директив.
2. Добавив метатеги в HTML-код отдельной страницы.
3. С помощью специального кода, который нужно добавить в файл .htaccess.
4. Воспользовавшись специальными плагинами (если сайт сделан на популярной CMS).

Далее рассмотрим каждый из этих способов.

С помощью robots.txt

Robots.txt — текстовый файл, который поисковые краулеры посещают в первую очередь. Здесь для них прописываются указания — так называемые директивы.

Этот файл должен соответствовать следующим требованиям:

• название файла прописано в нижнем регистре;
• он имеет формат .txt;
• его размер не превышает 500 КБ;
• находится в корне сайте;
• файл доступен по адресу URL сайта/robots.txt, а при его запросе сервер отправляет в ответ код 200 ОК.

В robots.txt прописываются такие директивы:

• User-agent. Показывает, для каких именно роботов предназначены директивы.
• Disallow. Указывает роботу на то, что некоторое действие (например, индексация) запрещено.
• Allow. Напротив, разрешает совершать действие.
• Sitemap. Указывает на прямой URL-адрес карты сайта.
• Clean-param. Помогает роботу Яндекса правильно определять страницу для индексации.
• Crawl-delay. Позволяет задать роботу Яндекса диапазон времени между окончанием загрузки одной страницы и началом загрузки другой. Измеряется в секундах.
Имейте в виду: поскольку информация в файле robots.txt — это скорее указания или рекомендации, нежели строгие правила, некоторые системы могут их игнорировать. В таком случае в индекс попадут все страницы вашего сайта.

Полный запрет сайта на индексацию в robots.txt

Вы можете запретить индексировать сайт как всем роботам поисковой системы, так и отдельно взятым. Например, чтобы закрыть весь сайт от робота Яндекса, который сканирует изображения, нужно прописать в файле следующее:

User-agent: YandexImages 
Disallow: /  

Чтобы закрыть для всех роботов:

User-agent: * 
Disallow: / 

Чтобы закрыть для всех, кроме указанного:

User-agent: * 
Disallow: / 
User-agent: Yandex 
Allow: / 

В данном случае, как видите, индексация доступна для роботов Яндекса.

Запрет на индексацию отдельных страниц и разделов сайта

Для запрета на индексацию одной страницы достаточно прописать ее URL-адрес (домен не указывается) в директиве файла:

User-agent: *
Disallow: /registration.html

Чтобы закрыть раздел или категорию:

User-agent: *
Disallow: /category/  

Чтобы закрыть все, кроме указанной категории:

User-agent: *
Disallow: /
Allow: /category

Чтобы закрыть все категории, кроме указанной подкатегории:

User-agent: *
Disallow: /uslugi
Allow: /uslugi/main 

В качестве подкатегории здесь выступает «main».

Запрет на индексацию прочих данных

Чтобы скрыть директории, в файле нужно указать:

User-agent: *
Disallow: /portfolio/ 

Чтобы скрыть всю директорию, за исключением указанного файла:

User-agent: *
Disallow: /portfolio/
Allow: avatar.png 

Чтобы скрыть UTM-метки:

User-agent: *
Disallow: *utm= 

Чтобы скрыть скриптовые файлы, нужно указать следующее:

  User-agent: *  
  Disallow: /scripts/*.ajax

По такому же принципу скрываются файлы определенного формата:

User-agent: *
Disallow: /*.png

Вместо .png подставьте любой другой формат.

Через HTML-код

Запретить индексировать страницу можно также с помощью метатегов в блоке <head> в HTML-коде.

Атрибут «content» здесь может содержать следующие значения:

• index. Разрешено индексировать все содержимое страницы;
• noindex. Весь контент страницы, кроме ссылок, закрыт от индексации;
• follow. Разрешено индексировать ссылки;
• nofollow. Разрешено сканировать контент, но ссылки при этом закрыты от индексации;
• all. Все содержимое страницы подлежит индексации.

Открывать и закрывать страницу и ее контент можно для краулеров определенной ПС. Для этого в атрибуте «name» нужно указать название робота:

• yandex — обозначает роботов Яндекса:
• googlebot — аналогично для Google.
Помимо прочего, существует метатег Meta Refresh. Как правило, Google не индексирует страницы, в коде которых он прописан. Однако использовать его именно с этой целью не рекомендуется.

Так выглядит фрагмент кода, запрещающий индексировать страницу:

<html>
    <head>
        <meta name="robots" content="noindex, nofollow" />
    </head>
    <body>...</body>
</html>

Чтобы запретить индексировать страницу краулерам Google, нужно ввести:

<meta name="googlebot" content="noindex, nofollow"/>

Чтобы сделать то же самое в Яндексе:

<meta name="yandex" content="none"/>

На уровне сервера

В некоторых случаях поисковики игнорируют запреты и продолжают индексировать все данные.Yandex» search_bot

На WordPress

В процессе создания сайта на готовой CMS нужно закрывать его от индексации. Здесь мы разберем, как сделать это в популярной CMS WordPress.

Закрываем весь сайт

Закрыть весь сайт от краулеров можно в панели администратора: «Настройки» => «Чтение». Выберите пункт «Попросить поисковые системы не индексировать сайт». Далее система сама отредактирует файл robots.txt нужным образом.


Закрытие сайта от индексации через панель администратора в WordPress

Закрываем отдельные страницы с помощью плагина Yoast SEO

Чтобы закрыть от индексации как весь сайт, так и его отдельные страницы или файлы, установите плагин Yoast SEO.

Для запрета на индексацию вам нужно:

• Открыть страницу для редактирования и пролистать ее вниз до окна плагина.
• Настроить режим индексации на вкладке «Дополнительно».


Закрытие от индексации с помощью плагина Yoast SEO


Настройка режима индексации

Запретить индексацию сайта на WordPress можно также через файл robots.txt. Отметим, что в этом случае требуется особый подход к редактированию данного файла, так как необходимо закрыть различные служебные элементы: страницы рассылок, панели администратора, шаблоны и т.д. Если этого не сделать, в поисковой выдаче могут появиться нежелательные материалы, что негативно скажется на ранжировании всего сайта.

Как узнать, закрыт ли сайт от индексации

Есть несколько способов, которыми вы можете воспользоваться, чтобы проверить, закрыт ли ваш сайт или его отдельная страница от индексации или нет. Ниже рассмотрим самые простые и удобные из них.

В Яндекс.Вебмастере

Для проверки вам нужно пройти верификацию в Яндексе, зайти в Вебмастер, в правом верхнем углу найти кнопку «Инструменты», нажать и выбрать «Проверка ответа сервера».


Проверка возможности индексации страницы в Яндекс.Вебмастере

В специальное поле на открывшейся странице вставляем URL интересующей страницы. Если страница закрыта от индексации, то появится соответствующее уведомление.


Так выглядит уведомление о запрете на индексацию страницы

Таким образом можно проверить корректность работы файла robots.txt или плагина для CMS.

В Google Search Console

Зайдите в Google Search Console, выберите «Проверка URL» и вставьте адрес вашего сайта или отдельной страницы.


Проверка возможности индексации в Google Search Console

С помощью поискового оператора

Введите в поисковую строку следующее: site:https:// + URL интересующего сайта/страницы. В результатах вы увидите количество проиндексированных страниц и так поймете, индексируется ли сайт поисковой системой или нет.


Проверка индексации сайта в Яндексе с помощью специального оператора


Проверка индексации отдельной страницы

С помощью такого же оператора проверить индексацию можно и в Google.

С помощью плагинов для браузера

Мы рекомендуем использовать RDS Bar. Он позволяет увидеть множество SEO-показателей сайта, в том числе статус индексации страницы в основных поисковых системах.


Плагин RDS Bar

Итак, теперь вы знаете, когда сайт или его отдельные страницы/элементы нужно закрывать от индексации, как именно это можно сделать и как проводить проверку, и можете смело применять новые знания на практике.

Как закрыть ссылки noindex nofollow в WordPress

Привет, дорогие друзья! Как закрыть (noindex nofollow) внешние ссылки от индексации поисковыми системами Google и Яндекс? В блоге / сайте на WordPress это можно сделать автоматически, при помощи плагина WP-NoRef. Плагин WP-NoRef предназначен для помещения всех внешних ссылок в опубликованных в блоге постах и комментариях в тег noindex и добавления к ним атрибутов nofollow для скрытия их от поисковых систем. Таким образом можно значительно уменьшить количество внешних ссылок.

WordPress nofollow noindex для внешних ссылок

Заключение ссылки в тег <noindex></noindex> запрещает её индексацию поисковому роботу Yandex, а атрибут rel=nofollow предназначен для того же самого, только уже роботу Google. Очень удобная вещь, вам не надо уже будет в ручном режиме подставлять к каждой внешней ссылке нужные атрибуты. Плагин это сделает самостоятельно (автоматом), при опубликование статьи.

Плагин WP-NoRef — закрываем ссылки от поисковых систем в WordPress

Установить плагин очень просто. WP-NoRef скачать можно по ссылке, от сюда. Затем раздел Плагины — Добавить новый. Нажимаем «Загрузить» — «Выберите файл». Укажите путь к скачанному файлу на жестком диске и нажмите «Установить»:

Загрузка и установка плагина WP-NoRef

После того, как загрузится плагин активируйте его. Все, плагин готов к работе.

Если Вы по каким то причинам не захотите закрывать ссылки на определенные сайты, то можно добавить их в исключение. Зайдите «Настройки» — клик пункт WP-NoRef:

Настройки — WP-NoRef

На открывшейся странице перечислите в специальном поле список доменов-исключений, которые не надо скрывать от поисковых систем через запятую. Например, site1.ru, site2.ru, site3.ru (без www):

Укажите список доменов-исключений

Обязательно потом нажмите кнопку «Сохранить». Теперь можете не беспокоиться о внешних ссылках сайта / блога, за вас будет работать плагин WP-NoRef. У меня на сегодня все. Всего доброго.

P.S. Google изменил подход к обработке nofollow и представил 2 новых атрибута для ссылок — sponsored, ugc.

Добавить атрибут sponsored

Подробнее здесь.

Закрыть внешние ссылки от индексации: wp noexternallinks настройка

Всем известно, что внешние ссылки с вашего сайта на сторонние ресурсы плохо влияют на продвижение, т.к. по ссылкам утекает вес сайта. Хотя есть сеошники, которые считают, что это не так и внешние ссылки никакого влияния на ранжирование не оказывают.

Существуют различные методы закрыть внешние ссылки от индексации:

• С помощью тегов noindex и nofollow
• С помощью редиректов
• Используя плагин, который сам сделает первые два пункта

Оба способа можно применять как вручную, так и с помощью плагина WP NoExternalLinks. Но главное, что вы должны усвоить: поисковики уже достаточно умные, чтобы распознать любые хитрости вебмастеров, как бы вы не старались скрыть ссылки от индексации, их все равно заметят. Поэтому самый лучший вариант – просто не размещать на своем сайте внешние ссылки без особой необходимости!

Тег noindex и nofollow

Парный html-тег говорит поисковикам о том, что код, заключенный в данный тег индексировать не нужно. В данный тег можно заключить не только ссылку, но и любой код или текст. Пример:

<a href="адрес_сайта.ru">Текст ссылки</a>

<a href=»адрес_сайта.ru»>Текст ссылки</a>

Nofollow на самом деле не является тегом, а является значением атрибута rel тега a (ссылки). Эта конструкция говорит поисковым роботам, что им не нужно переходить по данной ссылке (хотя на самом деле они по ней переходят, но якобы не учитывают при индексировании). Пример использования:

<a href="адрес_сайта.ru" rel="nofollow">Текст ссылки</a>

 <a href=»адрес_сайта.ru» rel=»nofollow»>Текст ссылки</a>

На всякий случай лучше использовать оба тега, от вас не убудет, но повысит шансы на то, что вес с вашего сайта не убудет:) такая тавтология.

Как закрыть все внешние ссылки автоматически с помощью плагина, мы рассмотрим чуть позже.

Скрыть ссылки от индексации с помощью редиректа

Редирект — перенаправление посетителей с одного адреса на другой автоматом.

Схема проста: вы вставляете в статью на не существующую страницу своего же сайта. Затем прописываете 301-редирект с этой страницы на внешний ресурс. Как это сделать технически, я расскажу в следующей статье.

Более простой способ прописать редирект сразу в ссылке через оператор goto. Реализовать это поможет WP NoExternalLinks плагин.

Получается, что ссылка внутренняя, ведет на ваш же сайт. Но при клике пользователя перебрасывает на другой сайт. В комплексе с предыдущими двумя методами должно не плохо защищать.

Плагин WP NoExternalLinks настройка

Итак, все способы скрыть ссылки от индексации, которые мы рассмотрели, можно применить автоматически путем установки плагина для WordPress WP-NoExternalLinks. После активации плагина все внешние ссылки закроются от индексации тегом noindex, nofollow и настроится редирект через goto.

Установка – все как обычно.

Настройка:

Перейдите в «Параметры -> WP-NoExternalLinks» и ничего там не меняйте, потому что все уже настроено:) Единственное, нужно поставить галочку напротив:
 «Окружать маскируемые ссылки тегом noindex  (для яндекса)»


Почему не работает плагин WP NoExternalLinks

Было замечено, что данный плагин не работает вместе с BBQ — Block Bad Queries. Поэтому выбирайте, либо более надежная защита блога, либо закрытие внешних ссылок.

Вот и все, ваши ссылки скрыты от индексации, теперь можно спать спокойно. Всем удачного продвижения! Заходите на мой блог почаще и спасибо за комментарии.

Как мне не индексировать URL-адреса? • Yoast

В некоторых случаях вы хотите, чтобы некоторые сообщения или страницы не отображались в результатах поиска. Например, ваши внутренние страницы результатов поиска или страницы администратора или входа в систему. Вы можете узнать больше о том, почему вы не должны индексировать некоторые сообщения и страницы здесь. Yoast SEO предоставляет несколько вариантов для установки URL-адреса или группы URL-адресов на noindex. Здесь вы можете прочитать, как это сделать для различных типов контента.

Убрать ваши сообщения или страницы из результатов поиска — это легкое дело с Yoast SEO.Хотите, чтобы дополнительные технические SEO-материалы выполнялись автоматически в фоновом режиме? Yoast SEO Premium гарантирует, что ваша техническая конфигурация станет красной дорожкой для поисковых систем!

Предварительное предупреждение: установка noindex для страниц, сообщений или вашего сайта может иметь серьезные последствия для вашего рейтинга. Так что убедитесь, что вы знаете, что делаете! Во-первых, тщательно определите, для каких URL вы хотите установить значение noindex.

Вот список типов контента, которые можно установить на noindex с помощью Yoast SEO:

1. Похожие сообщения

Мы обсудим эти типы и способы их индексирования ниже.

Отдельные сообщения, страницы, средства массовой информации или элементы таксономии

Расширенный раздел в мета-поле Yoast SEO на экране редактирования элемента позволяет администраторам и редакторам устанавливать пользовательскую информацию о роботах, такую ​​как noindex, nofollow и другие расширенные настройки роботов.

Если вы не хотите индексировать отдельное сообщение, установите для параметра «Разрешить поисковым системам показывать это… в результатах поиска?» Значение «Нет».

Чтобы разрешить авторам доступ к этой вкладке, перейдите в раздел SEO-> Общие-> Возможности и установите для параметра «Безопасность: без дополнительных настроек для авторов» значение «Выкл.».

Макет может отличаться, поскольку в приведенном выше примере используется тип сообщения по умолчанию.

Noindex отдельная новостная статья

Подключаемый модуль Yoast News SEO включает возможность указать Google News не индексировать определенную новостную статью. Эта опция находится в разделе «Плагины» мета-поля на вкладке «Новости Google». Узнайте больше об использовании плагина News SEO в этой статье.

Типы сообщений Noindex, категории, теги или другие таксономии

Если вы не хотите индексировать группу элементов, включите эту функцию, выполнив следующие действия.По умолчанию для страниц поиска и страниц 404 будет установлено значение noindex, после .

1. Войдите на свой сайт WordPress.

   Когда вы войдете в систему, вы попадете в «Личный кабинет».

2. Нажмите «SEO».

   Слева вы увидите меню. В этом меню нажмите «SEO».

3. Щелкните «Search Appearance».

   Настройки «SEO» расширятся, предоставляя вам дополнительные возможности. Нажмите «Поиск по внешнему виду».

4. Выберите вкладку, которая представляет типы контента, таксономию или тип архива, которые вы хотите исключить из результатов поиска.

   Здесь мы подробнее расскажем о настройках внешнего вида поиска и различных вкладках.

5. Переключите переключатель «Показать XYZ в результатах поиска?».

   Чтобы проиндексировать контент, установите переключатель в положение «Да». Чтобы не индексировать контент, установите переключатель в положение «Нет».

6. Нажмите «Сохранить изменения».

Noindex подстраницы архива

Google значительно улучшил разбиение на страницы серий, поэтому эта функция была удалена из Yoast SEO.

Noindex весь сайт

В качестве альтернативы вы можете не индексировать весь сайт, но поисковые системы должны выполнить этот запрос. В этой статье мы объясняем, как запретить индексирование всего сайта.

Индивидуальные авторские страницы Noindex

Также можно не индексировать отдельные страницы авторов.Прочтите эту статью о том, как использовать noindex для отдельных страниц авторов, чтобы узнать, как это сделать.

А как насчет тегов nofollow?

Теги Nofollow похожи на теги noindex, как мы описываем в этой статье о метатегах robots. Теги Nofollow говорят поисковым системам не передавать значение по ссылкам на этой странице. Вы можете назначить посту тег nofollow, щелкнув раздел «Дополнительно» в мета-поле Yoast SEO на странице. Там выберите «Нет» для «Следует ли поисковым системам переходить по ссылкам в этом сообщении».При выборе «Нет» для URL будет выведен тег nofollow.

По умолчанию установлено «Да», поэтому по умолчанию поисковые системы переходят по ссылкам в сообщениях и на страницах. Эта функция недоступна для таксономий, таких как категории и теги, и работает только с URL-адресом сообщения / страницы. Он не будет добавлять тег nofollow к встроенным в него ссылкам.

Если вы не уверены, следует ли вам использовать noFollow или нет, обратитесь к этому руководству: На каких страницах мне следует использовать noindex или nofollow?

Похожие сообщения

Информация для разработчиков по метатегам роботов

Как удалить метатег noindex

Я произвольно проверил несколько сообщений и страниц вашего сайта, но не нашел никакого содержания, отмеченного знаком

Это все еще отображается при просмотре исходного кода сообщений или страниц? Если да, не могли бы вы предоставить несколько URL-адресов, отображающих этот тег robots.

Поддержка плагинов Джерлин

(@jerparx)

Закрыто. Больше никаких опасений.

У меня такие же проблемы, как я получаю это сообщение на всех своих страницах




Я проверил все настройки внутри WordPress, и плагин ничего не должен блокировать robots.

Не знаю, что делать, помогите пожалуйста

Hi davidaviv,

Вы имеете в виду, что нашли для всех своих страниц в Google Search Console. Если это так, единственное, что вам нужно, это подождать, пока Google проиндексирует ваши страницы, потому что он показывает результат, который был несколько дней назад. Когда вы вводите свой URL-адрес в поле поиска Google Search Console, чтобы проверить, проиндексирован ли он, вам нужно нажать кнопку, например «проверить фактический URL-адрес», чтобы увидеть правильный.Или вы можете использовать этот инструмент для этого. URL тестирования: https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/&utm_medium=referral&utm_campaign=+6062598&siteUrl=https://www.yecayehome.com. / & pli = 1 & authuser = 1

Я покажу вам, как удалить мета-имя = ’robots’ content = ’noindex nofollow’ в WordPress, используя замену некоторого кода внутри панели администратора.

войдите в каталог public_html , теперь вы найдете папку с именем wp-includes , дважды щелкните, чтобы открыть эту папку, найдите имя файла general-template.php хотите отредактировать две функции.

Первый код находится внутри файла general-template.php :

  function wp_no_robots () {
if (get_option ('blog_public')) {
echo " \ n";
возвращаться;
}

echo " \ n";
}  

Заменить первый код

  function wp_no_robots () {
if (get_option ('blog_public')) {
echo " \ n";
возвращаться;
}
echo " \ n";
}  

Найдите второй код в файле general-template.php :

  function wp_sensitive_page_meta () {
?>


 

Заменить второй код ниже:

  function wp_sensitive_page_meta () {
?>


 

Когда это будет завершено, вернитесь к проверке веб-сайта, перейдите в Search Console, повторно отправьте URL-адрес, который вы пробовали ранее.Если вы правильно заменяете все коды, все должно петь другую мелодию.

Для получения полной информации проверьте: https://www.techboto.com/how-to-remove-wordpress-robots-meta-tag-noindex-nofollow.html

‘noindex’ ‘nofollow’ | WordPress.org

Привет Frogger,

Спасибо, что связались с Yoast.

Насколько мы понимаем, Google Search Console сообщает об ошибке 404 для некоторых сообщений.

Насколько мы понимаем, вы уже добавляли теги «noindex, nofollow» к этим сообщениям.Мы также рекомендуем исключить их из вашей карты сайта. Вы можете узнать больше об этом здесь: https://kb.yoast.com/kb/how-to-customize-the-sitemap-index/

Выполнив эти шаги, вы можете перейти в консоль поиска Google и пометить ошибки как исправленные. Со временем Google должен прекратить сканирование этих страниц.

Вы также можете ничего не делать и оставить их как 404, поскольку они не вредят вашему SEO. Дополнительную информацию по этому поводу можно найти здесь: https://yoast.com/ought-404-not-found/

.

Сообщите нам, если у Вас возникнут вопросы.

Автор темы Frogger

(@engenheirouva)

Большое спасибо.

На самом деле, это не ошибка сканирования, это ошибка покрытия.
Google говорит, что они находят эту страницу на моих картах Google, но не могут найти индекс.

Что касается карты сайта, моя проблема в том, что noindex и nofollow являются страницами, я не могу исключить всю категорию страницы из карты сайта.

Я вижу эти страницы в карте сайта. Могу ли я вручную удалить страницы из карты сайта?

Спасибо

Привет,

Вы обнаружили несколько проблем.Я ответил на них ниже.

A. Google говорит, что они находят эту страницу на моих картах Google, но не могут найти индекс.

Это проблема? Ожидаете ли вы найти эти страницы в индексе Google? Если да, можете ли вы предоставить пример URL-адреса, который подчеркивает проблему?

Б. Что касается карты сайта, моя проблема в том, что эти noindex и nofollow являются страницами, я не могу исключить всю категорию страниц из карты сайта.

Ожидается, что если вы отметите страницу как noindex и nofollow, Google не будет индексировать страницу и не будет переходить по ссылкам на ней.Однако он может сканировать его и сообщать вам о найденных материалах. Затем вы можете принять решение о том, что с этим делать (если это ожидается, вы можете проигнорировать это).

C. Я все еще вижу эти страницы в карте сайта. Могу ли я вручную удалить страницы из карты сайта?

Мы запутались. Вы отметили страницу как noindex, nofollow, и эта страница все еще отображается в карте сайта? Если да, не могли бы вы предоставить пример URL-адреса, освещающего эту проблему.

Автор темы Frogger

(@engenheirouva)

Спасибо

Страницы без индекса и без индекса, что идеально.

Единственная проблема в том, что Google прислал мне большой отчет об ошибке из-за того, что эти страницы не индексируются. Я уже проверял его дважды, и ошибка уменьшилась менее чем вдвое. Но он по-прежнему указывает мне на многие страницы noindex об ошибке покрытия.

Ошибок нет, все работает должно, но гуглы присылают мне отчет об ошибке. Из-за этого я подумал, может быть, я смогу изменить карту сайта вручную.

Если страницы, помеченные как noindex, не включены в вашу карту сайта, а для рассматриваемых страниц намеренно задано значение noindex, вы можете проигнорировать предупреждение о том, что страница не может быть проиндексирована.Если вы получаете предупреждение о странице, которая была отправлена ​​как часть карты сайта и помечена как noindex, можете ли вы предоставить URL-адрес страницы и карту сайта, чтобы мы могли рассмотреть это в дальнейшем?

Автор темы Frogger

(@engenheirouva)

Для рассматриваемых страниц намеренно установлено значение noindex, и они все еще находятся в моей карте сайта.

У вас есть электронная почта или другой способ, которым я могу отправить свою ссылку в частном порядке?

Спасибо

В настоящее время форумы не предлагают возможности для приватной отправки ссылок.

Если вы предпочитаете электронную почту, мы включаем поддержку по электронной почте при покупке Yoast SEO Premium.

Возможно, это проблема WooCommerce, которая независимо устанавливает noindex для страниц: my-account, cart и checkout. Вы можете использовать Slack для отправки сообщений.

Ultimate Bulk SEO Noindex Nofollow - Speed ​​up Penalty Recovery Ultimate SEO Booster (Premium) - плагин WordPress

Плагин

Ultimate Bulk SEO Noindex - это плагин Noindex, который вы так долго искали.Если вы ищете простой и быстрый способ noindexing большой объем контента, чтобы оправиться от штрафа Google или просто удалить много нежелательных страниц с вашего веб-сайта, это плагин, который вы искали,

До этого плагина было ограниченное количество способов noindex и nofollow контента на веб-сайте WordPress. Используя существующий плагин SEO, вам нужно было вручную редактировать каждый отдельный пост или страницу по одной. Это редактирование всей страницы, а это длительный процесс. Доступно небольшое количество других плагинов, но они либо не обновлялись очень давно, либо имеют сложный пользовательский интерфейс.Последний метод заключался в редактировании файла robots.txt, и для многих пользователей он часто бывает довольно сложным.

С плагином Ultimate Bulk SEO Noindex делает noindexing и nofollowing контентом быстрее, чем вы можете себе представить. Все, что вам нужно сделать, это посетить страницу просмотра публикации или списка страниц, установить флажки рядом с контентом, который вы хотите noindex или nofollow, выбрать то, что вы хотите применить к публикации или странице, и нажать «Применить». Это действительно настолько просто. Все сообщения или страницы будут немедленно отмечены отправленной вами командой.

Что делает этот плагин?

Этот плагин помещает метатег robots в заголовок выбранных страниц, который дает указание Google и другим поисковым системам не включать эти страницы в поисковый индекс. Вы можете подумать, что это безумие, но на самом деле это помогает вашему рейтингу. Google стремится к качеству, а не к количеству, поэтому, показывая Google только ваш лучший контент, мы говорим Google, что у вас качественный веб-сайт, и вознаградим вас за руку.

Почему этот плагин лучше, чем обычные плагины SEO?

Другие плагины, такие как Yoast, включают мета-поле с опцией noindex content, но опции noindex и nofollow находятся на вкладке внутри вкладки на экране редактирования публикации. Чтобы внести изменения, вы должны отредактировать существующее сообщение, перейти в раздел SEO, щелкнуть вкладку «Дополнительно», нажать «Показать в параметрах поисковой системы», прежде чем окончательно обновить сообщение. Если у вас есть десятки или, не дай бог, тысячи сообщений, на это уйдет немало времени.Но с плагином Ultimate Bulk SEO Noindex вам не нужно этого делать, и процесс был сокращен до секунд, что позволяет вам массово использовать noindex и nofollow для десятков сообщений одновременно.

Зачем я сделал этот плагин?

Когда я был новичком в WordPress, я ничего не знал о SEO, и меня поразила Panda 4.0. Именно тогда я решил узнать о SEO и преимуществах отсутствия индексации контента. К сожалению, в то время не было доступных плагинов, чтобы сделать это быстро, и мне потребовались месяцы и месяцы, чтобы очистить мой веб-сайт от сотен и сотен тонких сообщений.Это деморализовало и чуть не оттолкнуло меня от WordPress.

Придерживаясь своего оружия и узнав гораздо больше о SEo, я нанял клиентов, которым было бы очень полезно не индексировать контент, но делать это оказалось рутиной, как всегда. Поэтому я решил собрать этот плагин, чтобы сэкономить сотни часов работы над каждым сайтом.

Версия Pro

В версии pro вы также получите

• Категории Noindex и nofollow, теги, продукты, категории продуктов и теги продуктов.Поднимите свой магазин на SEO!
• Визуальный столбец в каждой таблице списка, показывающий индекс и статус подписки. Он будет разделен на 2 ряда. Индексируйте статус и следите за статусом с помощью зеленого и красного индикаторов, отображающих текущий статус.
  Загрузите профессиональную версию WordPress оптом noindex nofollow

Могу ли я настроить отдельные сообщения и страницы для индексирования и повторного подписки?

Конечно, можете. Когда вы доводите свой контент до уровня качества для Google, все, что вам нужно сделать, это выключить переключатель, и публикация или страница автоматически вернется в индекс и будет следовать.

Это работает с другими плагинами seo?

Да, но вы должны убедиться, что не используете индексацию других плагинов и следуйте настройкам. По сути, если вы, например, настроили Yoast на noindex, обновили сообщение и отключили нашу настройку, Google и другие поисковые системы все равно будут определять настройку индекса из Yoast. Точно так же, если у вас ранее был установлен параметр Yoast на noindex, и вы использовали этот плагин для установки индексации публикации, Google будет использовать самую строгую директиву на странице, которой в данном случае будет Yoast.Если Yoast или аналогичный не установлен, настройки нашего плагина будут единственными, доступными поисковым системам.

Получите профессиональную версию, и настройки, которые вы установили в нашем плагине, будут продублированы в Yoast и других для предотвращения конфликтов

Как запретить поисковым системам сканировать сайт WordPress

Недавно один из наших пользователей спросил нас, как они могут остановить поисковые системы от сканирования и индексации своего сайта WordPress? Существует множество сценариев, когда вы хотите, чтобы поисковые системы не сканировали ваш веб-сайт или не отображали его в результатах поиска.В этой статье мы покажем вам, как запретить поисковым системам сканировать сайт WordPress.

Почему и кто хотел бы остановить поисковые системы

Для большинства веб-сайтов поисковые системы являются крупнейшим источником трафика. Вы можете спросить, а зачем кому-то блокировать поисковые системы?

Поначалу многие люди не знают, как создать локальную среду разработки или промежуточный сайт. Если вы разрабатываете свой веб-сайт на общедоступном доменном имени, вы, скорее всего, не захотите, чтобы Google индексировал вашу страницу в режиме разработки или обслуживания.

Есть также много людей, которые используют WordPress для создания частных блогов, и они не хотят, чтобы эти блоги индексировались в результатах поиска, потому что они частные.

Также некоторые люди используют WordPress для управления проектами или в интранете, и вы не хотите, чтобы ваши внутренние документы были общедоступными.

Во всех перечисленных выше ситуациях вы, вероятно, не хотите, чтобы поисковые системы индексировали ваш сайт.

Распространенное заблуждение состоит в том, что если у меня нет ссылок, указывающих на мой домен, поисковые системы, вероятно, никогда не найдут мой сайт.Это не совсем так.

Есть много способов, которыми поисковые системы могут найти веб-сайт, на который есть ссылки в другом месте. Например:

1. Ваше доменное имя могло ранее принадлежать кому-то другому, и у них все еще есть ссылки, указывающие на ваш сайт.
2. Некоторые результаты поиска по домену могут быть проиндексированы с вашей ссылкой на них.
3. Существуют буквально тысячи страниц со списком доменных имен, ваш сайт может появиться на одном из них.

В сети происходит много всего, и большинство из них не находится под вашим контролем.Однако ваш веб-сайт по-прежнему находится под вашим контролем, и вы можете указать поисковым системам не индексировать ваш веб-сайт и не следить за ним.

Видеоурок

Подписаться на WPBeginner

Если вам не нравится видео или вам нужны дополнительные инструкции, продолжайте читать.

Блокировка поисковых систем от сканирования и индексирования вашего сайта WordPress

WordPress имеет встроенную функцию, которая позволяет указать поисковым системам не индексировать ваш сайт.Все, что вам нужно сделать, это зайти в «Настройки » »Читать и установить флажок рядом с опцией« Видимость в поисковых системах ».

Если этот флажок установлен, WordPress добавляет эту строку в заголовок вашего веб-сайта:

WordPress также изменяет файл robots.txt вашего сайта и добавляет в него следующие строки:

Пользовательский агент: *
Запретить: /
 

Эти строки просят роботов (поисковых роботов) не индексировать ваши страницы.Однако поисковые системы могут принять или проигнорировать этот запрос. Несмотря на то, что большинство поисковых систем уважают это, некоторые страницы или случайные изображения с вашего сайта могут быть проиндексированы.

Как убедиться, что ваш сайт не отображается в результатах поиска?

Настройки видимости WordPress по умолчанию запрещают поисковым системам индексировать ваш сайт. Однако поисковые системы могут по-прежнему сканировать и индексировать страницу, файл или изображение с вашего веб-сайта.

Единственный способ убедиться, что поисковые системы вообще не индексируют и не сканируют ваш сайт, - это защитить паролем весь ваш сайт WordPress на уровне сервера.

Это означает, что когда кто-либо пытается получить доступ к вашему веб-сайту, его просят предоставить имя пользователя и пароль еще до того, как они достигнут WordPress. Это также включает поисковые системы. При неудачном входе в систему им показывается ошибка 401, и боты отворачиваются. Вот как защитить паролем весь сайт WordPress.

Метод 1. Защита всего сайта паролем с помощью cPanel

Если ваш хостинг-провайдер WordPress предлагает доступ к cPanel для управления вашей учетной записью хостинга, то вы можете защитить весь свой сайт с помощью cPanel.Все, что вам нужно сделать, это войти в свою панель управления cPanel и затем щелкнуть значок «Защита паролем каталогов» в разделе «Безопасность».

Далее вам нужно будет выбрать папку, в которую вы установили WordPress. Обычно это папка public_html.

Если у вас есть несколько сайтов WordPress, установленных в каталоге public_html, вам нужно щелкнуть значок папки, чтобы просмотреть и выбрать папку для веб-сайта, который вы хотите защитить паролем.

На следующем экране вам нужно ввести имя защищенного каталога и нажать кнопку «Сохранить».

Ваша информация будет сохранена, и cPanel перезагрузит страницу. После этого нужно добавить авторизованного пользователя, введя логин и пароль.

Вот и все, вы успешно добавили защиту паролем на свой сайт WordPress.

Теперь, когда пользователь или поисковая система посещает ваш сайт, им будет предложено ввести имя пользователя и пароль, которые вы создали ранее, для просмотра сайта.

Метод 2. Защита WordPress паролем с помощью подключаемого модуля

Если вы используете управляемый хостинг WordPress, иногда у вас нет доступа к cPanel.

В этом случае у вас есть возможность использовать различные плагины WordPress для защиты вашего сайта паролем. Ниже представлены два самых популярных решения:

1. SeedProd - это ближайший плагин №1 для режима обслуживания WordPress, используемый на более чем 800 000 веб-сайтов.Он поставляется с функциями полного контроля доступа и разрешений, которые вы можете использовать, чтобы скрыть свой веб-сайт от всех, включая поисковые системы. У нас есть пошаговое руководство для SeedProd.
2. Защищено паролем - это очень простой способ защитить паролем ваш сайт WordPress с помощью одного пароля (создание пользователя не требуется). Ознакомьтесь с нашим пошаговым руководством о том, как защитить паролем сайт WordPress.

Мы надеемся, что эта статья помогла вам остановить сканирование или индексирование вашего сайта WordPress поисковыми системами.Вы также можете ознакомиться с нашим окончательным пошаговым руководством по безопасности WordPress для начинающих.

Если вам понравилась эта статья, то подпишитесь на наш канал YouTube для видеоуроков по WordPress. Вы также можете найти нас в Twitter и Facebook.

Как скрыть страницу WordPress от Google

Недавно один из наших читателей спросил, можно ли скрыть страницу WordPress от Google? Иногда вам может потребоваться скрыть страницу от Google, чтобы защитить вашу конфиденциальность или отпугнуть нежелательных пользователей.В этой статье мы покажем вам, как скрыть страницу WordPress от Google, не влияя на общую SEO-оптимизацию вашего сайта.

Скрытие сообщения или страницы WordPress от Google

Поисковые системы, такие как Google, позволяют владельцам веб-сайтов исключать контент из результатов поиска. Вы можете сделать это с помощью файла robots.txt своего сайта или с помощью метатегов HTML.

Мы покажем вам, как это сделать в WordPress двумя способами. Вы можете выбрать тот, который вам больше всего подходит.

Мы также покажем вам, как защитить паролем сообщения и страницы в WordPress.Если вы не хотите использовать первые два метода, этот подход позволит вам контролировать видимость ваших сообщений и страниц для всех пользователей.

Видеоурок

Подписаться на WPBeginner

Если вам не нравится видео или вам нужны дополнительные инструкции, продолжайте читать.

Метод 1. Скрыть страницу WordPress от поисковых систем с помощью Yoast SEO

Этот способ проще и рекомендуется новичкам.

Первое, что вам нужно сделать, это установить и активировать плагин Yoast SEO. Для получения дополнительной информации см. Наше пошаговое руководство по установке плагина WordPress.

Если вы новичок в Yoast SEO, возможно, вам стоит ознакомиться с нашим руководством по установке и настройке плагина Yoast SEO.

Далее вам нужно отредактировать сообщение или страницу, которые вы хотите скрыть от поисковых систем. Прокрутите вниз до мета-поля Yoast SEO под редактором сообщений и нажмите кнопку дополнительных настроек.

Раздел расширенных настроек позволяет добавлять роботов с метатегами к сообщениям или страницам вашего блога.Используя метатег robots, вы можете указать поисковым системам не индексировать страницу и не подписываться на нее.

Сначала вам нужно выбрать «noindex» в раскрывающемся меню рядом с опцией «Meta robots index». После этого нажмите «nofollow» рядом с опцией «Meta robots follow».

Теперь вы можете сохранить / опубликовать свой пост или страницу.

Yoast SEO теперь добавит эту строку кода в ваше сообщение или страницу:

Эта строка просто указывает поисковым системам не подписываться на эту страницу и не индексировать ее.

Метод 2: Скрыть страницу WordPress от поисковых систем с помощью файла robots.txt

Для этого метода необходимо отредактировать файл robots.txt. Добавление неверных инструкций в этот файл может отрицательно повлиять на SEO вашего сайта, поэтому не рекомендуется для начинающих пользователей.

Файл robots.txt - это файл конфигурации, который вы можете добавить в корневой каталог вашего сайта WordPress. Он позволяет веб-сайту предоставлять инструкции для роботов поисковых систем, отсюда и название robots.текст.

Для получения дополнительной информации ознакомьтесь с нашим руководством по оптимизации вашего файла robots.txt в WordPress для SEO.

Вы можете редактировать файл robots.txt, подключившись к своему веб-сайту с помощью FTP-клиента или «Диспетчера файлов» в cPanel хостинга WordPress.

Вам нужно будет добавить эти строки в файл robots.txt.

Пользовательский агент: *
Disallow: / your-page /

Строка пользовательского агента позволяет настраивать таргетинг на определенных ботов. Мы используем знак звездочки, чтобы включить все поисковые системы.

Следующая строка определяет часть URL-адреса, которая идет после вашего доменного имени.

Теперь предположим, что вы хотите скрыть сообщение в блоге с таким URL:

http://example.com/2016/12/my-blog-post/

Вот как вы добавите этот URL в свой файл robots.txt.

Пользовательский агент: *
Disallow: / 2016/12 / my-blog-post /

Не забудьте сохранить изменения и загрузить файл robots.txt обратно на свой сервер.

Недостатки использования robots.txt для скрытия содержимого

Во-первых, нужно иметь в виду, что файл robots.txt общедоступен. Любой желающий может получить к нему доступ напрямую, чтобы узнать, есть ли какие-либо страницы, которые вы пытаетесь скрыть.

Хотя большинство поисковых систем следуют инструкциям в файле robots.txt, многие другие сканеры и боты могут просто игнорировать его. Это боты, сканирующие Интернет для распространения вредоносных программ, нацеливания на веб-сайты или сбора информации, такой как учетные записи электронной почты, номера телефонов и т. Д.

Метод 3. Защита сообщения или страницы паролем в WordPress

В этом методе используется другой подход. Вместо того, чтобы просить поисковые системы не индексировать страницу, вы можете защитить ее паролем, чтобы она была видна только пользователям с паролем.

WordPress имеет встроенную функцию защиты паролем сообщений и страниц. Просто отредактируйте сообщение или страницу, которые хотите защитить.

Под мета-окном публикации щелкните ссылку «Изменить» рядом с параметром «Видимость».

Это покажет варианты видимости, доступные в WordPress. Вы можете сделать сообщение / страницу общедоступным, сделать его приватным или защитить паролем.

Личные сообщения доступны только зарегистрированным пользователям, у которых есть как минимум роль редактора на вашем сайте.

Сообщения, защищенные паролем, может увидеть любой посетитель, у которого есть пароль. Нажмите на вариант, защищенный паролем, а затем введите надежный пароль.

Теперь вы можете опубликовать или сохранить свой пост / страницу.

Теперь посетителей, открывающих сообщение или страницу на вашем веб-сайте, попросят ввести пароль для просмотра содержимого.

Для получения более подробных инструкций см. Наше руководство по защите паролем сообщений и страниц в WordPress.

Вот и все, мы надеемся, что эта статья помогла вам узнать, как скрыть страницу WordPress от Google. Вы также можете ознакомиться с нашим руководством о том, как запретить поисковым системам сканировать сайт WordPress.

Если вам понравилась эта статья, то подпишитесь на наш канал YouTube для видеоуроков по WordPress.Вы также можете найти нас в Twitter и Facebook.

Как разблокировать Robots.txt и удалить тег noindex

Устранение неполадок, связанных с индексированием и сканированием: с чего начать

Прежде всего, давайте попробуем сузить проблему. Для этого войдите в Google Search Console. Затем скопируйте и вставьте URL-адрес главной страницы своего веб-сайта в тестер robots.txt и нажмите "Отправить". (На данный момент этот инструмент существует только в старой версии Google Search Console.) Если он «ЗАБЛОКИРОВАН», см. Проблему № 1, если «РАЗРЕШЕН», см. Проблему № 2 ниже.

Проблема №1: Домен или URL-адрес заблокирован файлом robots.txt

Если линия запрета горит красным, и вы видите слово «ЗАБЛОКИРОВАНО» в поле в правом нижнем углу, как показано на скриншоте ниже, robots. txt является виновником. Чтобы отменить это, вам потребуется доступ к файлу robots.txt и его редактирование * для своего веб-сайта.

* Если вы не тот человек, который обычно играет в серверной части вашего веб-сайта, я настоятельно рекомендую вам обратиться к разработчику вашего веб-сайта, ИТ-специалисту или кому-либо еще, кто занимается обслуживанием веб-сайта.

В приведенном выше примере происходят две вещи, одна хорошая и одна плохая, в зависимости от нашего текущего затруднительного положения. Этот URL-адрес, / wp-admin / , намеренно запрещен, поскольку мы не хотим, чтобы серверная часть нашего веб-сайта сканировалась какой-либо из поисковых систем. Это должно остаться.

Однако проблема в строке Disallow: / . Эта строка, или лучше сказать косая черта, блокирует сканирование вашего веб-сайта всеми поисковыми системами… ну, и все это.Итак, чтобы разблокировать robots.txt, эту часть необходимо удалить из файла robots.txt.

Буквально достаточно одного персонажа, чтобы бросить гаечный ключ в вещи. После внесения в файл необходимых изменений верните URL-адрес домашней страницы в тестер robots.txt, чтобы проверить, приветствует ли ваш сайт поисковые системы. Если что-то идет не так, как надо, в поле в правом нижнем углу зеленым цветом будет указано «РАЗРЕШЕНО», и поисковые системы могут начать сканирование сайта.

Это исправление должно успешно разблокировать роботов.txt по всему сайту (или, по крайней мере, для любой страницы, которая специально не обозначена как запрещенная, например с / wp-admin / URL-адресом выше), но не стесняйтесь копировать и вставлять пару дополнительных страниц сайта в инструмент тестера, чтобы убедиться, что проблема были разрешены не только для вашей домашней страницы.

Если вы хотите узнать больше об этой конкретной марке ботов, ознакомьтесь с полным руководством по Robots.txt на Yoast.com.

Проблема № 2: Удаление метатега «noindex» в WordPress.

Если вышеуказанная проблема не в том, что беспокоит ваш веб-сайт, поскольку во всем, что происходит «РАЗРЕШЕНО» (как и должно быть), есть еще одна распространенная причина, по которой ваш веб-сайт WordPress может не отображаться в поиске - надоедливый тег noindex.

Чтобы проверить, так ли это, вернитесь к новой версии Search Console, вставьте любой URL-адрес в поле поиска «Проверить любой URL-адрес в…» вверху страницы и нажмите Enter.

Если в отчете о проверке URL отображается следующее сообщение: Нет: в метатеге robots обнаружен «noindex», это означает, что весь этот шум вызывает единственный флажок в серверной части WordPress.

Чтобы разблокировать поисковые системы от индексации вашего веб-сайта, сделайте следующее:

• Войдите в WordPress
• Перейдите в Настройки → Чтение
• Прокрутите страницу вниз до места, где написано «Видимость поисковой системы»
• Снимите флажок рядом чтобы «Не рекомендовать поисковым системам индексировать этот сайт»
• Нажмите кнопку «Сохранить изменения» ниже

Если вы используете плагин Yoast SEO - WordPress, также проверьте настройки сообщения в блоге, чтобы убедиться, что они установлены аналогичным образом. чтобы разрешить индексацию.

Когда это будет завершено, вернитесь в Search Console и повторно отправьте URL-адрес, который вы пробовали ранее. Если ваши настройки настроены правильно, все должно петь другую мелодию. Теперь, когда вы отправляете URL-адрес, в отчете о проверке URL-адресов не должно быть всех предупреждений и сообщений об ошибках, по крайней мере, тех, которые связаны с индексированием и сканированием, и вы сможете «Запросить индексирование», что, как я полагаю, было вашей целью с самого начала. .

Я надеюсь, что это поможет, но если описанные выше шаги не помогли решить вашу текущую проблему, я рекомендую ознакомиться с этой статьей поддержки веб-мастеров Google о «noindex», чтобы узнать больше.

Очевидная, но важная часть SEO - добиться того, чтобы ваш сайт отображался в результатах поиска. Для этого вам необходимо убедиться, что ваш веб-сайт можно сканировать и индексировать, что означает удаление тега «noindex» и разблокировку robots.txt из общедоступных частей вашего сайта.

No related posts.