Почему вы должны помечать страницу как NoFollow?

Для большинства случаев использования вам следует , а не , пометить всю страницу как nofollow — достаточно пометить отдельные ссылки как nofollow.

Вы бы отметили всю страницу как nofollow , если вы не хотите, чтобы Google просматривал ссылки на странице, или если вы думали, что ссылки на странице могут нанести вред вашему сайту.

В большинстве случаев общие директивы уровня страницы nofollow используются, когда у вас нет контроля над контентом, размещаемым на странице (например: контент, созданный пользователем, может быть размещен на странице).

Некоторые высококлассные издатели также неуклонно применяют директиву nofollow к своим страницам, чтобы отговорить авторов размещать спонсируемые ссылки в своем контенте.

Как использовать страницы NoIndex?

Пометить страницы как noindex, которые вряд ли принесут пользу пользователям и не должны отображаться в результатах поиска.Например, страницы, которые существуют для разбивки на страницы, вряд ли будут отображать одно и то же содержимое с течением времени.

Domain.com/category/resultspage=2 вряд ли покажет пользователю лучшие результаты, чем domain.com/category/resultspage=1 , и эти две страницы будут только конкурировать друг с другом в поиске. Лучше не индексировать страницы, единственная цель которых — нумерация страниц.

Вот типы страниц, которые следует не индексировать:

• Страницы, используемые для нумерации страниц
• Внутренние поисковые страницы
• Целевые страницы, оптимизированные для рекламы
  • Пример: отображает только форму подачи и подписки, без основной навигации
  • Пример: повторяющиеся варианты одного и того же содержания, используется только для рекламы
• Архивные страницы авторов
• Страницы в кассовых потоках
• Страницы подтверждения
  • Пример: страницы с благодарностью
  • Пример: Заказ полных страниц
  • Пример: Успех! Страницы
• Некоторые страницы, созданные плагином, не относящиеся к вашему сайту (например, если вы используете коммерческий плагин, но не используете их обычные страницы продуктов)
• Страницы администратора и страницы входа администратора

Пометка страницы Noindex и Nofollow

Страница, отмеченная как noindex, так и nofollow, блокирует индексирование этой страницы поисковым роботом и запрещает поисковому роботу просматривать ссылки на странице.

По сути, изображение ниже демонстрирует, что поисковая система увидит на веб-странице в зависимости от того, как вы использовали директивы noindex и nofollow:

Пометка уже проиндексированной страницы как NoIndex

Если поисковая система уже проиндексировала страницу, и вы отметили ее как noindex , то при следующем сканировании страница будет удалена из результатов поиска .

Чтобы этот метод удаления страницы из индекса работал, вы не должны блокировать (запрещать) поисковый робот с вашими robots.txt файл.

Если вы говорите поисковому роботу не читать страницу, он никогда не увидит маркер noindex , и страница останется проиндексированной, хотя ее содержимое не будет обновлено.

Как мне запретить поисковым системам индексировать мой сайт?

Если вы хотите удалить страницу из поискового индекса после того, как она уже проиндексирована, вы можете выполнить следующие шаги:

1. Примените директиву noindex Добавьте атрибут noindex к метатегу или заголовку ответа HTTP
2. Запросить сканирование страницы поисковой системой Для Google вы можете сделать это в консоли поиска, запросить у Google повторное индексирование страницы.Это приведет к тому, что робот Googlebot просканирует страницу, где робот обнаружит директиву noindex. Вам нужно будет сделать это для каждой поисковой системы, из которой вы хотите удалить страницу.
3. Подтвердите, что страница была удалена из поиска После того, как вы запросили сканер повторно посетить вашу веб-страницу, подождите некоторое время, а затем подтвердите, что ваша страница была удалена из результатов поиска. Вы можете сделать это, перейдя в любую поисковую систему и введя целевой URL-адрес сайта в двоеточии, как на изображении ниже.
   Если ваш поиск не дал результатов, значит ваша страница была удалена из этого поискового индекса.
4. Если страница не была удалена Убедитесь, что в вашем файле robots.txt нет директивы «запретить». Google и другие поисковые системы не могут прочитать директиву noindex, если им не разрешено сканировать страницу. Если вы это сделаете, удалите директиву disallow для целевой страницы, а затем снова запросите сканирование.
5. Установите директиву запрета для целевой страницы в вашем файле robots.txt Disallow: / page $
   Вам нужно будет поставить знак доллара в конце URL-адреса в вашем файле robots.txt, иначе вы можете случайно запретить любые страницы под этой страницей, а также любые страницы, которые начинаются с той же строкой. Пример: Disallow: / sweater также запретит / sweater-weather и / sweater / green, но Disallow: / sweater $ запретит только конкретную страницу / sweater.

Как удалить страницу из поиска Google

Если страница, которую вы хотите удалить из поиска, находится на сайте, которым вы владеете или управляете, большинство сайтов могут использовать Инструмент удаления URL-адресов для веб-мастеров.

Инструмент удаления URL для веб-мастеров удаляет контент из поиска только примерно на 90 дней. Если вам нужно более постоянное решение, вам нужно будет использовать директиву noindex, запретить сканирование из файла robots.txt или удалить страницу со своего сайта. Google предоставляет дополнительные инструкции по постоянному удалению URL-адресов здесь.

Если вы пытаетесь удалить страницу из результатов поиска сайта, владельцем которого вы не являетесь, вы можете запросить у Google удаление страницы из поиска, если она соответствует следующим критериям:

• Отображает личную информацию, такую ​​как ваша кредитная карта или номер социального страхования
• Страница является частью вредоносной программы или фишинговой схемы
• Страница нарушает закон
• Страница нарушает авторские права

Если страница не соответствует ни одному из вышеперечисленных критериев, вы можете обратиться в SEO-компанию или PR-компанию за помощью в управлении репутацией в Интернете.

Стоит ли не индексировать страницы категорий?

Обычно не рекомендуется индексировать страницы категорий, если только вы не являетесь организацией корпоративного уровня, которая программно раскручивает страницы категорий на основе пользовательских поисковых запросов или тегов, а дублированный контент становится громоздким.

По большей части, если вы помечаете свой контент разумно, чтобы пользователи могли лучше ориентироваться на вашем сайте и находить то, что им нужно, тогда все будет в порядке.

Фактически, страницы категорий могут быть золотой жилой для SEO, поскольку они обычно показывают глубину содержания по темам категорий.

Взгляните на этот анализ, который мы провели в декабре 2018 года, чтобы количественно оценить ценность страниц категорий для нескольких онлайн-публикаций.

Мы обнаружили, что целевые страницы категорий ранжируются по сотням ключевых слов страницы 1 и ежемесячно привлекают тысячи обычных посетителей.

Страницы самых ценных категорий для каждого сайта часто привлекали тысячи обычных посетителей.

Взгляните на EW.com ниже, мы измерили трафик для каждой страницы (представленный размером круга) и стоимость трафика на каждую страницу (представленный цветом круга).

А теперь представьте те же диаграммы, но для сайтов, посвященных товарам, на которых посетители, скорее всего, совершат активные покупки.

При этом, если ваши категории достаточно похожи, чтобы вызвать замешательство пользователей или конкурировать друг с другом в поиске, вам может потребоваться внести изменения:

• Если вы устанавливаете категории самостоятельно, мы рекомендуем перенести контент из одной категории в другую и уменьшить общее количество имеющихся категорий.
• Если вы разрешаете пользователям раскручивать категории, вы можете не индексировать страницы категорий, созданные пользователем, по крайней мере, до тех пор, пока новые категории не пройдут процесс проверки.

Как запретить Google индексировать субдомены?

Есть несколько способов запретить Google индексировать субдомены:

• Вы можете добавить пароль, используя файл .htpasswd
• Вы можете запретить поисковым роботам с помощью файла robots.txt
• Вы можете добавить директиву noindex на каждую страницу в поддомене
• Вы можете 404 все страницы поддоменов

Если ваши поддомены предназначены для разработки, то добавление домена.htpasswd в корневой каталог вашего поддомена — идеальный вариант. Стена входа в систему не позволит сканерам индексировать контент на поддомене, и — это предотвратит несанкционированный доступ пользователей.

Примеры использования:

• Dev.domain.com
• Staging.domain.com
• Testing.domain.com
• QA.domain.com
• UAT.domain.com

Использование robots.txt для блокирования индексации

Если ваши поддомены служат другим целям, вы можете добавить файл robots.txt в корневой каталог вашего поддомена. После этого он должен быть доступен по следующему адресу:

https://subdomain.domain.com/robots.txt

Вам нужно будет добавить файл robots.txt в каждый субдомен, который вы пытаетесь заблокировать для поиска. Пример:

https://help.domain.com/robots.txt

https://public.domain.com/robots.txt

В каждом случае файл robots.txt должен запрещать поисковые роботы, чтобы заблокировать большинство поисковых роботов с помощью одной команды, используйте следующий код:

Агент пользователя: *

Запрещено: /

Звездочка * после user-agent: называется подстановочным знаком, она соответствует любой последовательности символов.Использование подстановочного знака отправит следующую директиву запрета всем пользовательским агентам, независимо от их имени, от googlebot до яндекс.

Обратная косая черта сообщает поисковому роботу, что все страницы за пределами поддомена включены в директиву disallow.

Как выборочно заблокировать индексирование страниц поддоменов

Если вы хотите, чтобы некоторые страницы из поддомена отображались в поиске, но не отображались другие, у вас есть два варианта:

• Использовать директивы noindex на уровне страницы
• Использовать директивы запрета на уровне папки или каталога

Директивы noindex на уровне страницы будет более громоздко реализовать, поскольку директиву необходимо добавлять в HTML или заголовок каждой страницы.Однако директивы noindex не позволят Google индексировать субдомен, независимо от того, был ли субдомен уже проиндексирован или нет.

Директивы запрета на уровне каталога проще реализовать, но они будут работать только в том случае, если страницы поддоменов еще не включены в поисковый индекс. Просто обновите файл robots.txt субдомена, чтобы запретить сканирование соответствующих каталогов или подпапок.

Как узнать, не проиндексированы ли мои страницы?

Случайное добавление страниц с директивой об отсутствии индекса на ваш сайт может иметь серьезные последствия для вашего рейтинга и видимости в результатах поиска.

Если вы обнаружите, что на странице не отображается обычный трафик, несмотря на хорошее содержание и обратные ссылки, сначала проверьте, не заблокировали ли вы случайно поисковые роботы из файла robots.txt. Если это не решит вашу проблему, вам нужно будет проверить отдельные страницы на наличие директив noindex.

Проверка наличия NoIndex на страницах WordPress

WordPress позволяет легко добавлять или удалять этот тег на ваших страницах. Первый шаг в проверке наличия nofollow на ваших страницах — просто переключить настройку Search Engine Visibility на вкладке «Чтение» в меню «Настройки».

Скорее всего, это решит проблему, однако этот параметр работает скорее как «предложение», чем как правило, и часть вашего контента все равно может быть проиндексирована.

Чтобы обеспечить абсолютную конфиденциальность ваших файлов и контента, вам нужно будет сделать последний шаг — либо защитить свой сайт паролем с помощью инструментов управления cPanel, если они доступны, либо с помощью простого плагина.

Аналогичным образом, удалить этот тег из вашего контента можно, сняв защиту паролем и сняв флажок с параметра видимости.

Проверка наличия NoIndex на Squarespace

Squarespace также легко индексируются с помощью функции Code Injection. Как и WordPress, Squarespace можно легко заблокировать от обычного поиска с помощью защиты паролем, однако платформа также не рекомендует предпринимать этот шаг для защиты целостности вашего контента.

Добавляя строку кода NoIndex на каждую страницу, которую вы хотите скрыть от поисковых систем в Интернете, и на каждую подстраницу под ней, вы можете обеспечить безопасность защищенного контента, доступ к которому должен быть запрещен.Как и на других платформах, удалить этот тег также довольно просто: просто использовать функцию внедрения кода для возврата кода — это все, что вам нужно сделать.

Squarespace уникален тем, что его конкуренты предлагают эту опцию в первую очередь как часть набора настроек в инструментах управления страницами. Squarespace уходит отсюда, позволяя персонально манипулировать кодом. Это интересно, потому что вы можете видеть изменения, которые вы вносите в содержание своей страницы, в отличие от других в этом пространстве.

Проверка наличия NoIndex на Wix

Wix также позволяет быстро и просто исправить проблемы с NoIndexing. В настройках «Меню и страницы» вы можете просто отключить опцию «показывать эту страницу в результатах поиска», если вы хотите, чтобы NoIndex не индексировал одну страницу вашего сайта.

Как и его конкуренты, Wix также предлагает защиту паролем ваших страниц или всего сайта для дополнительной конфиденциальности. Однако Wix отличается от других тем, что служба поддержки не предписывает параллельные действия на обоих фронтах для защиты контента от сканера.Wix особо отмечает разницу между скрытием страницы из вашего меню и скрытием ее из критериев поиска.

Это особенно полезный совет для менее опытных разработчиков веб-сайтов, которые могут изначально не понимать разницы, учитывая, что удаление из меню вашего сайта делает страницу недоступной с сайта, но не по разумному поисковому запросу Google.

тегов Magento Nofollow Noindex — Блог GoMage

Сегодня многие специалисты по SEO часто используют теги Nofollow и Noindex, чтобы распределить вес страниц, а также скрыть некоторые ненужные части контента или html-кода.В чем разница между noindex и nofollow?

Общие сведения о Nofollow — атрибуты тега Noindex

Процедура, описанная выше, абсолютно приемлема для Magento ® 2. Вы должны следовать той же логике для настройки тегов noindex, nofollow и robots.txt.

Вам нужно зайти в административную панель Magento ®, затем выбрать «Магазины» >> «Конфигурация». Слева под опцией «Общие» выберите «Дизайн».Откройте вкладку «Роботы поисковых систем» и настройте необходимые параметры.

По желанию вы можете установить свои собственные инструкции в опции Редактировать настраиваемую инструкцию файла robots.txt . Например, вам нужно запретить доступ ко всем папкам, пока ваш интернет-магазин находится в разработке.

Есть примеры кастомных Инструкций:

Если вы хотите разрешить полный доступ

 Пользовательский агент: * 

 Запрещено: 

Если вы хотите запретить доступ ко всем папкам

 Пользовательский агент: * 

 Запрещено: / 

Инструкции по умолчанию

 Запрещено: / lib / 

 Disallow: / *.PHP $ 

 Запрещено: / pkginfo / 

 Disallow: / report / 

 Запрещено: / var / 

 Disallow: / catalog / 

 Запрещено: / customer / 

 Запретить: / sendfriend / 

 Disallow: / review / 

 Disallow: / * SID = 

Есть не только технические причины, по которым вам нужно закрыть свой контент от индексации роботами поисковых систем. В некоторых случаях вам может помочь тег Noindex:

• вам нужно процитировать часть закона или отрывок из книги, и такое содержание не может быть уникальным;
• нужно разместить интересную статью, которая была опубликована на другом сайте.Почему бы нет? Если такой контент может помочь посетителям дольше оставаться в вашем интернет-магазине, вы можете его использовать;
• технические тексты или инструкции могут содержать примеры кода, который также не может быть уникальным.

Во всех этих случаях вы можете запретить индексацию определенной части текста или всей страницы.

Надеемся, что наши советы будут вам полезны. Наша команда GoMage готова помочь вам в случае необходимости.

мета-тегов роботов | Как использовать мета-тег роботов для SEO

1. WooRank
2. Руководства по SEO
3. Как использовать мета-теги роботов для SEO

Вы можете использовать метатег robots, чтобы контролировать, где и как Google и другие сканеры поисковых систем перемещаются по вашему сайту и передают ссылочный вес со страницы на страницу.Если это звучит знакомо для другого текстового файла на вашем веб-сайте, следите за новостями …

В этом руководстве мы рассмотрим

1. Что такое метатег роботов и почему он важен
2. Как вы используете метатег robots для SEO
3. Преимущества использования метатега robots

Мета-тег robots — это HTML-тег, который является тегом заголовка страницы и предоставляет инструкции ботам. Как и файл robots.txt, он сообщает сканерам поисковых систем, разрешено ли им индексировать страницу.

Чтобы найти метатег robots на странице, просто щелкните веб-страницу правой кнопкой мыши, выберите «Просмотреть исходный код» и затем выполните поиск для «robots». Это будет выглядеть примерно так:

В этом примере верхняя строка относится ко всем ботам поисковых систем, а 4 строки после нее относятся к конкретным пользовательским агентам.В этом конкретном примере метатег роботов сообщает поисковым системам не индексировать страницу. Однако боты могут свободно переходить по ссылкам, которые они находят на странице.

Метатег robots имеет значение, потому что он добавляет дополнительный уровень защиты к файлу robots.txt. Когда сканер переходит по внешней ссылке и попадает на одну из ваших страниц, он все равно может сканировать и индексировать эту страницу, поскольку он не видел файла robots.txt.

Мета-тег robots предотвращает сканирование и индексирование.

Метатег robots применяет только к странице, содержащей этот тег. Файлы robots.txt применяются ко всему вашему веб-сайту.

Как работает метатег robots?

Как видите, тег состоит из двух частей: name = "" и content = "" .

Прочтите руководство по сканерам поисковых систем и сканированию, чтобы узнать больше о том, как они работают.

Часть имени определяет пользовательский агент бота, которого вы инструктируете, точно так же, как строка user-agent в файле robots.txt файл. В отличие от robots.txt, вы не используете подстановочный знак для включения всех ботов. Для этого вы просто напишите «роботы».

Отсюда и название мета-тега роботов.

Вторая часть, content = ”” — это то место, где вы указываете ботам, что делать.

Какие существуют значения метатегов robots?

Есть много разных значений, которые вы можете добавить в поле content в теге robots. Каждое из этих значений имеет свои особенности:

• Индекс: Указывает поисковым системам проиндексировать страницу.На первый взгляд это может показаться бессмысленным, поскольку по умолчанию используется «Индекс», но может быть полезно, если вы хотите, чтобы страницу проиндексировала только определенная группа поисковых систем.
• NoIndex: Указывает поисковым системам не индексировать страницу, чтобы она не отображалась в результатах поиска.
• NoImageIndex: Указывает поисковым системам не индексировать изображения на странице. Однако, если кто-то добавит это изображение в другое место в Интернете, Google все равно проиндексирует его и отобразит в результатах поиска.
• Нет: Это работает как ярлык для «noindex, nofollow».Он говорит поисковым системам игнорировать страницу и делать вид, что они никогда ее не видели.
• Follow: Указывает поисковым системам переходить по ссылкам, которые они находят на странице. Как и в случае с «Индексом», это статус по умолчанию, когда бот не находит применимый к нему метатег robots.
• NoFollow: Указывает поисковым системам вообще не переходить по ссылкам на странице. Вы также можете добавить это значение к отдельной ссылке.
• NoArchive: Указывает поисковым системам не показывать кэшированные копии страницы.
• NoCache: То же, что и «NoArchive», за исключением того, что используется MSN / Live.
• NoSnippet: Запрещает поисковым системам показывать фрагмент этой страницы в результатах поиска. Это также предотвращает кеширование страницы.
• NoTranslate: Указывает поисковым системам не предлагать переведенные версии страницы в результатах поиска.
• Unavailable_after: Указывает поисковым системам не отображать страницу в результатах поиска после определенной даты.
• NoYDir: Указывает поисковой системе не использовать Yahoo! Описание страницы каталога в поисковом фрагменте.
• NoODP: Запрещает поисковым системам использовать описание страницы из DMOZ в поисковом фрагменте. ODP — это сообщество, которое запускает и поддерживает каталог DMOZ.

Последние два значения — NoYDir и NoODP — в наши дни не используются. Ни Yahoo! Каталог или DMOZ больше не существуют. Тем не менее, вы все еще можете видеть их в Интернете.

Немного усложняет тот факт, что не все поисковые системы поддерживают все значения. Итак, вот удобная таблица, которая разбивает это:

Используя запятые, вы можете создавать многонаправленные метатеги вместо создания одного тега для каждой директивы.Фактически, вы будете видеть это довольно часто, поскольку многие метатеги роботов используют значения noindex, nofollow:

Обеспечение того, чтобы определенные малоценные страницы не попадали в индекс Google и не попадали в результаты поиска, является такой же частью SEO, как и попадание страниц в результаты поиска. Отсутствие индексации малоценных страниц может помочь увеличить так называемую «потребность в сканировании» вашего сайта, что может способствовать более частому сканированию вашего сайта.

Meta robots также добавляет дополнительный уровень защиты страниц, которые вы заблокировали через своих роботов.txt файл. Эти страницы все еще могут быть проиндексированы, если Google попадает на них по внешней обратной ссылке. Отсутствие индексации страницы предотвратит это.

Использование метатега robots для предотвращения индексации страницы и перехода по ссылкам выглядит следующим образом:

Значения noindex и nofollow — два наиболее часто используемых значения в метатеге robots. Однако другие значения, перечисленные выше, также имеют значение SEO:

• NoImageIndex: Указывает поисковым системам не сканировать изображения на странице.

• Нет: Это эквивалентно использованию «noindex, nofollow» в одном значении. Поисковые роботы не будут индексировать страницу и переходить по ссылкам.

• NoArchive: Запретить поисковым системам показывать кешированную версию вашей страницы. Убедитесь, что люди всегда видят последнюю версию вашего контента. MSN / Live использует «NoCache» вместо «NoArchive».

• NoSnippet: Это запрещает поисковым системам отображать фрагмент вашего сайта в результатах поиска и от отображения кэшированной версии страницы.

Если весь смысл SEO состоит в том, чтобы страницы попадали в результаты поиска, как, черт возьми, мета-роботы на странице помогают SEO?

1. Предотвращает индексирование и отображение любых личных файлов или папок в результатах поиска. Как правило, рекомендуется не публиковать этот контент на своем сайте или защитить его паролем. Однако, если по какой-то причине вам нужно разместить его на своем сайте, метатег robots не позволит ему попасть в Google.

2. Это помогает поисковым системам более эффективно сканировать ваш сайт.У поисковых роботов ограниченный бюджет сканирования, поэтому теоретически они могут тратить все свое время на сканирование страниц, рейтинг которых вам не важен, и игнорировать самые важные из них. Блокирование индексации этих неважных файлов поможет поисковым роботам перейти на ваши более ценные страницы.

3. Если у вас есть страница, на которую набралось много ссылок, но вы не хотите, чтобы она индексировалась, используйте директиву follow, чтобы передать эту ссылочную массу на другие страницы вашего сайта.

Хотя никогда не рекомендуется публиковать конфиденциальную информацию на своем веб-сайте, но иногда это случается.Блокировка этих URL-адресов через robots.txt говорит всем, кто его читает, что им следует взглянуть на эти страницы. Добавление «noindex» к метатегу robots убережет эту страницу от результатов поиска, не указав ее там, где ее можно найти.

Самая важная часть использования метатега robots — убедиться, что вы используете его правильно. Это не редкость, когда деиндексируется весь сайт, потому что кто-то случайно добавил тег noindex для роботов ко всему сайту. Поэтому понимание того, как работает метатег robots, абсолютно необходимо для SEO.

Информация об исключении роботов

Robot.txt предоставляют протокол, который поможет всем поисковым системам перемещаться по веб-сайту. Если вопросы соблюдения конфиденциальности или конфиденциальности являются проблемой, мы предлагаем вы определяете папки на своем веб-сайте, которые следует исключить из поиск. Используя файл robots.txt, эти папки можно сделать закрытыми. Следующее обсуждение роботов будет часто обновляться.

Робот Ultraseek уважает использование роботов.txt файл. Запуск по корневому URL-адресу, паук проходит по сайту на основе ссылок из этого корня. Файл robots.txt также поможет другим поисковым системам. просматривать ваш веб-сайт, исключая вход в нежелательные области.

Чтобы облегчить это, многие веб-роботы предлагают средства для администраторов веб-сайтов. и контент-провайдеры, ограничивающие деятельность роботов. Это исключение может быть достигается с помощью двух механизмов:

Протокол исключения роботов

Администратор веб-сайта может указать, какие части сайта следует не должны посещаться роботом, предоставив специально отформатированный файл на своем сайт в http: //…/robots.txt.

Файл robots.txt должен находиться в корневом каталоге. веб-сайта!

Пользовательский агент: *
Disallow: / cgi-bin /
Disallow: / test /
Disallow: / ~ dept /

В этом примере исключены три каталога.

Строка User-agent указывает, каким роботам разрешено входить в сайт. В этом случае * означает, что все роботы могут пройти. Ты нужна отдельная строка Disallow для каждого префикса URL, который вы хотите исключать; нельзя сказать «Disallow: / cgi-bin / / tmp /».
Кроме того, у вас может не быть пустых строк в записи, потому что они используются чтобы ограничить несколько записей. Пример файла robots.txt файл можно найти на сайте Bridges.

Мета-тег роботов

Веб-автор может указать, может ли страница быть проиндексирована или проанализирована на предмет ссылок с помощью специального тега HTML META.Тег выглядит как тот ниже и будет расположен с другими метатегами в области веб-страница

В теге META робота есть директивы, разделенные запятыми. В Директива INDEX указывает роботу индексирования проиндексировать страницу. Директива FOLLOW указывает робота для перехода по ссылкам на странице. И INDEX, и FOLLOW являются по умолчанию. Значения ALL и NONE включают или выключают все директивы: ALL = INDEX, FOLLOW и NONE = NOINDEX, NOFOLLOW.

Вот несколько примеров:

Для получения дополнительной информации о роботах посетите Страницы веб-роботов

как указать Google не индексировать страницу в поиске

… Сказать что ?!

Оставайтесь с нами, друзья мои. В этой статье объясняется, почему я могу удалить некоторые веб-страницы из SERPS (страниц результатов поисковых систем) и как это сделать.

Бывают случаи, когда вы хотите исключить веб-страницу или ее часть из сканирования и индексации поисковой системы.

Обычная причина для маркетологов — избегать индексации дублированного контента (когда поисковые системы проиндексировали несколько версий страницы, например, в версии для печати).

Еще один хороший пример? Страница с благодарностью (то есть страница, на которую посетитель переходит после конверсии на одной из ваших целевых страниц). Обычно здесь посетитель имеет доступ к любым предложениям, пропущенным на целевой странице, например к ссылке на электронную книгу в формате PDF.

Вот как выглядит страница благодарности для нашей электронной книги с советами по SEO, например:

Вы хотите, чтобы все, кто попадает на ваши страницы благодарности, попали туда, потому что они уже заполнили форму на целевой странице — не потому, что они нашли вашу страницу с благодарностью в поиске.

Почему нет? Потому что любой, кто найдет вашу страницу с благодарностью в поиске, может перейти непосредственно к вашим предложениям по привлечению потенциальных клиентов — без необходимости предоставлять вам свою информацию для заполнения формы захвата лидов. Любой маркетолог, понимающий ценность целевых страниц, понимает, насколько важно захватите этих посетителей как потенциальных, прежде чем они смогут получить доступ к вашим предложениям.

Заключение: Если ваши страницы с благодарностью легко обнаружить с помощью простого поиска в Google, возможно, вы оставляете на столе ценных потенциальных клиентов.

Что еще хуже, вы можете даже обнаружить, что некоторые из ваших страниц с самым высоким рейтингом по некоторым из ваших длинных ключевых слов могут быть вашими страницами с благодарностью — это означает, что вы можете пригласить сотни потенциальных клиентов, чтобы обойти ваши формы захвата лидов. Это довольно веская причина, по которой вы хотите удалить некоторые из своих веб-страниц из поисковой выдачи.

Итак, как вы делаете «деиндексирование» определенных страниц из поисковых систем? Вот два способа сделать это.

Вариант 1: добавить файл Robots.txt на свой сайт.

Используйте это, если: вы хотите больше контролировать то, что вы деиндексируете, и имеете необходимые технические ресурсы.

Один из способов удалить страницы поисковой системы — это добавить на сайт файл robots.txt. Преимущество использования этого метода заключается в том, что вы можете лучше контролировать то, что вы разрешаете индексировать ботам. Результат? Вы можете заранее предотвратить нежелательный контент из результатов поиска.

В файле robots.txt вы можете указать, хотите ли вы блокировать ботов с одной страницы, всего каталога или даже одного изображения или одного файла.Существует также возможность предотвратить сканирование вашего сайта, но при этом позволить объявлениям Google AdSense работать, если они у вас есть.

При этом из двух доступных вам вариантов этот требует более технического кунг-фу. Чтобы узнать, как создать файл robots.txt, прочтите эту статью Инструментов Google для веб-мастеров.

Здесь вы можете узнать, как установить файл robots.txt на свой веб-сайт, а также узнать, как настроить содержимое файла Robots.txt здесь.

Если вам не нужен полный контроль над файлом robots.txt и вы ищете более простое и менее техническое решение, тогда этот второй вариант для вас.

Вариант № 2: Добавьте -tag и / или «nofollow» -tag.

Используйте, если: вам нужно более простое решение для деиндексации всей веб-страницы и / или деиндексированных ссылок на всей веб-странице.

Использование тега для предотвращения появления страницы в поисковой выдаче — и / или ссылок на странице — легко и эффективно. Это требует лишь небольшого количества технических ноу-хау — на самом деле, это действительно просто копирование и вставку, если вы используете правильную систему управления контентом.

Теги, которые позволяют делать это, называются «и» nofollow. «Прежде чем мы узнаем, как добавить эти теги, давайте определим и различим их. В конце концов, это две совершенно разные директивы, и их можно использовать отдельно или бок о бок.

Что такое » ярлык?

Когда вы добавляете на веб-страницу тег «, он сообщает поисковой системе, что, хотя она может сканировать страницу, она не может добавить страницу в свой поисковый индекс.

Таким образом, любая страница, содержащая директиву», не будет быть введенным в поисковый индекс поисковой системы и, следовательно, не может отображаться на страницах результатов поисковой системы.

Что такое тег «nofollow»?

Когда вы добавляете на веб-страницу тег «nofollow», он не позволяет поисковым системам сканировать ссылки на этой странице. Это также означает, что какой-либо авторитетный рейтинг страниц в поисковой выдаче не будет передан страницам, на которые он ссылается.

Таким образом, на любой странице с директивой nofollow все ссылки будут игнорироваться Google и другими поисковыми системами.

Когда бы вы использовали «noindex» и «nofollow» по отдельности или вместе?

Как я уже сказал, вы можете добавить директиву «отдельно» или с директивой «nofollow».Вы также можете добавить одну директиву nofollow.

Добавьте только тег «: «, если вы не хотите, чтобы поисковая система индексировала вашу веб-страницу в поиске, но вы хотите, чтобы он перешел по ссылкам на этой странице — dЭто дает рейтинг другим страницам, для которых Ваша страница ссылается.

Платные целевые страницы являются ярким примером. Вы не хотите, чтобы поисковые системы индексировали целевые страницы в поиске, за просмотр которых люди должны платить, но вы можете захотеть, чтобы страницы, на которые они ссылаются, имели его авторитет.

Добавьте только тег «nofollow»: , если вы хотите, чтобы поисковая система проиндексировала вашу веб-страницу в поиске, но вы не хотите, чтобы они были », — она ​​переходит по ссылкам на этой странице.

Примеров, когда вы добавляете тег «nofollow» на всю страницу без добавления тега «nofollow», не так уж и много. или без тега nofollow.

Добавьте одновременно «и» nofollow: , если вы не хотите, чтобы поисковые системы индексировали веб-страницу в поиске, и вы не хотите, чтобы они переходили по каким-либо ссылкам на этой странице.

Страницы с благодарностями — яркий пример такого рода ситуаций. Вы не хотите, чтобы поисковые системы индексировали вашу страницу с благодарностью, и вы не хотите, чтобы они перешли по ссылке на ваше предложение и начали индексировать содержание этого предложения.

Как добавить тег «и / или» nofollow «

Шаг 1: Скопируйте один из следующих тегов.

Для»:

Для «nofollow»:

Для «» и «nofollow» «:

Шаг 2: Добавьте тег в раздел HTML вашей страницы, также известный как заголовок страницы.

Если вы являетесь клиентом , это очень просто — щелкните здесь или прокрутите вниз, чтобы получить инструкции для пользователя.

Если вы не являетесь клиентом , вам необходимо вручную вставить этот тег в код своей веб-страницы. Не волнуйтесь — это довольно просто. Вот как это сделать.

Сначала откройте исходный код веб-страницы, которую вы пытаетесь деиндексировать. Затем вставьте весь тег в новую строку, чтобы уточнить раздел HTML-кода вашей страницы, называемый заголовком страницы.Скриншоты ниже помогут вам в этом.

Тег означает начало вашего заголовка:

Вот тег-тег для двух «noindex» и «nofollow», вставленных в заголовок:

Бум! Вот и все. Этот тег указывает поисковой системе развернуться и уйти, оставив страницу вне результатов поиска.

Клиенты: Добавить теги «noindex» и «nofollow» еще проще. Все, что вам нужно сделать, это открыть инструмент на странице, где вы хотите добавить эти теги, и выбрать вкладку «Настройки».

Затем прокрутите вниз до раздела «Дополнительные параметры» и нажмите «Изменить заголовок HTML». В появившемся окне вставьте фрагмент соответствующего кода. В приведенном ниже примере я добавил теги «теги» и «nofollow», так что это страница с благодарностью.

Нажмите «Сохранить», и вы в золоте.

Ta Da!

Вы волшебным образом удалил вашу страницу из результатов поисковой системы. Теперь вы можете снова начать собирать больше потерянных потенциальных клиентов.

Теперь имейте в виду, что вы не увидите результаты сразу.Ваши изменения вступят в силу только в следующий раз, когда поисковая система просканирует вашу страницу. В зависимости от того, как часто вы обычно публикуете новые страницы на своем веб-сайте, это может занять несколько недель. Чем чаще вы публикуете контент, тем больше поисковых систем будет сканировать ваш сайт. Лучший способ отслеживать, как часто Google посещает ваш веб-сайт, — это просматривать статистику сканирования. в Инструментах Google для веб-мастеров.

Заключение: если вы заметили, что ваша страница все еще отображается в результатах поиска Google, даже с тегом «, это, вероятно, потому, что Google не сканировал ваш сайт с тех пор, как вы добавили тег.Вы можете попросить Google снова просканировать вашу страницу, используя Fet ch в качестве инструмента Google.

Также обратите внимание, что некоторые сканеры поисковых систем могут интерпретировать эти правила иначе, чем Google. Поэтому возможно, что ваша страница все еще появляется в результатах исследований других авторов. Но для Google это будет нормально — как только он начнет сканировать ваш сайт. Если вам интересно узнать больше о том, как поисковые системы сканируют, индексируют и обслуживают контент, пройдите наш курс SEO.

В любом случае вы сможете поспать немного легче, зная, что вы наконец-то сделали свой веб-сайт лучшим местом для маркетинга.

Какие еще советы вы можете дать по деиндексированию веб-страниц, и будут ли они полезны при этом для маркетологов? Поделитесь своими мыслями в комментариях.

Электронный маркетинг, несомненно, является мощной стратегией для привлечения потенциальных клиентов и удержания клиентов. Конечно, создать маркетинговую кампанию по электронной почте непросто, и вам может потребоваться создать шаблон. используя HTML, чтобы вы не создавали и не редактировали каждое новое электронное письмо с нуля.Благо их десятки …

Как юридически слепой женщине мне потребовались годы, чтобы …

Если ваша продуктовая команда работает над следующей важной задачей, должна быть не менее отличная стратегия продвижения, чтобы донести информацию до общественности. Хотя некоторые компании виноваты в написании пресс-релизов, скрещивают пальцы и надеются, что придут пользователи, на самом деле это гораздо больше.Все очень просто …

Объединяя членов команды и разные команды, сотрудники вашего бизнеса могут работать вместе, создавая увлекательный опыт, который вдохновляет потенциальных клиентов на конверсию и сохранение лояльности к вашему бренду. Пример процесса, в котором этот тип сотрудничества только улучшает вашу способность превращать потенциальных клиентов в лояльных клиентов.

Как маркетолог электронной почты в блоге, один из основных показателей, которые я использую для измерения успеха электронной почты, — это процент открытий, когда процент открытий высок, это означает, что ваша тема сделала свою работу по привлечению читателей, вы отправляете электронные письма в наиболее привлекательных время суток, или ваши подписчики с нетерпением ждут вашего контента в th…

За последние пару лет вы, вероятно, много слышали о кибербезопасности, и, как и многие большие, серьезные концепции, кажется, что иногда это разыгрывается над нашими головами — территория огромных конгломератов и правительств или, может быть, ваша ИТ отдел. И, скажем прямо, не особо интересно …

Вы когда-нибудь выполняли малоизвестный поиск в Google и удивлялись тому, что поисковая система всегда возвращает такие точные результаты? Вы можете поблагодарить RankBrain за это….

Десять лет назад SEO-стратеги во всем мире следовали относительно схожему процессу. Шаг первый, проведите исследование ключевых слов. Шаг второй: напишите эти ключевые слова случайным образом в тексте страницы примерно пять миллиардов раз. И третий шаг — занять первое место по этому ключевому слову. Ненавижу с тобой разговаривать, но больше …

Хороший лидер всегда должен… Как окончание этой фразы может многое рассказать о вашем стиле лидерства.Лидерство — это подвижная практика. Мы постоянно меняем и улучшаем способы поддержки наших прямых подчиненных и роста бизнеса. И чем дальше мы идем, тем больше вероятность того, что мы изменимся …

По данным Career Builder, 40% рекрутеров ищут сопроводительное письмо при рассмотрении заявок. Но если бы вам приходилось листать сотню сопроводительных писем в день, и каждое начиналось: позиция цифрового маркетинга в вашем бизнесе «Насколько важны вы бы их оценили? Сопроводительное письмо может не всегда…

Возможно, вы потратили последний квартал на SWOT-анализ своих маркетинговых усилий и определение ваших приоритетов по мере развития вашего бренда. Возможно, вы даже разработали всю свою маркетинговую стратегию — хорошо знать, каковы ваши цели, и иметь полное представление о том, как вы собираетесь их достичь. …

Когда вы пытаетесь увеличить количество подписчиков в Instagram, вы полагаетесь на страницы исследования и хештега, чтобы расширить свою аудиторию и охват.Так что это может быть более чем обескураживающим, когда внезапно кажется, что ваш контент нигде не отображается. Если вы чувствуете, что ваши посты внезапно получают меньше лайков и комментариев …

Мета-теги могут использоваться для увеличения видимости веб-сайта в поисковых системах, поэтому они, несомненно, важны для SEO, с другой стороны, они могут негативно повлиять на рейтинг вашего сайта в SEO, если они плохо написаны.Давайте узнаем, что такое метатеги, почему они важны для SEO и как поддерживать …

Мы все были там: вы бездумно прокручиваете веб-страницы, нажимаете на различные ссылки в Google, социальных сетях или других сайтах, как вдруг вам не позволяют продолжить поиск из-за кода ошибки HTTP.