Как запретить индексацию сайта в поиске
Хорошо отлаженная схема продвижения в интернете работает так: если веб-страница быстро и эффективно индексируется поисковыми системами, она оперативно появляется в результатах поиска. Это напрямую способствует росту и развитию бизнес-проекта. Зная это, SEO-специалисты прилагают максимальные усилия, чтобы веб-ресурс попал в индекс, стал узнаваемым, популярным, обласканным аудиторией и роботами.
Но в некоторых случаях можно наблюдать обратную ситуацию, когда владельцы, админы стремятся закрыть сайт от индексации. Предлагаем подробнее рассмотреть, причины, побуждающие запретить индексацию сайта, а также приемы, позволяющие это сделать.
Зачем ограничивать индексацию сайта в поисковиках
Появление созданного веб-ресурса или новой страницы в поиске происходит не сразу: сперва они должны быть проиндексированы поисковыми системами. Только потом сведения о «новичках» поступает в базу данных поисковиков и ресурсы начинают отображаться на платформах Яндекса, Гугла.
Люди в интернете должны видеть только страницы, содержащие необходимый, интересный для них контент. Они доступны для поиска, индексации. Но все веб-ресурсы включают в себя файлы для внутреннего пользования (документация, файлы, внутренние линки, различная служебная информация). Они больше рассчитаны на разработчиков, админов, чем на обыкновенных пользователей. Попадание подобной информации в процедуру ранжирования затруднило бы поиск, отразилось на юзабилити площадки.
Распространить запрет можно не только на часть данных: есть возможность закрыть от индексации целый сайт. Это важно, когда идет разработка веба, она еще не закончена, проводится обновление контента, дизайнерского решения и т. д. Для этого существует несколько основных причин:
- Потеря определенного места в поиске. Служебные файлы не предназначаются для общего просмотра, они не несут полезности обывателю, поэтому поисковики могут рассматривать их как «мусор», это приводит к понижению позиций в выдаче.
- Выполнение требований к уникальности. Если проводится тестирование веб-ресурса на другом домене, то рекомендуется запретить сайт для индексации, в ином случае материал будет восприниматься роботами как дублированный.
- Возможность ускорить ранжирование полезного контента. Для любой веб-площадки поисковиками выделяется определенный краулинговый бюджет – лимитированные объемы для анализа. Поэтому желательно, чтобы выделяемые ресурсы были использованы для полезного материала.
- Вред юзабилити. В случае, если веб-страницы еще «сырые» и в них вносятся изменения, лучше запретить сайт для индексации, чтобы боты не понизили позиции веба из-за падения юзабилити.

Основные способы запрета индексации
Закрыть сайт от индексации — значит убрать его или определенные сегменты из поисковой выдачи. Запрет индекса осуществляется несколькими основными способами.
Использование файла robots.txt
Robots.txt является служебным файлом, с помощью которого формируются запреты для поисковых машин, имеющих дело с определенными веб-ресурсами. Он подсказывает ботам, что именно им следует анализировать, а какие страницы запретили для индекса.
Robots.txt, закрывая ресурсы от сканирования, помогает оптимизировать траты краулингового бюджета путем сокрытия материалов, которые могут быть полезны исключительно узкому кругу специалистов, обслуживающих, модернизирующих онлайн-площадку.
Файл robots.txt располагается в корневой папке веб-сервера, доступ к нему можно получить по линку типа namesite.ru/robots.txt.
Если приводить в пример Яндекс, то среди всех там имеющихся ботов нам будет интересен YandexBot. Именно с ним взаимодействуют, чтобы закрыть сайт от индексации. Для этого следует перейти в robots.txt, прописать директиву Disallow. Она запретит поисковику посещение некоторых страниц или целых категорий. Можно скрыть от индекса:
- дублированный контент;
- различные логи;
- страницы с чувствительной информацией;
- PDF-документы;
- материал в разработке;
- личные данные посетителей, подписчиков.
Иными словами, посредством robots.txt можно запретить ранжировать полностью онлайн-площадку, папку, различные файлы, выборочный контент, линк, даже отрывок текста.
Метатег noindex для страниц и разделов
Метатег ориентирован на взаимодействие со страницами определенных рубрик веб-ресурса, запрещая поисковикам их индексировать. При необходимости закрыть от индекса некоторые страницы, категории, следует прописать в
HTML-кода robots с указанием noindex. Использование этой директивы не позволит определенным страницам отражаться в поисковых результатах. Если требуется запретить к показу раздел, метатег указывают в HTML на всех pages этого кластера.Настройки запрета индексации в админке CMS
Чтобы закрыть сайт от индексации, например, в ВордПресс, необходимо:
- зайти в панель админа;
- кликнуть на «Настройки», далее сделать переход в «Чтение»;
- поставить галочку в checkbox рядом с фразой о просьбе не индексировать поисковыми системами;
- нажать кнопку, сохраняющую изменения.
После проведенных манипуляций CMS сама сделает редакцию robots.txt. Однако, следует учесть, что подобный подход имеет рекомендательный характер. Как он сработает, будет зависеть от определенной поисковой системы.
Как скрыть отдельные элементы или текст от поисковиков
Если понадобилось скрыть от роботов какую-то часть текста, какие-либо другие элементы, нужно добавить SEO-тег
<noindex>любой элемент страницы, который необходимо запретить для индекса </noindex>
В данном случае нельзя путать данный СЕО-тег с одноименным мета-тегом. Последний ориентирован на работу со страницами, а данный – с частью кода.
Можно воспользоваться и другим вариантом – применить noscript:
<noscript>текст, который следует скрыть </noscript>
Но есть нюанс. Директива дает возможность запрещать поисковику ранжировать выбранную часть, а также скрывать ее непосредственно от пользователей (если обозреватель применяет JavaScript).
Поможет частично скрыть сайт от индексации атрибут rel=«nofollow». Он работает по ссылочной массе.
Если существует уверенность, что имеющиеся линки переадресовывают посетителей на полезные, надежные площадки, проблем не возникает. Но зачастую визитеры, подписчики могут оставить нежелательные ссылки. При этом поисковики не сортируют их по принципу «нужно/не нужно», ранжируют все подряд. В этом случае применение данного атрибута, запрещающего индексировать ссылки, оправданно. Такой подход помогает нацелить пауков на важные линки, спрятав все ненужное.
Заключение
Взаимодействие веба и поисковиков – процесс, покрытый дымкой таинственности, у каждой поисковой системы свои правила, тонкости. Зачастую сложно заранее понять, сможет ли владелец закрыть сайт от индексации. Рекомендуется применять различные методы, потом проверять результаты на специальных сервисах (Вебмастер от Яндекса, GSC от Google).