Что делать, если хотите удалить сайт из поисковиков

Удаление информации с интернет-ресурса — рутинный процесс. Страницы теряют актуальность, и владелец бизнеса не хочет, чтобы пользователи видели. Из ассортимента уходят товары — и этому также не место на сайте. Проблемы с удалением в пределах интернет-ресурса возникают только при большом количестве перекрестных ссылок. С удалением из кеша поисковых систем гораздо сложнее. Google и Яндекс неохотно расстаются с уже проверенными страницами и выводят в поиск иногда в течение значительного времени. Кстати, схожие проблемы с обновлением метатегов страниц. Сайт информацию обновляет, а в поиске высвечиваются старые данные.

Обратите внимание, что некомпетентные люди считают позитивным методом полное удаление страниц, если возникла потребность в смене контента. Это недальновидно, потому что процедура удаления утомительна, длинна, а позиции URL будут потеряны.

Что удалять

Для начала опишем ситуации, когда требуется удаление страниц интернет-ресурса из поиска:

• содержание устаревшей информации о персональных данных;
• содержание дублированного или неуникального контента, что подтверждено поисковым ботом;
• наличие технических страниц, сохранившихся с этапа разработки;
• изменение прав доступа к странице;
• наличие удаленных товаров из каталога интернет-магазина;
• посадочные страницы прошедших рекламных кампаний;
• новостная информация для сайтов соответствующей тематики и проч.

Заметим, что для бизнес-продаж центральную роль играет актуальность каталога. Ведь если после окончания рекламной кампании или удаления товара из ассортимента, пользователи через поиск находят и заходят на интернет-ресурс, то испытывают разочарование. Оставлять товары, которые не планируется продавать с пометкой «Нет в наличии» не стоит, ведь пользователи, жаждущие приобретения, отслеживают состояние и ждут. Чем дольше ожидание, тем ниже репутация интернет-ресурса и больше отток клиентской базы.

Для урегулирования подобных ситуаций в наличии специальные механизмы связи с поисковыми системами, которые ускоряют анализ интернет-ресурса поисковым ботом. Это позволяет убрать из выдачи несуществующие станицы или оформлять редиректы на новые страницы взамен удаленных.

Первый шаг после чистки сайта

После того, как на сайте информация удалена или актуализирована, специалист проводит процедуру проверки поисковой информации. Только не стоит это делать сразу после удаления. Как бы не быстры механизмы, но вряд ли поисковая выдача поменяется за 5–10 минут.

Сразу отметим, что Яндекс и Google имеют различные алгоритмы выдачи, поэтому проверки выполняют отдельно друг от друга.

Проверка индексации

Логичный и доступный шаг — проверить наличие в Яндекс и Google. Для этого вводят полный адрес страницы (URL) в поисковую строку и смотрят в наличии ли отображение.

Специализированные механизмы

Для поиска страниц Google предоставляет сервис Index Coverege Report. Использование этого сервиса приводит на страницу Google Search Console, где вводите полный адрес искомой страницы. Если страница уже удалена, то появится сообщение «Это проблемная страница, которая не может присутствовать в поиске».

Яндекс также предоставляет инструмент: Яндекс.Вебмастер. Выбирете раздел «Индексация» и далее «Проверить статус URL». Будет выведен текущий статус.

Оператор site

Еще один метод, который используют пользователи — поиск с использованием оператора site. Не рекомендуем выполнять таким образом, т. к. механизм работы подразумевают выдачу всех подходящих страниц, в т. ч. помеченных перенаправлением или каноническим адресом. Статус отображения не соответствуют сути.

Удаление из Яндекс

Первым этапом редактируют файл robot.txt интернет-ресурса, с которого начинает проверку поисковый бот. Вносят требуемые изменения под директивой Disallow и сохраняют.

Второй шаг: настройка сервера. Вместо удаленной страницы настраивают отдачу ошибки 404.

Третий шаг: работа в упомянутом выше сервисе Яндекс.Вебмастер подраздел «Удалить URL». Сразу отметим, что компании необходимо предоставить права на использование доменного имени и доказать, что владеете интернет-ресурсом или признаны администратором. Указав страницы для удаления, остается только ждать.

В день процедура удаления из выдачи возможна для 500 URL.

Удаление из Google

Для работы с Google требуется не только подтвердить право владения или администрирования, но и завести учетную запись на сервисе Google Search Consol. После проведения удаления на интернет-ресурсе, под учетной записью составляют официальный запрос на удаление и ожидают рассмотрения.

Для экстренного удаления страницы используют механизм Google Search Console — «Инструмент удаления URL». В течение 24 часов страница из поиска исчезнет. Однако эта мера считается временной, через полгода страница будет возвращена, если не послано официальное прошение об удалении.

Плюс в том, что Google предоставляет вариант удаления из поисковой выдачи страниц сайтов, которые вам не принадлежат. Это актуально, если цель — удалить информацию персонального или конфиденциального характера. Для этого запрос составляют на ином сервисе — Google Removal Tool. В качестве входных данных служат подтверждения личности и владение опубликованным контентом.

Альтернативный, но частично устаревший способ

Долгое время использовался метод сокрытия страниц из результатов поисковой выдачи посредством тега <noindex>. Смысл заключен в проставлении тега в HTML-коде конкретных страниц. Этот тег призван заблокировать поисковому боту Яндекс и Google доступ к соответствующему контенту.

Метод универсальный, но, к сожалению, компания Google прекратила его поддерживать в 2019 году. Заметим, что Яндекс по этому пути продолжает работать.

Обходные пути

Если удалить информацию из поисковой выдачи быстро не удается, то в наличии ряд методик, чтобы обойти период отображения недоступных страниц.

Дизайн-заглушка

Контент на странице может устареть значительно, но это не повод сразу инициировать процедуру удаления. Впоследствии можно использовать вновь и облегчить набор поисковых позиций. В первую очередь это касается упомянутых выше посадочных страниц рекламных компаний. Естественно предположить, что возможно повторное использование с требуемой информацией.

Для реализации на страницах такого типа размещают разработанную дизайнером заглушку, которая замещает или скрывает изначальное содержимое. Например, для страницы ежегодной распродажи размещают таймер на год. В иных случаях — специализированные картинки в стилях интернет-ресурса с сообщением «Скоро здесь появится полезная информация».

Переадресация

Если страница интернет-ресурса имела вес, распиарена, знакома пользователям и поисковым ботам, то удалять напрямую — урон для позиций и репутации. Возможно повторное использование в качестве перевалочного пункта. В тегах текущей страницы настраивают переадресацию с использованием редиректов сервера 301 и 302. В этом случае страница или целиком скрывается от пользователей, переводя на иную, или предоставляется временный вариант, если планируете возвращать в дальнейшем. Редирект 302 подходит для временного удаления страниц товаров интернет-магазина, которые потенциально могут вернуться.

Соответствующие изменения вносят в системный файл .htaccess.

Ограничение доступа

Нередко возникают ситуации, когда страница не должна отображаться в поиске, а доступ в наличии у круга лиц. Например, у команды разработчиков или групп зарегистрированных пользователей.

Распространенный способ такого псевдоудаления для масс:

• ограничение по IP;
• доступ по специализированному паролю;
• механизм авторизации.

Страницы прописывают также в файле robots.txt.

Заключение

Удаление страниц варьируется в CMS, однако механизмы в Яндекс и Google универсальны. Различаются по сложности и скорости обработки, но, комбинируя варианты, добиваются приемлемой скорости удаления. Тем не менее, не рекомендуем в каждой ситуации браться за такой радикальный метод. В наличии масса вариантов повторного использования имеющихся URL для роста репутации и поисковых позиций.

Главное: поручать задачи удаления и перенастройки проверенным специалистам во избежание негативных для сайта последствий.

Интернет-агентство U-sl+Мирмекс объяснит тонкости и поможет провести процедуру удаления страниц для развития вашего интернет-ресурса и бизнеса.