Довольно часто встречаются ситуации, когда в поисковой выдаче появляются ссылки на удаленные ресурсы. Это негативно сказывается на авторитете сайтов. Возникновение подобных состояний следует исключить или, в крайнем случае, быстро купировать.
Почему возникают такие условия и как от них быстро избавиться, рассмотрим в этом материале.
Случай № 1. Страницы на сайте больше нет
Случай № 2. URL страницы изменился
Случай № 3. На несуществующие страницы ссылаются сторонние сайты
Случай № 4. В общий доступ попали конфиденциальные данные
Как удалить URL из поисковой базы Яндекс?
Как удалить URL из поисковой базы Google?
Для успеха в поисковом продвижении, надо содержать контент в порядке. Он должен быть полезным и актуальным.
Удаляйте устаревшие данные с сайта своевременно и добавляйте новые по мере пополнения ассортимента, разработки акций, бонусов, снижения цен.
Под данными мы подразумеваем текстовые материалы с изображениями и видеороликами и прикрепленные к ним файлы: текстовые документы в разных форматах, архивы, картинки и пр.
Вы запустили акцию, в рамках которой сильно снизили цену на какой-то товар. Его складской запас оказался недостаточным и быстро исчерпался. Но заявки продолжают поступать и отнимают дорогое рабочее время операторов.
Разместите на странице с несуществующим товаром предложение перейти на аналогичные или близкие по функционалу продукты.
На странице продукта, которого временно нет на складе приведите список похожих товаров. Это будет хорошей попыткой оставить клиента на сайте и продолжить шопинг.
Если страницу просто удалить ничего не предложив взамен, то все ее данные: текст, изображения, ссылки будут находится в поисковой базе Google и Яндекс еще долго — до следующего апдейта индекса, которые случаются не так часто, как хотелось бы. Все это время пользователи будут попадать на сообщение об отсутствующей странице. Это будет вызывать у них негодование и раздражение, и не пойдет на пользу сайту.
Изменение адреса страницы — довольно частая ситуация. Она может возникнуть не только вследствие покупки нового доменного имени, но и из-за того, что кто-то перенесет товар в другой раздел или изменит дату ее публикации.
Исключить подобное просто. Нужно попросить администратора сайта применить 301 редирект со старого адреса на новый. Если даже страница, статья или товар уже были проиндексированы в Google, а адрес пришлось изменить, то клиент не потеряется и попадет туда, куда вам требуется.
Эта ситуация похожа на предыдущую.
Кто-то по личной инициативе или по вашему заказу поделился ссылками на страницы вашего сайта, которых теперь уже нет или их адрес изменился.
Настройте мониторинг внешних ссылок в панели вебмастера и своевременно применяйте к удаленным URL 301 редирект или устанавливайте на них альтернативные товарные предложения.
В случае индексации страниц, содержащих личную или закрытую информацию, как можно скорее удалите эти данные с сайта или закройте к ним доступ. Как это сделать, мы опишем ниже.
В случаях №№ 1, 2, 3 посетители перейдут по «плохой» ссылке и наткнуться на страницу с 404 ошибкой. Чаще всего среднестатистический пользователь уходит с такого ресурса. Но если 404 страница оформлена правильно, то вы не потеряете клиента, а, может быть, приобретете нового покупателя.
Кроме сообщения, что «Страница не найдена или перенесена», добавьте на 404 красочные ссылки на самые популярные разделы. Разместите баннеры самых выгодных акций и бонусов. Так вы можете заинтересовать посетителя, который случайно не туда попал.
Иногда поисковики сами находят удаленные страницы и сообщают о них. Но на это требуется довольно длинный срок. Сообщите поисковикам средствами панели вебмастера о том, что на вашем ресурсе появились страницы, более неактуальные для пользователей — удаление их из индекса ускорится.
В интерфейсе Яндекс.Вебмастер предусмотрены все возможности для того, чтобы как можно быстрее удалить из индекса несуществующую, удаленную или перенесенную страницу.
Но для начала выполните на своем сайте несколько обязательных действий:
В robots.txt запретите к обходу роботами все «неправильные» страницы или группы страниц.
В случае, если robots.txt недоступен, воспользуйтесь соответствующим метатегом. Впишите его в код удаленной страницы.
Настройте ответ сервера: 404 — не найдена, 403 — доступ закрыт, 410 — удалена.
После этого в Яндекс.Вебмастер введите адреса страниц, которые были удалены.
За сутки Яндекс позволяет заявлять на удаление не более пятисот ресурсов. Но есть возможность не писать каждый адрес отдельно. Оцените удобство интерфейса добавления по префиксу. Добавьте каталог, раздел или весь сайт для того, чтобы поисковик удалил его из базы.
Отслеживайте статус поданных на удаление ресурсов. Для этого пройдите по пути «Инструменты» → «Удаление страниц из индекса».
Статусов у таких страниц несколько:
В очереди на удаление.
Удален.
Отколонен.
Во время сканирования сайта, краулер Яндекса сначала читает файл robots.txt, и только потом сами страницы. Чтобы сократить время обхода крупных сайтов, настройте файл robots.txt корректно. Для этого изучите наш материал «Правильная настройка robots.txt»
Также, как и в Яндекс, в Google удалить страницу можно через интерфейс Вебмастера. Ссылка «Временно скрыть» блокирует ресурс в поисковой выдаче на срок 3 месяца. До истечения этого срока вам необходимо принять решение об окончательном удалении страницы или возврате ее в индекс в обновленном виде. Нажмите на «Временно скрыть» и введите удаленный адрес. При вводе URL, регистр имеет значение. Если страница имеет дубли на зеркалах, то добавьте их адреса тоже.
После ввода адреса, вам предоставят выбор:
Временно исключить на 3 месяца.
Удалить из кеша. В этом варианте будет удалена только кешированная копия, а в поисковой выдаче страница останется на месте. После очередного обхода кешированная копия будет доступна в обновленном виде.
Удалить из поиска все адреса, которые подчиняются заданному вами правилу. Можно задать целые каталоги, разделы и целые сайты.
Чтобы удалить ресурсы из Google навсегда:
Удалите страницу и установите 404 или 410 ошибку сервера.
Установите метатег, запрещающий индексирование. Если запрещенный ресурс — это файл, то его надо просто удалить из каталога сайта.
Запарольте вход в запрещенный раздел. Так поступают с административными и закрытыми рубриками сайтов.
Файл robots.txt не является для Google чем-то авторитетным, но только рекомендацией, которую можно проигнорировать. Здесь приоритет у метатегов.
