Практическое руководство по настройке мгновенной индексации сайта в Яндекс, Google, Bing
Как сделать индексацию сайта практически мгновенной и автоматически передавать информацию о новом, изменившемся или удаленном контенте поисковым системам, мы расскажем в этой статье.
Как настроить InexNow
Для быстрого уведомления поисковых систем об изменениях на сайте в Bing и Яндекс применяют протокол с открытой лицензией.
Чтобы пользоваться быстрой индексацией, нужно зарегистрировать сайт в Bing Webmaster Tools (BWT). В рунете для некоторых ниш Bing предусмотрены конверсии и трафик.
Инструкция по настройке Bing и Яндекс (процесс одинаков для обоих поисковиков):
- Сгенерировать ключ. Придумывается случайный набор символов в диапазонах 0 – 9, A – Z, a – z. Длина ключа должна быть не меньше 8 и не больше 128 символов.
- Создать файл с ключом и положить в корень сайта. В кодировке UTF-8 создается txt файл. Вместо названия файла используем ранее сгенерированный ключ. В корневой каталог, где находятся все файлы сайта, загружаем новый файл. Этот файл должен быть доступен по адресу: https://site.ru/ваш ключ.txt. Этим подтверждаются права на сайт. Также можно разместить файл в определенной категории сайта. В этом случае, отправка запросов на быструю индексацию будет осуществляться для URL только из данной категории сайта.
- Отправляем на индексацию URL в Яндекс и Bing, используя ссылки для этих поисковиков.
Кроме этого, сканирование через InexNow можно настроить с помощью плагинов популярных CMS:
- WordPress - IndexNow;
- 1С-Битрикс - Picom, Reindex;
- Moguta.CMS - IndexNow;
- UMI.CMS - IndexNow.
На приоритетную индексацию в одном запросе можно отдавать до 10 000 URL. Существующие страницы тоже лучше всего не отправлять, ведь они уже есть в индексе. В этом случае мощности поисковых систем будут использоваться нерационально.
Использование протокола InexNow не дает 100% гарантию попадания в индекс определенной страницы. Это только указывает поисковым роботам на приоритет индексирования URL. Что не отменяет требований к качеству контента и страницы.
У Яндекса с быстрым индексированием несколько лет назад были проблемы. Индексация новых страниц выполнялась слишком долго, также медленно через InexNow обновлялись существующие страницы. На сегодняшний день качественные страницы попадают в индекс Яндекс и Bing и начинают ранжироваться в течение суток.
Настройка Google Indexing API
Отправлять обновленные, новые или удаленные страницы на приоритетную индексацию в Google можно при помощи Indexing API. Этот способ работает быстрее, чем автоматическое обновление sitemap.xml. Google редко индексирует sitemap.xml на наличие изменений, и новые страницы могут не ранжироваться достаточно долго, иногда несколько месяцев.
Этапы настройки Indexing API:
- Создаем сервисный аккаунт. Для этого потребуется перейти на Google Cloud Platform и нажать Create Project. Затем необходимо ввести название проекта , нажать на Create Service Account, предварительно выбрав Owner.
- Получение JSON-ключа. В столбце Actions нажимаем на 3 точки и выбираем Manage keys, затем нажимаем последовательно Add key Create new key. После этого скачиваем файл с JSON-ключом.
- Устанавливаем node.js. Выбираем приложение, подходящее под установленную операционную систему, и устанавливаем. После этого необходимо скачать с GitHub скрипт для массовой отправки URL через node.js. Открываем терминал или командную строку со скриптом (команда cd *полный путь до папки*) и выполняем 3 команды: npm install requests, npm audit fix, npm audit fix --force. Если все выполнено правильно в папке со скриптом появится папка node_modules.
- Через Google Indexing API отправляем URL. Для этого нужно зайти в папку node_modules, открываем файл service_account.json и копируем в него JSON-ключ. Добавляем URL, которые хотим проиндексировать, в файл urls.txt. После этого открываем командную строку или терминал, переходим в папку (команда cd *полный путь до папки*) и выполняем команду: node index.js.
На индексацию URL можно отправлять через плагины CMS. Однако для этого все равно нужно будет создать JSON-ключ.
В Google квота составляет 200 URL в сутки или 100 URL единоразово. Также как и InexNow, Indexing API не гарантирует мгновенной индексации. Ставится высокий приоритет индексации для Googlebot и остается только ожидать, когда URL начнут ранжироваться.
Приоритетная индексация страниц вручную
В Яндекс.Вебмастер для отправки страниц на индексацию вручную необходимо перейти в «Индексирование» и нажать «Переобход страниц».
Для индексации страниц в GSC в верхнюю строку проверки URL вводится адрес и нажимается кнопка «Запросить индексирование».
В BWT нужно перейти в раздел «Отправка URL-адреса» и нажать «Отправить URL-адреса».
Преимущества от быстрой индексации сайта
К преимуществам можно отнести быстрое обновление контента и удаление ненужных URL. А также важные money-страницы индексируются очень быстро.
Сводятся к минимуму проблемы с определением сайта-первоисточника и воровством контента.
Первичное массовое добавление страниц в индекс поможет быстро нарастить или увеличить трафик из поисковых систем.