Практическое руководство по настройке мгновенной индексации сайта в Яндекс, Google, Bing

Как сделать индексацию сайта практически мгновенной и автоматически передавать информацию о новом, изменившемся или удаленном контенте поисковым системам, мы расскажем в этой статье.

Как настроить InexNow

Для быстрого уведомления поисковых систем об изменениях на сайте в Bing и Яндекс применяют протокол с открытой лицензией.

Чтобы пользоваться быстрой индексацией, нужно зарегистрировать сайт в Bing Webmaster Tools (BWT). В рунете для некоторых ниш Bing предусмотрены конверсии и трафик.

Инструкция по настройке Bing и Яндекс (процесс одинаков для обоих поисковиков):

1. Сгенерировать ключ. Придумывается случайный набор символов в диапазонах 0 – 9, A – Z, a – z. Длина ключа должна быть не меньше 8 и не больше 128 символов.
2. Создать файл с ключом и положить в корень сайта. В кодировке UTF-8 создается txt файл. Вместо названия файла используем ранее сгенерированный ключ. В корневой каталог, где находятся все файлы сайта, загружаем новый файл. Этот файл должен быть доступен по адресу: https://site.ru/ваш ключ.txt. Этим подтверждаются права на сайт. Также можно разместить файл в определенной категории сайта. В этом случае, отправка запросов на быструю индексацию будет осуществляться для URL только из данной категории сайта.
3. Отправляем на индексацию URL в Яндекс и Bing, используя ссылки для этих поисковиков.

Кроме этого, сканирование через InexNow можно настроить с помощью плагинов популярных CMS:

• WordPress - IndexNow;
• 1С-Битрикс - Picom, Reindex;
• Moguta.CMS - IndexNow;
• UMI.CMS - IndexNow.

На приоритетную индексацию в одном запросе можно отдавать до 10 000 URL. Существующие страницы тоже лучше всего не отправлять, ведь они уже есть в индексе. В этом случае мощности поисковых систем будут использоваться нерационально.

Использование протокола InexNow не дает 100% гарантию попадания в индекс определенной страницы. Это только указывает поисковым роботам на приоритет индексирования URL. Что не отменяет требований к качеству контента и страницы.

У Яндекса с быстрым индексированием несколько лет назад были проблемы. Индексация новых страниц выполнялась слишком долго, также медленно через InexNow обновлялись существующие страницы. На сегодняшний день качественные страницы попадают в индекс Яндекс и Bing и начинают ранжироваться в течение суток.

Настройка Google Indexing API

Отправлять обновленные, новые или удаленные страницы на приоритетную индексацию в Google можно при помощи Indexing API. Этот способ работает быстрее, чем автоматическое обновление sitemap.xml. Google редко индексирует sitemap.xml на наличие изменений, и новые страницы могут не ранжироваться достаточно долго, иногда несколько месяцев.

Этапы настройки Indexing API:

1. Создаем сервисный аккаунт. Для этого потребуется перейти на Google Cloud Platform и нажать Create Project. Затем необходимо ввести название проекта , нажать на Create Service Account, предварительно выбрав Owner.
2. Получение JSON-ключа. В столбце Actions нажимаем на 3 точки и выбираем Manage keys, затем нажимаем последовательно Add key Create new key. После этого скачиваем файл с JSON-ключом.
3. Устанавливаем node.js. Выбираем приложение, подходящее под установленную операционную систему, и устанавливаем. После этого необходимо скачать с GitHub скрипт для массовой отправки URL через node.js. Открываем терминал или командную строку со скриптом (команда cd *полный путь до папки*) и выполняем 3 команды: npm install requests, npm audit fix, npm audit fix --force. Если все выполнено правильно в папке со скриптом появится папка node_modules.
4. Через Google Indexing API отправляем URL. Для этого нужно зайти в папку node_modules, открываем файл service_account.json и копируем в него JSON-ключ. Добавляем URL, которые хотим проиндексировать, в файл urls.txt. После этого открываем командную строку или терминал, переходим в папку (команда cd *полный путь до папки*) и выполняем команду: node index.js.

На индексацию URL можно отправлять через плагины CMS. Однако для этого все равно нужно будет создать JSON-ключ.

В Google квота составляет 200 URL в сутки или 100 URL единоразово. Также как и InexNow, Indexing API не гарантирует мгновенной индексации. Ставится высокий приоритет индексации для Googlebot и остается только ожидать, когда URL начнут ранжироваться.

Приоритетная индексация страниц вручную

В Яндекс.Вебмастер для отправки страниц на индексацию вручную необходимо перейти в «Индексирование» и нажать «Переобход страниц».

Для индексации страниц в GSC в верхнюю строку проверки URL вводится адрес и нажимается кнопка «Запросить индексирование».

В BWT нужно перейти в раздел «Отправка URL-адреса» и нажать «Отправить URL-адреса».

Преимущества от быстрой индексации сайта

К преимуществам можно отнести быстрое обновление контента и удаление ненужных URL. А также важные money-страницы индексируются очень быстро.

Сводятся к минимуму проблемы с определением сайта-первоисточника и воровством контента.

Первичное массовое добавление страниц в индекс поможет быстро нарастить или увеличить трафик из поисковых систем.