Как отследить, попала ли статья в поисковую выдачу

Nikolay Vengerenko Nikolay Vengerenko
Обновлено:
Время прочтения:  8  мин.
3070
0

Главный источник трафика информационных сайтов — поисковые системы. Роботы сканируют содержимое страниц, добавляют их в базу, и через время пользователи видят их в результатах поиска. В этой статье разбираемся, как проверить индексацию и ускорить её. Отдельно разберём распространённые проблемы, которые мешают появлению URL в выдаче.

Как отследить, попала ли статья в поисковую выдачу

Важность индексации

Алгоритм ранжирования в поисковиках — сложная технология, которая спрятана в цифровом Форт-Ноксе. Все знают, что она существует, но точно неизвестно, как работает виртуальный механизм. 

Есть неочевидные вещи, о которых забывают многие веб-мастера в попытках повлиять на ранжирование. Чтобы на сайте появился трафик, страницы с полезным контентом должны присутствовать в базе поисковых систем. Большинство сайтов без проблем индексируются и привлекают быстроботов. Круто, если статьи доступны аудитории Google и Яндекса через считанные минуты после публикации. Переходы и хорошие поведенческие факторы повлияют на ранжирование, и статья может закрепиться на верхних строчках выдачи, даже когда волшебство быстрого робота закончится. 

Как проверить индексацию в поисковых системах

Страницы попадают в индекс после того, как маленькие помощники поисковых систем заходят в «гости» и нет причин не добавлять страницу в базу. 

Есть 4 простых способа проверить индексацию:

  1. Вставить URL в поисковую строку.
  2. Использовать оператор site:domain.ru и название статьи.
  3. Запустить поиск по куску текста. 
  4. Использовать оператор url:адрес статьи. 
Проверка индексации по оператору url:адрес статьи

В поисковых системах есть блок настроек, которым мало кто пользуется. С помощью фильтров можно узнать, сколько статей попали в индекс за месяц. Относитесь к этим данным критично. Страницы часто вылетают из поиска и через время возвращаются снова. Поэтому надо смотреть не только дату попадания в базу Яндекса и Google, но и дату публикации.

Просмотр даты попадания страницы в базу

Инструменты для проверки индексации

Выдача поисковых систем не всегда даёт правильную информацию. Лучше воспользоваться удобными решениями, которые точно покажут, когда роботы заходили на страницу в последний раз и почему не добавили её в индекс. 

Search Console и Yandex Webmaster

Консоли для веб-мастеров есть у Яндекса и Google. Они отличаются дизайном, структурой и возможностями, но задача у двух инструментов одинаковая — дать владельцу сайта возможность управлять важными параметрами. 

В «Яндекс Вебмастер» под индексирование выделено отдельное меню. В нём доступна статистика обхода, список страниц в поиске, структура категорий, мониторинг важных страниц и файлы sitemap. 

Для быстрой проверки индексации найдите инструмент «Проверить статус URL», вставьте адрес и нажмите жёлтую кнопку. 

Инструмент «Проверить статус URL»

В Google возможностей меньше. Для проверки адреса вставьте его в верхнюю строку и дождитесь обработки данных. 

Проверка адреса в Google

В табах отображается дополнительная информация, которая помогает выявить проблемы с индексацией

  • последнее сканирование;
  • разрешение на индексацию;
  • каноническая страница.

Если инструменты для веб-мастеров не устраивают, можно воспользоваться специальными решениями, которые проверяют наличие статей в базе Яндекса и Google. Вариантов много: сервисы, расширения для браузеров, десктопные программы. 

Arsenkin Tools

Популярный сервис, которым активно пользуются SEO-специалисты. На бесплатном тарифе можно проверить 200 страниц на индексацию в Яндексе. Доступ к Google открывается только после оплаты подписки.

Сервис Arsenkin Tools
  • Плюсы: выгрузка отчётов в формат Excel, 200 лимитов в день.
  • Минусы: длительная обработка данных. 
  • Стоимость: зависит от тарифа.

Попробовать →   

Rush-Analytics

Сервис работает по принципу облака. Создаёте задачу, настраиваете параметры и ждёте окончания сбора данных. 

Сервис Rush-Analytics
  • Плюсы: выбор региона и языка в Google, 200 бесплатных лимитов, импорт адресов из sitemap, проверка индексации в real-time, автоматическое удаление дубликатов. 
  • Минусы: после использования тестовых лимитов надо платить. 
  • Стоимость: зависит от тарифа.

Попробовать →   

Как массово проверить индексацию

Для небольших сайтов с периодическим обновлением контента вполне хватит ручной проверки индексации. Если страниц много, новые материалы появляются каждый день, проверяйте данные ежедневно.

Netpeak Checker

Десктопная программа с 14-дневным триалом от известного digital агентства Netpeak — комбайн для SEO-задач. 

Проверка индексации — одна из сотни встроенных опций. Добавляете список URL-адресов, запускаете проверку и ждёте результат. Если страница есть в базе напротив адреса появится значение «true». 

Десктопная программа с 14-дневным триалом от известного digital агентства Netpeak
Источник
  • Плюсы: хранение данных в проекте, поддержка 4 поисковых систем.
  • Минусы: высокая стоимость, нужны XML-лимиты, прокси и антикапча.
  • Стоимость: лицензия на год стоит 182 доллара. Покупать её стоит только если будете использовать другие модули софта. Для проверки индексации лучше пользоваться Rush-Analytics или аналогом. 

Попробовать →   

Что влияет на индексацию

Веб-мастера, которые занимаются созданием и продвижением информационных сайтов, должны знать, как работает механизм индексации, и что влияет на попадание страницы в базу. Новичкам и опытным пригодятся официальные рекомендации Яндекса и Google по этому вопросу. 

Страница попадает в индекс после того, как поисковый робот посещает её, загружает копию на сервер и алгоритм определяет, что нет причин для отказа в индексации. 

Есть 3 условия, которые влияют на попадание страницы в базу поисковиков:

  • она должна быть доступна для индексации;
  • робот должен её посетить;
  • робот должен посчитать страницу важной. 

Если краулер зашёл на сайт, и страница не появилась в индексе, надо проверить её на проблемы, устранить их и отправить URL-адреса на переобход. Если ошибка не связана с глобальными неполадками поисковых систем, значит дело в сайте. 

Поисковики прямо говорят, что не все страницы попадут в выдачу и будут ранжироваться по тематическим запросам. Резервы дата-центров Яндекса и Google огромные, но у них есть ограничения. Недавно Яндекс сильно сократил количество адресов в результатах поиска — с 1000 до 250. Раньше страниц было 100, а теперь только 25. Пресс-служба поисковой системы сказала, что после серии исследований специалисты приняли решение не показывать результаты дальше 25 страницы. 250 сайтов хватит для решения задач пользователей. 

Gосле серии исследований специалисты приняли решение не показывать результаты дальше 25 страницы

В нишах с высокой конкуренцией придётся бороться не только за ТОП-10, но и за попадание статьи в 250 доступных адресов. Индексация — важный компонент для успешного развития сайта и наращивания поискового трафика. 

Формула успеха: полезный контент + соблюдение рекомендаций поисковых систем = profit.

Факторы, ускоряющие индексацию

  1. Внутренние и внешние ссылки. Поисковые системы часто посещают главные страницы сайтов и особо ценят URL с высокой посещаемостью. Если на новую статью не будет ссылок с главной или sitemap, роботы её не найдут.
  2. Перелинковка. Многие веб-мастера в новых статьях ссылаются на старые. Не забывайте линковать старые статьи с новыми. 
  3. Социальные сети. Упоминания в социальных сетях всегда считались важными. 3-4 года назад с помощью Твиттера можно было «загнать» в индекс практически любую страницу. 
  4. Обновление контента. Если на сайте каждый день появляется 3-4 полезных статьи, есть шанс привлечь быстророботов. 

Популярный миф о том, что настройка AMP и Turbo ускоряет индексацию, разрушен ещё в 2018 году. Google сканирует и добавляет в базу AMP-страницы с такой же скорость, как и обычные. Более того, внедрение технологий быстрой загрузки не влияет на ранжирование. 

Разница в механизме индексации поисковиков

Важно понять, что Google и Яндекс — две разные поисковые системы. У них свои факторы ранжирования и особенности продвижения. 

Принцип добавления новых URL в базу поисковиков мало чем отличается, но разница в количестве проиндексированных страниц может отличаться в десятки раз. Это связано с тем, что поисковики по-разному взаимодействуют с контентом сайта и директивами в robots.txt. Google часто игнорирует robots и хорошо воспринимает тег content=”noindex”. 

Полнота индекса в поисковых системах может сильно отличаться. Если страница проиндексирована в Яндексе, нет гарантий, что она попадёт и в Google. Владельцам крупных порталов надо познакомиться с понятием краулинговый бюджет. Это количество адресов на сайте, которое может просканировать бот Google. Если страницы однотипные, в выдачу попадёт только часть из них. 

Как «загнать» страницу в индекс

2-3 года назад страницы сайтов, у которых не было быстробота, попадали в выдачу Яндекса с каждым новым апдейтом. Иногда данные обновлялись раз в неделю, иногда раз в месяц. Веб-мастера следили за новостями на тематических форумах и обменивались наблюдениями. В то время Яндекс серьёзно отставал от Google в плане индексации. Сейчас ситуация выровнялась, и в некоторых случаях поисковик с российскими корнями добавляет страницы в базу быстрее. 

В конце прошлого года у Google были серьёзные проблемы с индексацией. Добавленные адреса пропадали из выдачи, новые появлялись очень медленно. В данный момент на SEO форумах никто не поднимает панику, значит ситуация стабилизировалась. 

Консоли веб-мастеров

Самый простой способ «загнать» статью в индекс — стандартные инструменты поисковиков для владельцев сайтов. 

В «Яндекс Вебмастере» в разделе «Индексирование» найдите пункт «Переобход страниц». Вставьте в поле до 20 адресов, которые робот должен обойти повторно или впервые и нажмите на кнопку «Отправить». Когда YandexBot посетит URL, статус поменяется на «Робот обошёл». После этого страница попадёт сначала в промежуточную базу, а после апдейта — в основную. 

Страница попадает сначала в промежуточную базу, а после апдейта — в основную

Присмотритесь к инструменту «Мониторинг важных страниц». В него можно добавить 20 самых важных страниц. Если есть статьи, которые собирают больше всего трафика долгие годы — соберите их в этом интерфейсе и будете получать уведомления о любых изменениях. 

Инструмент «Мониторинг важных страниц»

В Google механизм добавления страницы в очередь на индексацию отличается. Откройте Search Console, вставьте адрес в верхнее поле и дождитесь загрузки данных. Если URL не в индексе, нажмите кнопку «Запросить индексирование». От запроса до попадания в базу проходит от нескольких минут до нескольких дней.

Google: механизм добавления страницы в очередь на индексацию

В Яндексе маленький дневной лимит на переобход страниц, а в Google каждый адрес надо вставлять вручную. Владельцам крупных порталов с пользовательским контентом не обойтись без специальных инструментов, которые могут ускорить индексирование. Почти все они ориентированы на Google. 

Webmaster bot

Популярный Телеграм-бот для SEO-задач. За копейки выгружает данные из Ahrefs, SEMrush и добавляет страницы в индекс Google. 

Популярный Телеграм бот для SEO-задач
  • Плюсы: индексация в течение суток, нативный интерфейс. 
  • Минусы: инструменты часто недоступны.
  • Стоимость: 1 рубль за URL. 

Попробовать →  

Плагин Indexer

Расширение для Yandex Browser и Chrome. Разработчик узнал, что если посетить любую страницу с браузера Яндекса, то на неё обязательно зайдёт YandexBot и проиндексирует. Автор протестировал плагин для индексации страниц сомнительного качества и Indexer показал себя хорошо. Если будете пробовать, обязательно вставляйте ссылки с протоколом http / https.

Расширение для Yandex Browser и Chrome
  • Плюсы: высокая скорость, настройка таймера, нет ограничения по количеству адресов. 
  • Минусы: только под Яндекс.
  • Стоимость: бесплатно.

Попробовать →  

IndexGator

Сервис ускоряет индексацию контента ссылками с Twitter и LiveJournal. В базе 2000 аккаунтов Twitter и столько же профилей «ЖЖ».

Сервис IndexGator
  • Плюсы: поддержка Яндекса и Google, низкая цена.
  • Минусы: медленная техподдержка, нет бесплатных лимитов. 
  • Стоимость: от 0,3 до 1 рубля за URL. 

Попробовать →  

В сети есть упоминания о сервисе IndexMe. Не рекомендуем им пользоваться, автор скрипта получал все отправленные адреса. После того, как веб-мастера обнаружили слив данных, разработчик устранил проблему. Безопасность инструмента под большим сомнением. 

Как страницу удалить из индекса

Поисковые системы часто добавляют в базу адреса, которые заблокированы в robots.txt. От них лучше избавиться, чтобы оставить только страницы с полезным контентом. Есть несколько способов удаления URL-адресов из индекса: закрыть от краулеров, сделать редирект или воспользоваться инструментами в консолях для веб-мастеров. 

В Яндексе страницы можно удалить из меню «Инструменты». Дневной лимит 500 адресов, реализована поддержка массового импорта. Google в этом плане сильно уступает по удобству. Складывается ощущение, что поисковая система специально усложняет жизнь веб-мастерам. 

В Яндексе страницы можно удалить из меню «Инструменты»

Google недавно обновил структуру Search Console. Список запросов на временное удаление контента доступен в одноименной вкладке. Для исключения страницы откройте меню и добавьте URL. С помощью префикса можно удалить все страницы категории или каталог товаров. Перед использованием модуля прочитайте справку. Если хотите избавиться от страницы навсегда воспользуйтесь рекомендациями Google. 

Удаление страницы в Google

Чек-лист: почему может не индексироваться страница

У информационных сайтов и блогов до 1000 страниц обычно нет проблем с индексацией. Трудности часто возникают у больших порталов с десятками тысяч URL-адресов. Особенно, если контент однотипный и отличается только геопривязкой. 

Что надо проверить:

  1. Доступность sitemap.xml.
  2. Наличие страницы в карте сайта.
  3. Посещение краулерами.
  4. Уникальность контента.
  5. Скорость загрузки.
  6. Наличие дублей.
  7. Вложенность страницы. 
  8. Внутренние ссылки.  
  9. Тег robots. 
  10. Ответ сервера.  
  11. Главное зеркало. 

Если у сайта много трафика и хороший профит, создайте проект в Топвизоре. Сервис каждый день проверяет индексацию страниц и присылает отчёты на почту или в Телеграм. Так вы будете в курсе событий и сможете разобраться с критическими ошибками. 

Проект сайта в Топвизоре

Импортировать список страниц можно из файла на компьютере или sitemap. Стоимость проверки зависит от тарифа, на минимальном 0,1 доллар за 100 страниц в одном поисковике. За 1081 URL из карты нашего блога сервис просит 4,32 доллара. 

Обязательно следите за индексацией нового контента и регулярно проверяйте наличие страниц в индексе. В идеале, количество URL-адресов в sitemap и выдаче должно совпадать.