Сколько сайтов деиндексируется в результате Google апдейтов? Моё исследование на основе открытых данных

Это исследование родилось, когда я готовилась к докладу на конференции ITSConf со своим материалом по трендам в IT-маркетинге в конце декабря 2024 года. Один из блоков естественным образом был посвящён волатильности выдачи Google и его апдейтам. И в процессе сбора и анализа информации у меня в очередной раз возник вопрос: а каков же на самом деле масштаб деиндексации?

В этой небольшой статье не будет чётких и выверенных ответов на данный вопрос. Но будут интересные цифры, которые могут навести каждого из нас на определённые мысли или обратить внимание на источники, позволяющие извлекать дополнительную информацию из стандартных отчётов.

Шаг №1. Отчёт originality.ai

Во время сбора информации первым делом, конечно, на глаза попалось громкое исследование от сервиса originality.ai, которое было проведено в период мартовского апдейта Google в 2024 году. Исследований такого характера и масштаба в принципе немного, поэтому материал получился заметным и обсуждаемым. Команда сервиса зафиксировала трафик 79 000 сайтов до апдейта (в феврале 2024 года), а затем — повторно проверила их наличие в выдаче после обновления.

Оказалось, что около 1 500 сайтов были деиндексированы, что составляет примерно 2% от общего количества попавших в эксперимент сайтов.

Полторы тысячи в рамках Google — немного. Но если масштабировать эту долю на всё информационное поле интернета, которое насчитывает миллиарды сайтов, то в гипотетической пропорции речь может идти о миллионах ресурсов.

По словам Гэри Иллиса, в декабрьском выпуске подкаста Search Off The Record за 2023 год он сообщил, что поисковая система ежедневно проверяла около четырёх миллиардов хостов на наличие файла robots.txt.

Читать далее

Источник: SEO на Хабрахабре