# Чек-лист GEO > Технические, контентные и репутационные шаги, чтобы ИИ-ассистенты — ChatGPT, Gemini, Google AI Mode, Perplexity, Copilot и Claude — находили ваш сайт, точно его описывали и ссылались на него. Для каждого пункта указаны приоритет, трудозатраты, уровень доказательности и способ проверки. Этот файл — Markdown-версия страницы . Откройте страницу, чтобы отмечать пункты и автоматически проверить сайт. Последняя проверка: 1 ноября 2026 г. ## Доступ поисковых ИИ-ботов Если боты, которые индексируют страницы или загружают их по запросу пользователей, не могут прочитать ваш сайт, ИИ-ответы не смогут на него сослаться. В этом разделе правила robots.txt проверяются для каждого бота отдельно. ### Отдавайте robots.txt с HTTP 200 как обычный текст Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Боты сначала читают robots.txt. Если он возвращает ошибку 5xx, многие краулеры, включая Google, временно считают весь сайт закрытым. **Как сделать:** 1. Убедитесь, что /robots.txt в корне возвращает 200 с типом text/plain. 2. Ограничьте любой редирект одним шагом. 3. Проверьте, что правила CDN и WAF не блокируют этот файл для ботов. **Как проверить:** curl -sI https://{site}/robots.txt должен возвращать HTTP 200 и Content-Type: text/plain. **Промпт для ИИ:** ```text Проверь https://{site}/robots.txt: какой код ответа, Content-Type, редиректы и размер файла он возвращает? Перечисли синтаксические ошибки и правила, которые случайно блокируют ботов, и предложи исправленную версию. ``` **Источники:** ### Разделите ботов по ролям: поиск, загрузка по запросу, обучение Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: SEO, Бизнес. **Почему это важно:** Провайдеры используют разные имена ботов для поиска, загрузок по запросу пользователя и обучения моделей. Если заблокировать их все разом, чтобы отказаться от обучения, вы исчезнете и из ИИ-поиска. **Как сделать:** 1. Составьте список официальных токенов ботов каждого провайдера. 2. Оставьте поисковых ботов и ботов загрузки по запросу разрешёнными ради видимости. 3. Примите отдельное бизнес-решение по ботам для обучения. 4. Реализуйте решения как отдельные группы User-agent в robots.txt. **Как проверить:** robots.txt явно разрешает OAI-SearchBot, Claude-SearchBot и PerplexityBot и содержит осознанное правило для GPTBot и ClaudeBot. **Промпт для ИИ:** ```text Прочитай https://{site}/robots.txt и классифицируй каждое правило для ИИ-ботов по роли (поисковый индекс, загрузка по запросу пользователя, обучение, реклама). Отметь правила, призванные ограничить обучение, но вредящие видимости в поиске, и составь robots.txt с разделением по ролям. ``` **Источники:** , ### Не блокируйте Googlebot: от него зависят AI Overviews и AI Mode Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: SEO. **Почему это важно:** Google не использует отдельного бота для своих ИИ-функций. Чтобы страница могла попасть в AI Overviews и AI Mode, её достаточно просканировать Googlebot и проиндексировать. **Как сделать:** 1. Убедитесь, что robots.txt разрешает Googlebot доступ к важным разделам. 2. Не блокируйте файлы CSS и JS. 3. Запустите живую проверку в инструменте проверки URL. **Как проверить:** Search Console \> Проверка URL \> проверка страницы на сайте сообщает «URL is available to Google» (URL доступен для Google). **Промпт для ИИ:** ```text Для {site} проверь по robots.txt и метатегам, может ли Googlebot сканировать ключевые страницы, страницы категорий и ресурсы CSS/JS. Объясни, какое правило может лишить страницы права на показ в AI Overviews или AI Mode. ``` **Источники:** ### Разрешите OAI-SearchBot: без него нет поиска ChatGPT Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** OAI-SearchBot индексирует страницы для результатов поиска ChatGPT. Заблокированные сайты в лучшем случае появляются лишь как навигационные ссылки, а изменения robots.txt вступают в силу примерно за 24 часа. **Как сделать:** 1. Добавьте в robots.txt группу User-agent: OAI-SearchBot. 2. Разрешите ключевые разделы и запрещайте только малоценные области. 3. Не блокируйте в WAF опубликованные диапазоны IP OpenAI. 4. Повторите проверку через 24 часа после изменения. **Как проверить:** curl -A "OAI-SearchBot" -sI https://{site}/ возвращает 200, а robots.txt не запрещает OAI-SearchBot. **Промпт для ИИ:** ```text Найди группу правил, которая применяется к OAI-SearchBot в https://{site}/robots.txt. Скажи, открыты ли для него главная страница, категории и контентные страницы, и напиши исправленные правила, если что-то его блокирует. ``` **Источники:** ### Не блокируйте ChatGPT-User на сервере Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** ChatGPT-User загружает страницу, когда пользователь просит об этом в диалоге. По словам OpenAI, правила robots.txt к нему могут не применяться, так что это не инструмент управления поиском, но блокировка в WAF оставит пользователя без ответа. **Как сделать:** 1. Проверяйте правила WAF и ограничения частоты запросов, а не robots.txt. 2. Добавьте диапазоны IP OpenAI из chatgpt-user.json в список разрешённых. 3. Убедитесь, что отдаётся реальный контент, а не страница блокировки. **Как проверить:** Логи сервера показывают, что запросы ChatGPT-User получают 200; доля 403/429 невелика. **Промпт для ИИ:** ```text Объясни пошагово, как проверить настройки robots.txt, WAF и ограничений частоты запросов на {site}, которые могут помешать ChatGPT-User загружать страницы, и приведи пример команды grep для такой проверки в журналах доступа. ``` **Источники:** ### Разрешите Claude-SearchBot для результатов поиска Claude Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Claude-SearchBot формирует индекс, который использует веб-поиск Claude. Его блокировка снижает частоту, с которой Claude может ссылаться на ваши страницы. **Как сделать:** 1. Добавьте в robots.txt группу User-agent: Claude-SearchBot. 2. Разрешите важные разделы. 3. При необходимости задайте разумный Crawl-delay — Anthropic его поддерживает. **Как проверить:** Тестер или парсер robots.txt помечает ключевые URL как разрешённые («allowed») для Claude-SearchBot. **Промпт для ИИ:** ```text Раздели правила в https://{site}/robots.txt, относящиеся к Claude-SearchBot, Claude-User и ClaudeBot. Если что-то мешает видимости в поиске Claude, напиши исправленные правила. ``` **Источники:** ### Позвольте Claude-User загружать страницы по запросу пользователя Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Claude-User загружает страницу, когда пользователь просит Claude её прочитать, и соблюдает robots.txt. Если он заблокирован, пользователи получают информацию о вас из вторичных источников. **Как сделать:** 1. Убедитесь, что ни одно правило robots.txt не блокирует Claude-User. 2. Оставьте опубликованный Anthropic список IP ботов разрешённым в WAF. 3. Проверьте, попросив Claude прочитать пример URL. **Как проверить:** Попросите Claude «прочитай и кратко изложи https://{site}/» — он должен пересказать реальную страницу. **Промпт для ИИ:** ```text Блокирует ли какое-либо правило в https://{site}/robots.txt Claude-User напрямую или через группу *? Если да, покажи точную строку и способ исправления. ``` **Источники:** ### Разрешите PerplexityBot, чтобы попасть в индекс Perplexity Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** PerplexityBot формирует индекс, на который Perplexity ссылается в ответах, и не используется для обучения моделей. Его блокировка лишь отнимает видимость. **Как сделать:** 1. Добавьте в robots.txt группу User-agent: PerplexityBot. 2. Оставьте диапазоны IP из perplexitybot.json разрешёнными в WAF. 3. После изменения проверьте брендовым запросом в Perplexity. **Как проверить:** Задайте Perplexity вопрос с «site:{site}» — ваши страницы должны появиться в источниках. **Промпт для ИИ:** ```text Проверь правила для PerplexityBot и Perplexity-User в https://{site}/robots.txt. Сообщи обо всём, что мешает Perplexity ссылаться на сайт, и предложи исправления. ``` **Источники:** ### Не заблокируйте Perplexity-User в WAF по ошибке Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Perplexity-User загружает страницу, когда пользователь об этом просит, и, по словам Perplexity, обычно игнорирует robots.txt. Точка контроля — WAF; лишние блокировки дают пользователям неполные ответы. **Как сделать:** 1. Проверьте список IP perplexity-user.json. 2. Оставьте эти запросы разрешёнными в правилах управления ботами. 3. Если хотите его заблокировать, сделайте это осознанно в WAF и задокументируйте. **Как проверить:** Подсчитайте коды ответа на запросы Perplexity-User в логах; доля 403 должна быть низкой. **Промпт для ИИ:** ```text Составь для {site} чек-лист, как выявить трафик Perplexity-User и убедиться, что WAF не блокирует его по ошибке, включая проверку списков IP и шаги анализа логов. ``` **Источники:** ### Разрешите Bingbot: на нём основаны ответы Bing и Copilot Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Bingbot наполняет поиск Bing и индекс, на который опирается Microsoft Copilot. Поскольку индекс Bing используют и другие продукты ИИ-поиска, блокировка стоит видимости сразу на нескольких поверхностях. **Как сделать:** 1. Убедитесь, что ни одно правило robots.txt не блокирует Bingbot. 2. Смотрите статус сканирования через проверку URL в Bing Webmaster Tools. 3. Если используете Crawl-delay, держите его низким. **Как проверить:** Bing Webmaster Tools \> URL Inspection показывает, что главная страница проиндексирована. **Промпт для ИИ:** ```text Проверь правила и Crawl-delay для Bingbot в https://{site}/robots.txt. Сообщи обо всём, что ограничивает видимость в Bing и Copilot. ``` **Источники:** ### Не блокируйте DuckAssistBot для ИИ-ответов DuckDuckGo Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** DuckAssistBot в реальном времени загружает страницы для ИИ-ответов DuckDuckGo со ссылками на источники; по словам DuckDuckGo, эти данные не используются для обучения ИИ-моделей. Изменения robots.txt вступают в силу примерно через 72 часа. Канал небольшой, но разрешить его ничего не стоит. **Как сделать:** 1. Убедитесь, что ни одно правило robots.txt не блокирует DuckAssistBot. 2. Проверьте, что общая группа \* не блокирует его косвенно. **Как проверить:** Парсер robots.txt помечает главную страницу как разрешённую («allowed») для DuckAssistBot. **Промпт для ИИ:** ```text Может ли DuckAssistBot, согласно https://{site}/robots.txt, сканировать главную и контентные страницы? Дай короткий ответ и при необходимости исправленное правило. ``` **Источники:** ### Не блокируйте MistralAI-User, MistralAI-Index и похожих ботов Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Ассистент Mistral использует MistralAI-User, который соблюдает robots.txt, для загрузки страниц по запросу пользователя и MistralAI-Index для построения поискового индекса. Ни один из них не используется для обучения; для этого есть отдельный краулер MistralAI-Training. **Как сделать:** 1. Убедитесь, что ни одно правило robots.txt или WAF не блокирует MistralAI-User и MistralAI-Index. 2. Примените решение об обучении к MistralAI-Training в отдельной группе. 3. Так же проверьте других ботов загрузки по запросу, например Meta-ExternalFetcher. **Как проверить:** Логи показывают, что запросы MistralAI-User и MistralAI-Index получают 200. **Промпт для ИИ:** ```text Объясни, как проверить, не блокируются ли такие боты, как MistralAI-User, MistralAI-Index и Meta-ExternalFetcher, через robots.txt или WAF на {site}, и напиши пример отдельного правила для MistralAI-Training. ``` **Источники:** , ### Публикуйте robots.txt на каждом поддомене Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** robots.txt действует только для хоста, на котором он отдаётся. Если у blog.{site} или shop.{site} нет файла или он возвращает ошибки, боты ведут себя там иначе. **Как сделать:** 1. Составьте список всех поддоменов и протоколов. 2. Убедитесь, что /robots.txt на каждом возвращает 200. 3. Применяйте одну и ту же политику для ботов во всех файлах. **Как проверить:** curl -sI https://\.{site}/robots.txt возвращает 200 для каждого поддомена. **Промпт для ИИ:** ```text Предположи типичные поддомены {site} (www, blog, shop, docs, help) и напиши shell-команду, проверяющую robots.txt на каждом. Объясни, как устранить найденные несоответствия. ``` **Источники:** , ### Учитывайте, что группы для конкретных ботов перекрывают общие правила Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Если у бота есть своя группа User-agent, он полностью игнорирует группу \*. Строки Disallow, не повторённые в его группе, к нему больше не применяются, а отсутствие строк Allow может привести к случайным блокировкам. **Как сделать:** 1. Читайте каждую специфичную группу отдельно. 2. Скопируйте нужные строки Disallow из общей группы в специфичные. 3. Проверяйте изменения парсером robots.txt. **Как проверить:** Проверьте примеры URL для каждого бота открытым парсером robots.txt от Google или инструментом тестирования. **Промпт для ИИ:** ```text Интерпретируй https://{site}/robots.txt по RFC 9309. Для каждой специфичной группы User-agent покажи в таблице, какие URL в итоге разрешены или заблокированы иначе, чем в группе *. ``` **Источники:** ## Боты для обучения и предпочтения использования Боты, собирающие данные для обучения моделей, управляются отдельно от видимости в поиске. Цель — не разрешить всё подряд, а принять по каждому осознанное и задокументированное решение. ### Примите осознанное решение: разрешить или заблокировать GPTBot Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Бизнес, SEO. **Почему это важно:** GPTBot собирает данные для обучения моделей OpenAI. Его блокировка не влияет на видимость в поиске ChatGPT, поэтому решение должно опираться только на лицензирование контента и предпочтения бренда. **Как сделать:** 1. Оцените пользу от присутствия в знаниях модели. 2. Зафиксируйте решение письменно. 3. Настройте группу User-agent: GPTBot в robots.txt в соответствии с ним. **Как проверить:** В robots.txt есть явная группа для GPTBot, а решение записано с датой. **Промпт для ИИ:** ```text Сравни плюсы и минусы разрешения и блокировки GPTBot для {site} в моей отрасли. Объясни, чем он отличается от OAI-SearchBot, и напиши пример robots.txt для каждого варианта. ``` **Источники:** ### Решайте по обучению ClaudeBot отдельно от поиска Claude Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Бизнес, SEO. **Почему это важно:** ClaudeBot собирает данные для обучения моделей Anthropic, а поиск Claude использует Claude-SearchBot. Раздельное управление позволяет задать предпочтение по обучению, не теряя видимости. **Как сделать:** 1. Решите, разрешать или блокировать ClaudeBot. 2. Оставьте Claude-SearchBot и Claude-User разрешёнными в собственных группах. 3. При необходимости ограничьте нагрузку через Crawl-delay. **Как проверить:** В robots.txt есть отдельные группы для ClaudeBot и Claude-SearchBot. **Промпт для ИИ:** ```text Проверь, влияет ли правило для ClaudeBot в https://{site}/robots.txt на Claude-SearchBot, и напиши пример, который блокирует обучение, но оставляет поиск открытым. ``` **Источники:** ### Решайте по Google-Extended, зная, что он не влияет на Поиск Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Бизнес, SEO. **Почему это важно:** Google-Extended — не краулер, а управляющий токен для использования контента в обучении и grounding в Gemini и Vertex AI. Он не меняет ранжирование в Поиске и видимость в AI Overviews или AI Mode. **Как сделать:** 1. Оцените ценность использования сайта как источника в приложениях Gemini. 2. Реализуйте решение через User-agent: Google-Extended в robots.txt. 3. Объясните команде, что это не может убрать вас из AI Overviews. **Как проверить:** Строка Google-Extended в robots.txt соответствует задокументированному решению. **Промпт для ИИ:** ```text Объясни для {site}, что Google-Extended контролирует и чего не контролирует (Поиск, AI Overviews, AI Mode), и дай мне короткое дерево решений. ``` **Источники:** , ### Решайте по Applebot-Extended, не блокируя Applebot Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Бизнес. **Почему это важно:** Applebot-Extended — токен, управляющий использованием вашего контента в ИИ-функциях Apple; сам он ничего не сканирует. Если вместо него заблокировать Applebot, вы исчезнете и из подсказок Siri и Spotlight. **Как сделать:** 1. Оставьте Applebot разрешённым. 2. Решите, разрешать или блокировать Applebot-Extended. 3. Зафиксируйте решение. **Как проверить:** robots.txt не блокирует Applebot и содержит осознанное правило для Applebot-Extended. **Промпт для ИИ:** ```text Проверь правила для Applebot и Applebot-Extended в https://{site}/robots.txt и отметь всё, что вредит видимости в Siri и Spotlight. ``` **Источники:** ### Примите решение по CCBot (Common Crawl) Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Бизнес. **Почему это важно:** Архив Common Crawl используется во многих конвейерах обучения моделей. Блокировка CCBot не пускает ваш контент в эти открытые датасеты, но не влияет на поисковых ботов. **Как сделать:** 1. Взвесьте плюсы и минусы присутствия в открытых датасетах. 2. Настройте группу User-agent: CCBot в robots.txt. **Как проверить:** В robots.txt есть осознанное правило для CCBot. **Промпт для ИИ:** ```text Объясни, как разрешение CCBot влияет на знания моделей и представление бренда для сайта вроде {site}, затем предложи подходящие строки robots.txt. ``` **Источники:** ### Решайте отдельно по Meta-ExternalAgent и Meta-ExternalFetcher Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Бизнес. **Почему это важно:** Meta-ExternalAgent сканирует сайты для ИИ-моделей Meta, а Meta-ExternalFetcher загружает страницы по запросу пользователя. Для видимости пользователям Meta AI достаточно оставить разрешённым второго. **Как сделать:** 1. Примите решение по обучению для Meta-ExternalAgent. 2. Не блокируйте Meta-ExternalFetcher. 3. Зафиксируйте решения. **Как проверить:** В robots.txt есть отдельные задокументированные правила для обоих ботов. **Промпт для ИИ:** ```text Проверь правила для ботов Meta в https://{site}/robots.txt и напиши пример, который блокирует краулер для обучения, но оставляет разрешённым бота загрузки по запросу. ``` **Источники:** ### Пропишите осознанное правило для Bytespider Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Новый стандарт. Роли: Бизнес. **Почему это важно:** Bytespider — краулер ByteDance для обучения моделей; по многочисленным сообщениям, он сканирует очень интенсивно и не всегда соблюдает robots.txt. Без отдельного правила к нему применяется общая группа \*. **Как сделать:** 1. Измерьте объём трафика Bytespider в логах сервера. 2. Решите, разрешать его или блокировать, и пропишите это в robots.txt. 3. При необходимости ограничьте частоту его запросов в WAF. **Как проверить:** Объём Bytespider в логах и его правило в robots.txt соответствуют задокументированному решению. **Промпт для ИИ:** ```text Напиши команду, чтобы найти и измерить трафик Bytespider в логах сервера {site}, затем порекомендуй настройки robots.txt и WAF. ``` ### Решайте по Amazonbot отдельно и оставьте Amzn-SearchBot открытым Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Бизнес. **Почему это важно:** По словам Amazon, контент, собранный Amazonbot, может использоваться для обучения ИИ-моделей Amazon. Поиск в продуктах Amazon, например в Alexa, опирается на Amzn-SearchBot, а загрузки по запросу пользователя — на Amzn-User. Блокировка Amazonbot эту видимость не убирает. **Как сделать:** 1. Оцените, насколько для вас важны канал Amazon и видимость в Alexa. 2. Оформите решение об обучении для Amazonbot отдельной группой в robots.txt. 3. Убедитесь, что Amzn-SearchBot и Amzn-User не заблокированы. **Как проверить:** В robots.txt есть осознанное правило для Amazonbot, и Amzn-SearchBot не заблокирован. **Промпт для ИИ:** ```text Объясни роли Amazonbot, Amzn-SearchBot и Amzn-User для {site} и предложи строки robots.txt, которые блокируют обучение, но сохраняют видимость сайта в поиске Amazon, например в Alexa. ``` **Источники:** ### Не блокируйте OAI-AdsBot, если размещаете рекламу в ChatGPT Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Бизнес. **Почему это важно:** OAI-AdsBot посещает только страницы, поданные как реклама, чтобы их проверить, и не используется для обучения. Если он заблокирован, посадочные страницы объявлений могут не пройти модерацию. **Как сделать:** 1. Проверьте, ведёте ли вы рекламные кампании в ChatGPT. 2. Оставьте пути посадочных страниц открытыми для OAI-AdsBot. **Как проверить:** robots.txt не закрывает посадочные страницы объявлений для OAI-AdsBot. **Промпт для ИИ:** ```text Может ли OAI-AdsBot, согласно https://{site}/robots.txt, попасть на посадочные страницы объявлений? Кратко объясни, что делает этот бот и что он не связан с обучением. ``` **Источники:** ### Знайте GoogleOther, Google-CloudVertexBot и Storebot-Google Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** GoogleOther выполняет исследовательские сканирования, Storebot-Google обслуживает торговые поверхности, а Google-CloudVertexBot сканирует сайт, только если владелец запросил это для Vertex AI Agents. Ошибочные блокировки могут нарушить товарные данные. **Как сделать:** 1. Выделите запросы этих ботов в логах. 2. Если у вас интернет-магазин, не блокируйте Storebot-Google. 3. Если вы не используете Vertex AI, трафика CloudVertexBot быть не должно; если он есть, проверьте его источник. **Как проверить:** Проверьте коды ответа для этих ботов в логах сервера; Storebot-Google должен получать 200. **Промпт для ИИ:** ```text Объясни, как выявить запросы GoogleOther, Storebot-Google и Google-CloudVertexBot в логах {site} и какой подход в robots.txt правильный для каждого. ``` **Источники:** ### Заявите предпочтения использования через Content Signals Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Новый стандарт. Роли: Бизнес, Разработка. **Почему это важно:** Политика Content Signals от Cloudflare выражает предпочтения search, ai-input и ai-train в robots.txt. Это не стандарт, и соблюдение не гарантировано, но она чётко фиксирует ваши намерения. **Как сделать:** 1. Определите предпочтения для search, ai-input и ai-train. 2. Добавьте строку Content-Signal в robots.txt. 3. Предупредите команду, что это не механизм контроля доступа. **Как проверить:** robots.txt содержит строку вида «Content-Signal: search=yes, ai-input=yes, ai-train=no». **Промпт для ИИ:** ```text Объясни, что означают сигналы search, ai-input и ai-train для {site}, предложи строку Content-Signal с учётом моих целей и опиши её ограничения. ``` **Источники:** , ### Следите за черновиком IETF AIPREF и аккуратно его опробуйте Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Новый стандарт. Роли: Разработка. **Почему это важно:** Рабочая группа IETF AIPREF разрабатывает заголовок Content-Usage и правило content-usage для robots.txt. Google в документации сообщает о планах поддержать предпочтение по обучению ИИ через user-agent \_\_usage\_ai-training в начале 2027 года. Стандартом это пока не стало. **Как сделать:** 1. Следите за последней версией черновика. 2. При желании экспериментально укажите своё предпочтение в robots.txt и HTTP-заголовке. 3. Обновите правило, когда стандарт будет утверждён. **Как проверить:** Есть заметка о мониторинге, а при применении curl -sI показывает заголовок Content-Usage. **Промпт для ИИ:** ```text Кратко опиши текущее состояние черновика IETF AIPREF и напиши для {site} экспериментальный заголовок Content-Usage и правило content-usage в robots.txt с указанием рисков. ``` **Источники:** , ### Задокументируйте политику для ботов с ответственным и датой пересмотра Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Новый стандарт. Роли: Бизнес, SEO. **Почему это важно:** Новые боты и правила появляются постоянно. Письменная политика не даёт релизу случайно заблокировать поисковых ботов и не позволяет забыть принятые решения. **Как сделать:** 1. Создайте таблицу с решением, обоснованием и ответственным по каждому боту. 2. Требуйте код-ревью для изменений robots.txt. 3. Назначьте ежеквартальную дату пересмотра. **Как проверить:** В вики команды есть датированная таблица политики для ботов, полностью совпадающая с robots.txt. **Промпт для ИИ:** ```text Создай для {site} шаблон таблицы политики для ИИ-ботов со столбцами: имя бота, провайдер, роль, решение, обоснование, ответственный и дата пересмотра. ``` ## Индексация и право на сниппет Google сообщает, что ИИ-функциям не нужна особая разметка: страница должна быть проиндексирована и допущена к показу сниппета. Этот раздел проверяет эти базовые условия. ### Не оставляйте noindex на важных страницах по ошибке Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка, SEO. **Почему это важно:** Страница с noindex не появляется ни в обычной выдаче, ни в AI Overviews и AI Mode. Оставшийся со staging noindex — самая частая причина потери видимости. **Как сделать:** 1. Просканируйте шаблоны на meta robots и заголовки X-Robots-Tag. 2. Добавьте проверку noindex в процесс релиза. 3. Просмотрите в Search Console статус «Excluded by noindex tag» (исключено тегом noindex). **Как проверить:** Ни curl -sI https://{site}/, ни исходный код страницы не содержат noindex. **Промпт для ИИ:** ```text Проверь теги meta robots и заголовки X-Robots-Tag на главной странице и ключевых шаблонах {site}. Перечисли страницы с noindex или none и предположи причину. ``` **Источники:** , ### Не ограничивайте цитирование через nosnippet или низкий max-snippet Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: SEO. **Почему это важно:** Google применяет nosnippet, max-snippet и data-nosnippet и к своим ИИ-функциям. Чрезмерные ограничения не дают использовать вашу страницу в ответах. **Как сделать:** 1. Найдите в шаблонах nosnippet и значения max-snippet. 2. Уберите лишние ограничения или используйте max-snippet:-1. 3. Оставляйте ограничения только там, где есть юридическая причина. **Как проверить:** В исходном коде страницы нет nosnippet; max-snippet, если задан, равен -1 или достаточно высок. **Промпт для ИИ:** ```text Проверь использование nosnippet, max-snippet, max-image-preview и data-nosnippet на страницах {site} и сообщи о настройках, которые без необходимости ограничивают цитирование в ИИ-ответах. ``` **Источники:** , ### Скрывайте чувствительные фрагменты через data-nosnippet, а не всю страницу Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка, SEO. **Почему это важно:** Чтобы скрыть небольшие части вроде юридического текста, не нужно ограничивать всю страницу. data-nosnippet убирает из сниппетов только помеченный элемент. **Как сделать:** 1. Определите части, которые нужно скрыть. 2. Добавьте к этим элементам атрибут data-nosnippet. 3. Уберите nosnippet на уровне страницы. **Как проверить:** В исходном коде data-nosnippet стоит только на нужных элементах span, div или section. **Промпт для ИИ:** ```text Какие части страниц {site} имеет смысл скрыть через data-nosnippet? Приведи пример HTML и объясни отличие от ограничений на уровне страницы. ``` **Источники:** ### Разрешите крупные превью изображений через max-image-preview:large Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** ИИ-ответы и поверхности вроде Discover могут использовать крупные превью изображений. При ограниченной настройке ваши изображения там будут мелкими или не появятся вовсе. **Как сделать:** 1. Добавьте \ в шаблоны. 2. Страницы без прав на использование изображений обрабатывайте отдельно. **Как проверить:** Исходный код страницы содержит max-image-preview:large. **Промпт для ИИ:** ```text Проверь значение max-image-preview в шаблонах {site} и кратко объясни, почему оно должно быть large. ``` **Источники:** ### Знайте и отслеживайте, сколько страниц проиндексировал Google Приоритет: Высокий приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: SEO. **Почему это важно:** Непроиндексированная страница не может быть источником для AI Overviews или AI Mode. Резкое падение числа проиндексированных страниц обычно первый признак технической проблемы. **Как сделать:** 1. Ежемесячно фиксируйте данные отчёта «Страницы» в Search Console. 2. Используйте отдельные карты сайта для ключевых шаблонов, чтобы отслеживать долю индексации. 3. Проверяйте статус «Crawled - currently not indexed» (просканирована, но пока не проиндексирована). **Как проверить:** В Search Console \> Индексирование \> Страницы ключевые карты сайта показывают долю индексации выше 90%. **Промпт для ИИ:** ```text Помоги интерпретировать отчёт «Страницы» в Search Console для {site}: какие причины исключения важны, какие нормальны и что исправлять в первую очередь? Предложи порядок проверок. ``` **Источники:** ### Проверьте охват в индексе Bing Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: SEO. **Почему это важно:** Индекс Bing служит основой для ответов Copilot и, по имеющимся данным, используется другими продуктами ИИ-поиска. Сайт, успешный в Google, может быть недоиндексирован в Bing. **Как сделать:** 1. Изучите Site Explorer и отчёты об индексации в Bing Webmaster Tools. 2. Отправьте недостающие URL или используйте IndexNow. 3. Исправьте ошибки сканирования. **Как проверить:** Bing Webmaster Tools \> Site Explorer показывает проиндексированные URL во всех ключевых разделах. **Промпт для ИИ:** ```text Подскажи, какие отчёты Bing Webmaster Tools использовать для диагностики проблем с индексацией {site} и как сравнить их с Google. ``` **Источники:** ### Используйте корректный абсолютный canonical на каждой странице Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка, SEO. **Почему это важно:** Тег canonical указывает, какой из нескольких дублирующих URL показывать. Неверный canonical может привести к выбору другого URL вместо страницы, которую вы хотите видеть в цитатах. **Как сделать:** 1. Добавьте на каждую страницу абсолютный canonical, ссылающийся на неё саму. 2. Направьте варианты и URL с параметрами на основную версию. 3. Убедитесь, что целевые URL canonical возвращают 200 и не закрыты noindex. **Как проверить:** В инструменте проверки URL Search Console canonical, указанный пользователем, совпадает с выбранным Google. **Промпт для ИИ:** ```text Проверь теги canonical на главной странице, странице категории и контентной странице {site}. Перечисли ошибки: относительные URL, цели с редиректом или с noindex. ``` **Источники:** ### Объедините варианты http, https, www и со слешем на конце Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Если одна и та же страница доступна по нескольким адресам, сигналы распыляются, а боты могут цитировать разные версии. **Как сделать:** 1. Выберите один предпочтительный хост и протокол. 2. Перенаправьте остальные варианты на него через 301. 3. Исправьте внутренние ссылки на предпочтительную версию. **Как проверить:** curl -sI http://{site}/ и https://www.{site}/ возвращают один шаг 301 на предпочтительный URL. **Промпт для ИИ:** ```text Напиши набор команд curl, проверяющих варианты {site} с http/https, www/без www и слешем на конце, и объясни правильные ожидаемые результаты. ``` **Источники:** ### Объедините дублирующиеся и малосодержательные страницы Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: SEO, Контент. **Почему это важно:** Тонкие страницы, повторяющие одну тему, расходуют краулинговый бюджет и мешают понять, какую страницу должна цитировать модель. Одну сильную страницу цитировать проще. **Как сделать:** 1. Найдите страницы с одинаковыми title или description. 2. Объедините контент в самой сильной странице. 3. Остальные перенаправьте через 301. **Как проверить:** Краулер сайта показывает почти ноль дублирующихся title и meta description. **Промпт для ИИ:** ```text Подготовь план сканирования {site} для поиска дублирующегося или малосодержательного контента: какие метрики использовать, какие страницы объединять и как настроить редиректы. ``` **Источники:** ### Не пускайте URL с параметрами и фильтрами в индекс Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка, SEO. **Почему это важно:** Параметры сортировки, фильтров и отслеживания могут порождать бесконечное число URL. Такие дубли расходуют краулинговый бюджет и приводят к цитированию не того URL. **Как сделать:** 1. Решите, какие комбинации фильтров заслуживают индексации. 2. Для остальных используйте canonical или правила robots.txt. 3. Не используйте параметры отслеживания во внутренних ссылках. **Как проверить:** Отчёт «Страницы» в Search Console показывает мало URL с параметрами; site:{site} inurl:? даёт мало результатов. **Промпт для ИИ:** ```text Составь для {site} таблицу, классифицирующую параметры URL (сортировка, фильтр, utm, сессия), и порекомендуй для каждого обработку через canonical, noindex или robots.txt. ``` **Источники:** ### Не допускайте индексации staging-сайтов и дублирующих доменов Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Если тестовые серверы или старые домены отдают копию вашего сайта, ИИ-ответы могут цитировать неверную или устаревшую копию. **Как сделать:** 1. Закройте staging-окружения паролем. 2. Перенаправьте старые домены на основной сайт через 301. 3. Регулярно ищите точные копии своего контента на других ресурсах. **Как проверить:** Поищите точное предложение с вашего сайта в кавычках — должен появиться только {site}. **Промпт для ИИ:** ```text Какие поисковые запросы и инструменты использовать, чтобы найти копии контента {site} на других доменах, staging-окружениях или сайтах-парсерах? Дай мне чек-лист. ``` ### Убедитесь, что официальный сайт первый по названию бренда Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Экспериментально. Роли: SEO. **Почему это важно:** Если официальный сайт не первый по брендовому запросу, поисковики и модели считают вашу сущность слабой или неоднозначной. Это переносится и в ИИ-ответы на вопросы о бренде. **Как сделать:** 1. Поищите название бренда в Google и Bing. 2. Если вы не на первом месте, усильте сигналы сущности. 3. Используйте описательное название сайта, отличающее вас от тёзок. **Как проверить:** https://{site}/ — первый органический результат по названию бренда в Google и Bing. **Промпт для ИИ:** ```text Перечисли причины (совпадение названий, недостаток сигналов сущности, технические проблемы), по которым официальный сайт может не быть первым по брендовым запросам {site}, и предложи исправления. ``` ## Сканирование и состояние сервера Когда боты получают ошибки, медленные или вводящие в заблуждение ответы, они сканируют меньше или пропускают ваши страницы. Этот раздел проверяет коды ответа, редиректы и согласованность. ### Отдавайте каждую страницу по HTTPS Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** HTTPS — сигнал доверия и ранжирования, а многие боты и агенты избегают небезопасных соединений. Смешанные протоколы к тому же создают дублирующиеся URL. **Как сделать:** 1. Установите действительный TLS-сертификат с автопродлением. 2. Перенаправляйте все HTTP-запросы на HTTPS через 301. 3. Добавьте заголовок HSTS. **Как проверить:** curl -sI http://{site}/ возвращает 301 на https, а сертификат действителен. **Промпт для ИИ:** ```text Проверь настройку HTTPS на {site}: действительность сертификата, редиректы с HTTP на HTTPS, заголовок HSTS и любые http-ссылки во внутренней навигации. ``` **Источники:** ### Не загружайте http-ресурсы на HTTPS-страницах Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Браузеры блокируют смешанный контент, поэтому если изображения или скрипты не загружаются, агенты и рендерящие боты видят неполную страницу. **Как сделать:** 1. Найдите в исходном коде значения src и href, начинающиеся с http://. 2. Переведите ресурсы на https или используйте относительные пути. 3. Добавьте Content-Security-Policy: upgrade-insecure-requests. **Как проверить:** Консоль Chrome DevTools не показывает предупреждений «Mixed Content». **Промпт для ИИ:** ```text Найди изображения, скрипты или таблицы стилей, загружаемые по http://, в исходном коде главной страницы {site} и объясни, как это исправить. ``` ### Держите долю серверных ошибок 5xx около нуля Приоритет: Высокий приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Боты, часто получающие ошибки 5xx, замедляют сканирование. Ассистенты, загружающие страницу по запросу пользователя, при ошибке отвечают без вашего контента. **Как сделать:** 1. Отслеживайте долю 5xx в статистике сканирования Search Console и логах сервера. 2. Найдите сбойные эндпоинты и временные окна. 3. Устраните проблемы с мощностями или кешированием. **Как проверить:** Search Console \> Настройки \> Статистика сканирования показывает долю ошибок сервера ниже 1%. **Промпт для ИИ:** ```text Напиши команду, которая группирует ответы 5xx на запросы ботов по user agent в логах сервера {site}, и объясни, как интерпретировать результаты. ``` **Источники:** , ### Возвращайте настоящие 404 или 410 для удалённых страниц, без soft 404 Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Страницы, которые показывают «не найдено», но возвращают 200, засоряют индекс как soft 404, а битые внутренние ссылки заводят ботов в тупик. **Как сделать:** 1. Проверьте, что несуществующий URL возвращает 404. 2. Исправьте список soft 404 в Search Console. 3. Обновите или перенаправьте внутренние ссылки, ведущие на 404. **Как проверить:** curl -sI https://{site}/no-such-page-xyz возвращает 404 или 410. **Промпт для ИИ:** ```text Составь для {site} план аудита, чтобы найти soft 404, битые внутренние ссылки и проиндексированные страницы 404, с указанием инструментов и полей отчётов. ``` **Источники:** ### Используйте одношаговые 301-редиректы для постоянных переездов Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Длинные цепочки редиректов заставляют ботов сдаваться и теряют сигналы. Временный 302 может оставить в индексе старый URL. **Как сделать:** 1. Найдите цепочки редиректов с помощью краулера. 2. Сведите каждую цепочку к одному 301 прямо на конечный URL. 3. Для постоянных переездов используйте 301 или 308, а не 302. **Как проверить:** curl -sIL https://{site}/old-url показывает не больше одного редиректа. **Промпт для ИИ:** ```text Предложи метод сканирования для поиска цепочек редиректов и лишних 302 на {site} и приведи примеры исправленных правил редиректа. ``` **Источники:** ### Используйте серверные редиректы вместо meta refresh и JavaScript Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Большинство ИИ-ботов не выполняют JavaScript и ненадёжно следуют meta refresh. Серверные редиректы понимает любой клиент. **Как сделать:** 1. Найдите в исходном коде http-equiv="refresh" и window.location. 2. Замените их серверными 301. **Как проверить:** Исходный код ни одной страницы не содержит http-equiv="refresh". **Промпт для ИИ:** ```text Объясни, как найти meta refresh или JavaScript-редиректы на {site} и превратить их в серверные 301. ``` **Источники:** ### Не размещайте важный контент внутри iframe Приоритет: Низкий приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Содержимое iframe — отдельный документ, и его часто не засчитывают странице-хосту, поэтому такие сведения, как таблицы цен или FAQ, не цитируются. **Как сделать:** 1. Составьте список использования iframe на страницах. 2. Перенесите важный текст в основной HTML-документ. 3. Дополните встроенные элементы вроде карт и видео текстом. **Как проверить:** На главной странице и страницах товаров и услуг важный текст не находится внутри iframe. **Промпт для ИИ:** ```text Есть ли на {site} важный контент внутри iframe? Предложи метод его поиска и объясни, как перенести его в основной HTML. ``` ### Не прячьте ключевую информацию в изображениях — пишите её текстом Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Контент, Разработка. **Почему это важно:** Модели ненадёжно читают текст на изображениях. Цены, характеристики или условия акций, существующие только в картинках, не попадут в ответы. **Как сделать:** 1. Составьте список важной информации в баннерах и инфографике. 2. Добавьте её на страницу в виде HTML-текста. 3. Напишите для изображений содержательный alt-текст. **Как проверить:** Прочитайте страницу со скрытыми изображениями — ключевая информация должна оставаться видна в виде текста. **Промпт для ИИ:** ```text Могут ли изображения на главной странице {site} содержать важную информацию, не продублированную текстом? Предложи метод аудита и пример преобразования. ``` **Источники:** ### Показывайте ботам и пользователям одинаковый контент Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Отдача разного контента в зависимости от user agent по правилам поисковых систем считается клоакингом и подрывает доверие. Специальные «оптимизированные» страницы для ИИ-ботов несут тот же риск. **Как сделать:** 1. Запросите один и тот же URL с user agent ботов и обычного браузера. 2. Сравните текст и цены. 3. Удалите код, меняющий контент при обнаружении бота. **Как проверить:** Основной текст и цены совпадают в ответе на curl -A "OAI-SearchBot" и в обычном браузере. **Промпт для ИИ:** ```text Напиши скрипт, который запрашивает один и тот же URL {site} с разными user agent (Googlebot, OAI-SearchBot, ClaudeBot, обычный браузер) и сравнивает контент, и объясни, как интерпретировать различия. ``` **Источники:** ### Мониторьте статистику сканирования и оповещайте о резких падениях Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: SEO, Разработка. **Почему это важно:** Резкое падение числа запросов на сканирование обычно следует за изменением robots.txt, WAF или сервера. Раннее обнаружение избавляет от недель потерянной видимости. **Как сделать:** 1. Еженедельно проверяйте отчёт «Статистика сканирования» в Search Console. 2. Отслеживайте ежедневные запросы каждого бота в логах сервера. 3. Настройте оповещение при падении объёма ниже порога. **Как проверить:** Search Console \> Настройки \> Статистика сканирования не показывает необъяснимых падений за последние 90 дней. **Промпт для ИИ:** ```text Спроектируй для {site} простой мониторинг, который извлекает из логов сервера ежедневное число запросов Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot и PerplexityBot и оповещает о падении на 50%. ``` **Источники:** ### Исключите малоценные разделы из сканирования Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка, SEO. **Почему это важно:** Результаты внутреннего поиска, корзина, страницы аккаунта и бесконечные комбинации фильтров расходуют краулинговый бюджет. Время ботов должно уходить на ценные страницы. **Как сделать:** 1. Определите шаблоны малоценных URL. 2. Заблокируйте их в robots.txt. 3. Проверьте, что заблокированные шаблоны не затрагивают важные страницы. **Как проверить:** Логи сервера показывают низкую долю запросов ботов к /search, /cart или URL с фильтрами. **Промпт для ИИ:** ```text Предположи шаблоны малоценных URL на {site}, которые не стоит сканировать (внутренний поиск, корзина, аккаунт, фильтры), и предложи правила robots.txt, не затрагивающие важные страницы. ``` **Источники:** ## Рендеринг и отдача HTML Многие ИИ-боты не выполняют JavaScript и читают только исходный HTML-ответ. Контент, ссылки и сведения о языке должны быть в этом первом ответе. ### Отдавайте основной контент без JavaScript Приоритет: Высокий приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Googlebot рендерит JavaScript, а большинство ИИ-краулеров и ботов загрузки по запросу — нет. Текст, загружаемый на клиенте, для них — пустая страница. **Как сделать:** 1. Откройте страницу с отключённым JavaScript или загрузите её через curl. 2. Убедитесь, что заголовки, основной текст и цены есть в исходном HTML. 3. Запланируйте серверный рендеринг для шаблонов, не прошедших проверку. **Как проверить:** curl -s https://{site}/ | grep "\<ваш основной заголовок\>" находит совпадение. **Промпт для ИИ:** ```text Загрузи главную и одну контентную страницу {site} без выполнения JavaScript. Есть ли в исходном HTML заголовки, основной текст, цены и ссылки? Перечисли, чего не хватает, и предложи исправления. ``` **Источники:** ### Используйте серверный рендеринг или статическую генерацию для ключевых шаблонов Приоритет: Высокий приоритет. Трудоёмкость: Проект. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** SSR или статическая генерация отдают ботам и агентам контент в первом же ответе. Одностраничные приложения, работающие только на клиенте, остаются невидимыми для ИИ-ботов. **Как сделать:** 1. В первую очередь займитесь шаблонами, приносящими трафик и выручку. 2. Выберите для них SSR, SSG или пререндеринг. 3. Убедитесь, что контент не меняется после гидратации. **Как проверить:** HTML, полученный через curl, содержит тот же основной текст, что и DOM, отрисованный в браузере. **Промпт для ИИ:** ```text Составь таблицу приоритетов, чтобы решить, каким шаблонам {site} нужен серверный рендеринг, и предложи варианты SSR или SSG под используемый стек. ``` **Источники:** ### Стройте меню и внутренние ссылки на настоящих элементах \ Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Боты переходят только по ссылкам с href. Меню, открываемые через onclick, или ссылки, генерируемые JavaScript, оставляют остальной сайт необнаружимым. **Как сделать:** 1. Проверьте ссылки главного меню, футера и пагинации в исходном HTML. 2. Замените навигацию через onclick на \. 3. Отрисовывайте мегаменю в исходном HTML. **Как проверить:** curl -s https://{site}/ | grep -c "\ ### Держите содержимое вкладок и аккордеонов в исходном HTML Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Содержимое вкладок, загружаемое с сервера по клику, невидимо для ботов. Тот же контент, скрытый в HTML, можно прочитать и процитировать. **Как сделать:** 1. Составьте список вкладок, аккордеонов и блоков «читать далее». 2. Отрисовывайте контент в исходном HTML и скрывайте его через CSS. 3. Уберите вызовы API, срабатывающие по клику. **Как проверить:** Текст в свёрнутых вкладках находится поиском в исходном HTML. **Промпт для ИИ:** ```text Предложи метод проверки, есть ли содержимое вкладок и аккордеонов на страницах товаров или услуг {site} в исходном HTML, и опиши необходимое изменение кода. ``` ### Указывайте \ с правильным кодом языка Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Объявление языка помогает моделям и поисковикам сопоставлять страницу с запросами на нужном языке. Оставленный на турецких страницах lang="en" — частая ошибка. **Как сделать:** 1. Проверьте значение \ в каждом шаблоне. 2. Для турецких страниц используйте lang="tr". 3. На многоязычных сайтах задавайте значение динамически по языку страницы. **Как проверить:** curl -s https://{site}/ | grep -o "\\]\*lang=\[^ \>\]\*" показывает правильный код языка. **Промпт для ИИ:** ```text Проверь значение html lang на страницах {site} и перечисли те, где оно не соответствует языку контента. ``` ### Объявляйте UTF-8 и корректно отдавайте символы вне ASCII Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Неверная кодировка ломает такие буквы, как ç, ğ, ı и ş; искажённый текст трудно понять, и его цитируют с ошибками. **Как сделать:** 1. Отправляйте charset=utf-8 в заголовке Content-Type. 2. Добавьте \ в начало HTML. 3. Убедитесь, что база данных и шаблоны используют UTF-8. **Как проверить:** curl -sI https://{site}/ показывает Content-Type: text/html; charset=utf-8. **Промпт для ИИ:** ```text Проверь кодировку {site} по HTTP-заголовку, метатегу и образцам контента. Если видишь искажённые символы, предположи причину. ``` ### Используйте семантические элементы HTML: main, article, nav, header, footer Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Семантические элементы отделяют основной контент от меню и рекламы, поэтому боты и агенты извлекают нужный текст, а дерево доступности становится понятнее. **Как сделать:** 1. Оберните основной контент в \ и \. 2. Обозначьте навигацию через \, а области страницы через \ и \. 3. Для табличных данных используйте \ и \. **Как проверить:** В исходном коде страницы один элемент \, а контентные страницы используют \. **Промпт для ИИ:** ```text Проверь HTML-структуру шаблона страницы {site}. Укажи области, свёрстанные на div, которые должны быть семантическими элементами, и предложи исправленный каркас. ``` ### Добавьте метатег viewport для мобильных устройств Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Google использует mobile-first индексацию; страница без viewport выглядит сломанной на мобильных и ослабляет сигналы качества. **Как сделать:** 1. Добавьте \. 2. Уберите настройки, запрещающие масштабирование. **Как проверить:** Исходный код страницы содержит тег viewport с width=device-width. **Промпт для ИИ:** ```text Проверь метатег viewport на страницах {site} и отметь настройки вроде user-scalable=no, вредящие доступности. ``` ### Отдавайте одинаковый контент на мобильных и десктопе Приоритет: Высокий приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка, SEO. **Почему это важно:** Google индексирует мобильную версию. Сокращённый текст, отсутствующие структурированные данные или скрытые разделы на мобильных отсутствуют и в ИИ-ответах. **Как сделать:** 1. Сравните мобильный и десктопный HTML. 2. Добавьте в мобильную версию недостающий текст, ссылки и структурированные данные. 3. Убедитесь, что CSS и JS не заблокированы на мобильных. **Как проверить:** В инструменте проверки URL Search Console просканированный мобильный HTML содержит основной текст и JSON-LD десктопной версии. **Промпт для ИИ:** ```text Напиши скрипт, который загружает одну и ту же страницу {site} с мобильным и десктопным user agent и сравнивает текст, ссылки и JSON-LD. ``` **Источники:** ## Карты сайта и быстрое обнаружение Карты сайта и протоколы мгновенного уведомления помогают ботам быстро находить новые и обновлённые страницы. ### Опубликуйте валидную XML-карту сайта Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Карта сайта сообщает ботам, какие URL важны и когда они менялись, ускоряя обнаружение глубоких страниц. **Как сделать:** 1. Создайте автообновляемый sitemap.xml средствами CMS или плагина. 2. Не превышайте 50,000 URL и 50 МБ на файл. 3. При необходимости используйте индексный файл карт сайта. **Как проверить:** https://{site}/sitemap.xml возвращает 200 и является валидным XML. **Промпт для ИИ:** ```text Проверь https://{site}/sitemap.xml: валиден ли XML, сколько в нём URL, является ли он индексом карт сайта и похоже ли, что он обновляется автоматически? ``` **Источники:** ### Укажите карту сайта в robots.txt Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** ИИ-боты, не использующие Search Console, обычно находят карту сайта через строку Sitemap в robots.txt. **Как сделать:** 1. Добавьте в robots.txt строку «Sitemap: https://{site}/sitemap.xml». 2. Для нескольких карт используйте по строке на каждую или индексный файл. **Как проверить:** robots.txt содержит строку Sitemap: с абсолютным URL. **Промпт для ИИ:** ```text Содержит ли https://{site}/robots.txt строки Sitemap с абсолютными URL, которые действительно возвращают 200? Проверь. ``` **Источники:** ### Обновляйте lastmod только при существенных изменениях Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Точный lastmod позволяет ботам в первую очередь пересканировать обновлённые страницы. lastmod, который ежедневно меняется у всех URL, считается ненадёжным и игнорируется. **Как сделать:** 1. Обновляйте lastmod только при изменении контента. 2. Используйте формат дат W3C. 3. Не обновляйте все даты при изменении шаблона. **Как проверить:** Значения lastmod в карте сайта различаются и совпадают с датами обновления на страницах. **Промпт для ИИ:** ```text Проверь значения lastmod в карте сайта {site}: одинаковы ли они все и совпадают ли с датами обновления на страницах? Если нет, предложи реализацию. ``` **Источники:** ### Включайте в карту сайта только канонические URL с ответом 200 Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка, SEO. **Почему это важно:** Страницы с редиректом, 404 или noindex снижают доверие к карте сайта и тратят время ботов. **Как сделать:** 1. Просканируйте все URL из карты сайта с кодами ответа. 2. Удалите URL с 3xx, 4xx и noindex. 3. Включайте только канонические URL. **Как проверить:** При проверке карты сайта краулером более 99% URL возвращают 200 и доступны для индексации. **Промпт для ИИ:** ```text Напиши скрипт, который проверяет коды ответа URL из карты сайта {site} и сообщает об URL, которые не возвращают 200, не являются каноническими или содержат noindex. ``` **Источники:** ### Разделите карты сайта по типам контента Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка, SEO. **Почему это важно:** Отдельные карты для товаров, категорий, блога и справки показывают в Search Console, в каком разделе проблемы с индексацией. **Как сделать:** 1. Создайте файл карты сайта для каждого типа контента. 2. Объедините их в индексный файл. 3. Отслеживайте каждую отдельно в Search Console. **Как проверить:** Search Console \> Файлы Sitemap показывает число отправленных и проиндексированных URL по каждому типу. **Промпт для ИИ:** ```text Предложи для {site} структуру карт сайта с разделением по типам контента и напиши пример индексного файла. ``` **Источники:** ### Отправьте карту сайта в Search Console и Bing Webmaster Tools Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: SEO. **Почему это важно:** Отправка карты сайта открывает отчёты об ошибках и индексации, и вы видите проблемы раньше ботов. **Как сделать:** 1. Отправьте её в разделе Search Console \> Файлы Sitemap. 2. Добавьте ту же карту в Bing Webmaster Tools. 3. Ежемесячно проверяйте предупреждения об ошибках. **Как проверить:** Статус карты сайта — «Success» (успешно) и в Search Console, и в Bing Webmaster Tools. **Промпт для ИИ:** ```text Напиши пошаговое руководство по отправке карты сайта {site} в Search Console и Bing Webmaster Tools и опиши отчёты, за которыми нужно следить после этого. ``` **Источники:** ### Мгновенно уведомляйте Bing и другие системы через IndexNow Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** IndexNow мгновенно сообщает участвующим поисковикам, таким как Bing, Yandex, Seznam, Naver и Yep, об изменённых URL. Google его не использует, но поскольку Bing питает Copilot, изменения могут быстрее попадать в ответы Copilot. **Как сделать:** 1. Создайте ключ IndexNow и разместите его в корне сайта. 2. Отправляйте уведомления при публикации, обновлении и удалении через интеграцию CMS или CDN. 3. Проверяйте отчёт IndexNow в Bing Webmaster Tools. **Как проверить:** https://{site}/\.txt возвращает ключ, а Bing Webmaster Tools \> IndexNow показывает отправки. **Промпт для ИИ:** ```text Объясни пошагово настройку IndexNow для {site}: файл ключа, пример API-запроса и какие события должны вызывать уведомление. Отметь, что Google не использует IndexNow. ``` **Источники:** , ## Производительность и Core Web Vitals Медленные страницы теряют и пользователей, и ботов, работающих с таймаутами. Этот раздел посвящён скорости, кешированию и весу ресурсов. ### Уложитесь в пороги Core Web Vitals: LCP, INP и CLS Приоритет: Высокий приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Google учитывает удобство страницы при ранжировании, а плохой пользовательский опыт в целом снижает шансы страницы стать источником для ИИ-ответов. Низкий CLS также не даёт агентным браузерам кликать не по тому элементу. **Как сделать:** 1. Найдите проблемные группы URL в отчёте Core Web Vitals в Search Console. 2. Предзагружайте элемент LCP и ускорьте ответ сервера. 3. Снижайте INP, разбивая длинные задачи JavaScript. 4. Снижайте CLS, резервируя фиксированное место под изображения и рекламу. **Как проверить:** Search Console \> Core Web Vitals не показывает групп URL со статусом «Плохо» на мобильных и десктопе. **Промпт для ИИ:** ```text Помоги интерпретировать результаты PageSpeed Insights для {site}: ранжируй вероятные причины проблем с LCP, INP и CLS и составь список исправлений по приоритету. ``` **Источники:** , ### Держите время ответа сервера (TTFB) ниже 800 мс Приоритет: Высокий приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** ИИ-ассистенты, загружающие страницы по запросу пользователя, работают с таймаутами в несколько секунд. Страницу, ответившую с опозданием, пропускают, а не включают в ответ. **Как сделать:** 1. Измеряйте TTFB из нескольких регионов. 2. Настройте кеширование страниц или на edge. 3. Сократите медленные запросы к базе данных и внешние вызовы. **Как проверить:** curl -o /dev/null -s -w "%{time\_starttransfer}\\n" https://{site}/ возвращает меньше 0,8 секунды. **Промпт для ИИ:** ```text Напиши curl-скрипт, измеряющий TTFB для разных типов страниц {site}, и перечисли вероятные причины и способы исправления для результатов выше 800 мс. ``` **Источники:** ### Отдавайте изображения в WebP или AVIF нужного размера Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Крупные изображения — самая частая причина медленного LCP. Современные форматы значительно уменьшают размер файла при том же качестве. **Как сделать:** 1. Конвертируйте изображения в WebP или AVIF. 2. Отдавайте нужный размер для каждого экрана через srcset. 3. Добавьте атрибуты width и height. **Как проверить:** PageSpeed Insights не показывает потенциальной экономии в разделе «Improve image delivery». **Промпт для ИИ:** ```text Проверь формат, размер и использование srcset у изображений на главной странице {site} и предложи три оптимизации с наибольшей отдачей. ``` **Источники:** ### Используйте ленивую загрузку только для изображений вне экрана, не для текста Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** loading="lazy" экономит трафик на изображениях вне экрана. Применённый к главному изображению или текстовому контенту, он задерживает LCP и может скрыть контент от ботов. **Как сделать:** 1. Добавьте loading="lazy" к изображениям вне экрана. 2. Уберите ленивую загрузку с главного изображения на первом экране. 3. Не размещайте текст в компонентах, загружаемых при прокрутке. **Как проверить:** Раздел «LCP request discovery» в PageSpeed Insights не отмечает отложенную загрузку LCP-изображения. **Промпт для ИИ:** ```text Проверь использование loading="lazy" на страницах {site} и отметь ошибочное применение к изображениям первого экрана или текстовому контенту. ``` **Источники:** ### Минифицируйте JS и CSS и включите сжатие Brotli или gzip Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Сжатие и минификация уменьшают объём передаваемых данных, и боты с пользователями получают страницу быстрее. **Как сделать:** 1. Включите минификацию JS и CSS при сборке. 2. Включите Brotli, а как запасной вариант gzip, на сервере или CDN. 3. Удалите неиспользуемые CSS и JS. **Как проверить:** curl -sI -H "Accept-Encoding: br,gzip" https://{site}/ показывает Content-Encoding: br или gzip. **Промпт для ИИ:** ```text Напиши команды для проверки сжатия и минификации ответов HTML, CSS и JS на {site} и предложи настройки сервера для всего, чего не хватает. ``` ### Используйте продуманные заголовки Cache-Control и CDN Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Хорошие правила кеширования ускоряют повторные запросы ботов и пользователей и снижают нагрузку на сервер. CDN уменьшает задержку для запросов из разных регионов. **Как сделать:** 1. Для статических ресурсов используйте длинный max-age и версионированные имена файлов. 2. Для HTML используйте короткое кеширование или stale-while-revalidate. 3. Отдавайте контент через CDN и следите за долей попаданий в кеш. **Как проверить:** curl -sI https://{site}/ показывает продуманное значение Cache-Control и заголовок кеша CDN (например, cf-cache-status). **Промпт для ИИ:** ```text Проверь заголовки Cache-Control в ответах {site} для HTML, изображений, CSS и JS и приведи в таблице рекомендуемые значения для каждого типа. ``` ### Держите размер DOM в разумных пределах Приоритет: Низкий приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Очень большие DOM-деревья увеличивают время рендеринга и расход памяти и усложняют навигацию агентных браузеров по дереву доступности. **Как сделать:** 1. Измерьте число элементов DOM с помощью Lighthouse. 2. Удалите лишние обёртки div. 3. Для длинных списков используйте пагинацию или виртуализацию. **Как проверить:** Раздел Lighthouse «Optimize DOM size» не отмечает страницу. **Промпт для ИИ:** ```text Оцени структуру DOM главной страницы {site} и предложи конкретные способы сократить число элементов. ``` **Источники:** ### Загружайте веб-шрифты, не блокируя видимый текст Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Блокирующая рендеринг загрузка шрифтов задерживает появление текста и вызывает сдвиги макета. **Как сделать:** 1. Используйте font-display: swap. 2. Предзагружайте критичные шрифты. 3. Уберите неиспользуемые начертания и наборы символов, оставив подмножества, нужные вашим языкам. **Как проверить:** Раздел «Font display» в PageSpeed Insights не показывает потенциальной экономии. **Промпт для ИИ:** ```text Проверь стратегию загрузки шрифтов на {site}: правильно ли используются font-display, preload и подмножества? Предложи улучшения, сохраняющие корректное отображение символов нужных языков. ``` **Источники:** ### Измеряйте и улучшайте производительность на мобильных отдельно Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Google индексирует мобильную версию, а мобильные показатели обычно ниже десктопных. Если измерять только десктоп, проблемы остаются скрытыми. **Как сделать:** 1. Отдельно изучайте мобильную вкладку в PageSpeed Insights. 2. Оценивайте полевые данные (CrUX) отдельно от лабораторных. 3. Откладывайте загрузку тяжёлых сторонних скриптов на мобильных. **Как проверить:** Полевые данные PageSpeed Insights для мобильных показывают «Passed» в оценке Core Web Vitals. **Промпт для ИИ:** ```text Перечисли вероятные причины разрыва в производительности между мобильной и десктопной версиями {site} и набросай план улучшений с приоритетом мобильных. ``` **Источники:** ## Архитектура сайта и внутренняя перелинковка Понятная иерархия и сильная внутренняя перелинковка помогают ботам находить страницы и понимать связи между темами. ### Стройте категории вокруг тем, которые ищут люди Приоритет: Средний приоритет. Трудоёмкость: Проект. Обоснование: Официальный источник. Роли: SEO, Контент. **Почему это важно:** Логичная структура категорий помогает пользователям и моделям понять, в каких темах сайт является авторитетом. **Как сделать:** 1. Составьте список тем и подтем на основе поисковых данных. 2. Выделите по одной странице категории на тему. 3. Объедините пересекающиеся или пустые категории. **Как проверить:** Меню и страницы категорий охватывают все ключевые темы в пределах 2 уровней, пустых категорий нет. **Промпт для ИИ:** ```text Проверь меню и структуру категорий {site}. Укажи пересекающиеся, отсутствующие или лишние категории и предложи более понятную иерархию. ``` ### Используйте короткие читаемые URL, отражающие иерархию Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка, SEO. **Почему это важно:** Осмысленные URL помогают моделям и пользователям понять тему страницы по ссылке и выглядят надёжно в списках источников. **Как сделать:** 1. Используйте в URL путь категории и осмысленные слова. 2. Последовательно транслитерируйте буквы вне ASCII или везде используйте UTF-8. 3. Уберите идентификаторы и лишние параметры. **Как проверить:** Все 20 случайных URL написаны строчными буквами, разделены дефисами и состоят из описательных слов. **Промпт для ИИ:** ```text Проверь структуру URL {site} на читаемость, иерархию, обработку символов вне ASCII и параметры и предложи правила формирования URL. ``` **Источники:** ### Держите важные страницы не дальше трёх кликов от главной Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Экспериментально. Роли: SEO. **Почему это важно:** Глубокие страницы сканируются реже и получают более слабые сигналы. Страницы, приносящие выручку или которые вы хотите видеть в цитатах, должны быть близко к поверхности. **Как сделать:** 1. Получите отчёт о глубине кликов от краулера. 2. Поставьте ссылки на глубокие важные страницы из категорий или хабов. 3. Настройте пагинацию и фильтры так, чтобы они не увеличивали глубину. **Как проверить:** Краулер показывает глубину кликов 3 или меньше для важных страниц. **Промпт для ИИ:** ```text Набросай план сканирования для измерения глубины кликов важных страниц {site} и предложи ссылки, которые её уменьшат. ``` ### Добавьте видимые хлебные крошки Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Хлебные крошки показывают пользователям и ботам место страницы на сайте и дают естественные внутренние ссылки на родительские категории. **Как сделать:** 1. Добавьте хлебные крошки на все контентные и товарные страницы. 2. Сделайте каждый шаг настоящей ссылкой \. 3. Согласуйте хлебные крошки со структурированными данными BreadcrumbList. **Как проверить:** Исходный HTML страницы товара или статьи содержит ссылки хлебных крошек. **Промпт для ИИ:** ```text Проверь, есть ли на страницах {site} хлебные крошки с настоящими HTML-ссылками, соответствующие иерархии сайта, и предложи пример кода. ``` **Источники:** ### Связывайте тематические кластеры ссылками с описательными анкорами Приоритет: Высокий приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: SEO, Контент. **Почему это важно:** Внутренние ссылки показывают, какая страница — главный источник по теме. Анкоры вроде «нажмите здесь» теряют этот контекст. **Как сделать:** 1. Определите вспомогательные страницы, которые должны ссылаться на каждую ключевую. 2. Используйте в анкоре тему целевой страницы. 3. При публикации нового контента добавляйте ссылки со связанных старых страниц. **Как проверить:** Краулер показывает число входящих внутренних ссылок и анкоры для ключевых страниц, соответствующие их темам. **Промпт для ИИ:** ```text Предложи метод анализа входящих внутренних ссылок и анкоров для ключевых страниц {site}, чтобы найти слабые анкоры вроде «нажмите здесь» и недостающие ссылки. ``` ### Свяжите ссылками или удалите страницы-сироты Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: SEO. **Почему это важно:** Страницы, которые есть только в карте сайта, получают слабые сигналы и редко сканируются. Если они ценны, поставьте на них ссылки, если нет — удалите. **Как сделать:** 1. Сравните URL из карты сайта со ссылками, найденными при сканировании. 2. Поставьте ссылки на ценные страницы-сироты со связанных страниц. 3. Малоценные удалите или перенаправьте. **Как проверить:** Сравнение карты сайта с данными сканирования показывает почти ноль страниц-сирот. **Промпт для ИИ:** ```text Опиши шаги поиска страниц-сирот на {site} путём сравнения карты сайта с данными сканирования и предложи критерии решения по каждой такой странице. ``` ### Отдавайте главную страницу по единственному URL Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Варианты вроде /index.html, /home или /?ref= распыляют сигналы главной страницы и приводят к цитированию разных адресов. **Как сделать:** 1. Составьте список вариантов главной страницы. 2. Перенаправьте их все на предпочтительный корень через 301. 3. Направьте ссылки логотипа и меню на корень. **Как проверить:** curl -sI https://{site}/index.html возвращает 301 на https://{site}/. **Промпт для ИИ:** ```text Напиши команды, проверяющие вероятные варианты URL главной страницы {site} (index.html, index.php, /home, с параметрами), и объясни правильное поведение. ``` **Источники:** ### Делайте пагинацию со сканируемыми ссылками Приоритет: Низкий приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Списки, где есть только кнопка «Показать ещё» или бесконечная прокрутка, скрывают от ботов товары и публикации за пределами первой страницы. **Как сделать:** 1. Отдавайте каждый шаг пагинации по собственному URL с \. 2. Подкрепите бесконечную прокрутку URL с пагинацией. 3. На страницах пагинации используйте canonical, ссылающийся на саму страницу. **Как проверить:** Исходный HTML страницы категории содержит ссылки на следующие страницы, например ?page=2. **Промпт для ИИ:** ```text Проверь, сканируема ли пагинация в списках категорий и блога {site}. Если используется бесконечная прокрутка или кнопка на JavaScript, объясни рекомендуемое исправление. ``` **Источники:** ## Метаданные страниц и заголовки Теги title, описания, иерархия заголовков и теги для соцсетей с первого взгляда сообщают ботам, о чём страница. ### Пишите уникальный описательный title для каждой страницы Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: SEO, Контент. **Почему это важно:** Тег title отображается в списках источников и в результатах поиска, и модели в первую очередь по нему определяют тему страницы. **Как сделать:** 1. Ставьте основную тему в начало, а бренд — в конец. 2. Держитесь в пределах примерно 30–60 символов. 3. Устраните дублирующиеся title. **Как проверить:** Краулер показывает почти ноль пустых, дублирующихся или длиннее 60 символов title. **Промпт для ИИ:** ```text Оцени теги title главной и 5 ключевых страниц {site} по длине, уникальности и ясности и напиши улучшенные варианты. ``` **Источники:** ### Пишите уникальный meta description с кратким содержанием для каждой страницы Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: SEO, Контент. **Почему это важно:** Meta description не влияет на ранжирование напрямую, но может использоваться как краткое описание страницы в результатах и некоторых ИИ-интерфейсах. **Как сделать:** 1. Изложите суть страницы в 120–160 символах. 2. Включите конкретный для страницы факт или число. 3. Исправьте дубли, порождённые шаблоном. **Как проверить:** Краулер показывает почти ноль отсутствующих или дублирующихся meta description. **Промпт для ИИ:** ```text Оцени meta description 5 ключевых страниц {site} и напиши новые варианты, привязанные к конкретной странице, короче 160 символов. ``` **Источники:** ### Один H1 на страницу, обозначающий её тему Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Экспериментально. Роли: Контент, Разработка. **Почему это важно:** Один чёткий H1 сообщает ботам основную тему страницы. H1 на логотипе или в меню размывают этот сигнал. **Как сделать:** 1. Уберите H1 с логотипа и меню в шаблонах. 2. Оформите основной заголовок каждой страницы как H1. 3. Согласуйте H1 с тегом title. **Как проверить:** curl -s https://{site}/ | grep -c "\ Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Новый стандарт. Роли: Контент. **Почему это важно:** Иерархия заголовков делит страницу на разделы. ИИ-системы используют эти разделы при выборе фрагментов для ответов, а пропущенные уровни ломают структуру. **Как сделать:** 1. Используйте H2 после H1 и H3 внутри H2. 2. Выбирайте уровень заголовка по смыслу, а не по визуальному размеру. 3. Посвящайте каждый раздел H2 одной подтеме. **Как проверить:** Инструмент структуры заголовков (например, HeadingsMap) не показывает пропущенных уровней. **Промпт для ИИ:** ```text Извлеки структуру заголовков контентной страницы {site}, отметь пропущенные уровни и пустые или расплывчатые заголовки и предложи исправленную структуру. ``` ### Используйте полный набор тегов Open Graph на каждой странице Приоритет: Средний приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка, Контент. **Почему это важно:** og:title, og:description и og:image используются в превью ссылок и в карточках источников некоторых ИИ-интерфейсов. **Как сделать:** 1. Добавьте og:title, og:description, og:image, og:url и og:type. 2. Сделайте изображение размером около 1200x630 пикселей. 3. Формируйте значения для каждой страницы отдельно. **Как проверить:** Инструмент предпросмотра Open Graph показывает правильные заголовок, описание и изображение. **Промпт для ИИ:** ```text Проверь теги Open Graph на главной странице {site}, отметь отсутствующие или неверные поля и напиши корректный пример. ``` ### Добавьте теги карточек X (Twitter) Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Теги twitter:card управляют превью ссылок в X и в других инструментах, которые их читают. **Как сделать:** 1. Задайте twitter:card значение summary\_large\_image. 2. Помните, что для отсутствующих полей используются значения Open Graph. **Как проверить:** Исходный код страницы содержит \. **Промпт для ИИ:** ```text Проверь теги twitter:card на {site} и напиши рекомендуемый минимальный набор тегов вместе с Open Graph. ``` ### Пишите alt-текст, описывающий содержимое изображения Приоритет: Средний приоритет. Трудоёмкость: Несколько дней. Обоснование: Официальный источник. Роли: Контент. **Почему это важно:** Alt-текст сообщает ботам и экранным дикторам, что изображено на картинке, а мультимодальные модели используют его, чтобы связать изображение с контекстом страницы. **Как сделать:** 1. Пишите конкретный alt для каждого информативного изображения. 2. Для декоративных изображений используйте пустой alt="". 3. Избегайте переспама ключевыми словами. **Как проверить:** Краулер показывает, что alt отсутствует менее чем у 5% информативных изображений. **Промпт для ИИ:** ```text Перечисли alt-тексты изображений на главной странице {site} и напиши лучшие варианты для отсутствующих, расплывчатых или переспамленных ключевыми словами. ``` **Источники:** ### Задайте фавикон и предпочтительное название сайта Приоритет: Низкий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** Google и некоторые ИИ-интерфейсы показывают источники по названию сайта и фавикону. Отсутствующие или несогласованные значения затрудняют узнавание вашего бренда. **Как сделать:** 1. Опубликуйте квадратный фавикон размером не менее 48x48 пикселей. 2. Укажите название сайта через name и alternateName в структурированных данных WebSite. 3. Согласуйте его с title и og:site\_name. **Как проверить:** В результатах поиска Google отображаются правильные название сайта и фавикон. **Промпт для ИИ:** ```text Проверь определения фавикона и сигналы названия сайта (WebSite JSON-LD, og:site_name, title) для {site} и перечисли несоответствия. ``` **Источники:** , ## Структурированные данные (Schema.org) Структурированные данные явно сообщают машинам, какие сущности описывает страница и как они связаны. Google не требует особой разметки для ИИ-функций, но корректный JSON-LD напрямую помогает распознаванию сущностей и торговым поверхностям. ### Публикуйте структурированные данные в виде валидного JSON-LD Приоритет: Высокий приоритет. Трудоёмкость: Быстрая победа. Обоснование: Официальный источник. Роли: Разработка. **Почему это важно:** JSON-LD — формат, рекомендуемый Google, и его легко поддерживать, поскольку он отделён от HTML. Одна синтаксическая ошибка — и весь блок игнорируется. **Как сделать:** 1. Добавляйте структурированные данные в блоках \