Технические требования поисковиков: что нужно знать о Google и Яндекс

Технические требования поисковиков

Поисковые системы предъявляют определенные требования к техническому состоянию сайтов. Соблюдение этих требований — основа успешного SEO.

Индексация

Как работает

1. Crawling — робот сканирует страницы
2. Indexing — контент добавляется в индекс
3. Ranking — определяется позиция в выдаче

Проверка индексации

Google:

site:yourdomain.com

Яндекс:

site:yourdomain.com

Robots.txt

Что это

Файл с инструкциями для поисковых роботов.

Расположение: https://yourdomain.com/robots.txt

Пример

User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /

Sitemap: https://yourdomain.com/sitemap.xml

Синтаксис

User-agent: Googlebot    # для Google
User-agent: Yandex       # для Яндекс
User-agent: *            # для всех

Disallow: /private/      # запретить
Allow: /public/          # разрешить

Crawl-delay: 5           # задержка (только Яндекс)

Что закрывать

❌ Закрывать:

• Админ-панель
• Корзина
• Личный кабинет
• Служебные страницы
• Дубли с GET-параметрами

✅ Открывать:

• CSS и JS (Google требует!)
• Изображения
• Контентные страницы

Sitemap.xml

Что это

XML-карта сайта со списком всех страниц.

Пример

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://yourdomain.com/</loc>
    <lastmod>2026-01-30</lastmod>
    <changefreq>daily</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://yourdomain.com/about/</loc>
    <lastmod>2026-01-25</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

Параметры

• loc — URL страницы (обязательно)
• lastmod — дата изменения
• changefreq — частота обновления
• priority — приоритет (0.0-1.0)

Типы sitemap

1. sitemap.xml — обычные страницы
2. sitemap-images.xml — изображения
3. sitemap-videos.xml — видео
4. sitemap-news.xml — новости

Индекс sitemap

Если страниц много (>50К):

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://yourdomain.com/sitemap-products.xml</loc>
    <lastmod>2026-01-30</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://yourdomain.com/sitemap-blog.xml</loc>
    <lastmod>2026-01-30</lastmod>
  </sitemap>
</sitemapindex>

Canonical

Что это

Указание основной версии страницы при наличии дублей.

Синтаксис

<link rel="canonical" href="https://yourdomain.com/page/">

Когда использовать

• HTTP и HTTPS версии
• С www и без www
• Фильтры и сортировки
• Пагинация
• Печатные версии
• Параметры отслеживания (UTM)

Примеры

Проблема: дубли из-за фильтров

/products/
/products/?color=red
/products/?sort=price

Решение: canonical на основную

<!-- На всех вариантах -->
<link rel="canonical" href="https://yourdomain.com/products/">

HTTPS

Обязательность

✅ HTTPS — обязателен с 2014 года (Google)

Проверка

https://www.ssllabs.com/ssltest/

Настройка редиректа

HTTP → HTTPS:

Apache (.htaccess):

RewriteEngine On
RewriteCond %{HTTPS} off
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]

Nginx:

server {
    listen 80;
    server_name yourdomain.com;
    return 301 https://$server_name$request_uri;
}

Редиректы

Типы

• 301 — постоянный (передает вес)
• 302 — временный (не передает вес)

Когда использовать 301

• Смена домена
• HTTP → HTTPS
• www → без www
• Удаление страницы с переносом на аналог
• Изменение URL

Цепочки редиректов

❌ Плохо:

page1 → page2 → page3 → page4

✅ Хорошо:

page1 → page4
page2 → page4
page3 → page4

Ошибки и коды ответа

Основные коды

• 200 — успешно
• 301 — постоянный редирект
• 302 — временный редирект
• 404 — страница не найдена
• 500 — ошибка сервера
• 503 — сервер недоступен

404 или 410?

• 404 — страница не найдена (временно)
• 410 — страница удалена (навсегда)

Кастомная 404

Создайте красивую страницу 404:

• Объяснение ошибки
• Поиск по сайту
• Ссылки на популярные разделы
• Контакты

Meta Robots

Управление индексацией

<meta name="robots" content="noindex, nofollow">

Директивы

• index — разрешить индексацию
• noindex — запретить индексацию
• follow — переходить по ссылкам
• nofollow — не переходить по ссылкам
• none — noindex + nofollow
• noarchive — не сохранять в кеш
• nosnippet — не показывать сниппет

Примеры

Закрыть страницу:

<meta name="robots" content="noindex, follow">

Для конкретного робота:

<meta name="googlebot" content="noindex">

Hreflang

Для мультиязычных сайтов

Указывает языковые версии страницы.

<link rel="alternate" hreflang="ru" href="https://yourdomain.com/ru/">
<link rel="alternate" hreflang="en" href="https://yourdomain.com/en/">
<link rel="alternate" hreflang="x-default" href="https://yourdomain.com/">

Коды языков

• ru — русский
• en — английский
• en-US — английский (США)
• en-GB — английский (Великобритания)

Open Graph и Twitter Cards

Open Graph (Facebook)

<meta property="og:title" content="Заголовок">
<meta property="og:description" content="Описание">
<meta property="og:image" content="https://yourdomain.com/image.jpg">
<meta property="og:url" content="https://yourdomain.com/page/">
<meta property="og:type" content="website">

Twitter Cards

<meta name="twitter:card" content="summary_large_image">
<meta name="twitter:title" content="Заголовок">
<meta name="twitter:description" content="Описание">
<meta name="twitter:image" content="https://yourdomain.com/image.jpg">

Structured Data (микроразметка)

Форматы

1. JSON-LD (рекомендуется)
2. Microdata
3. RDFa

Популярные типы

• Organization — информация о компании
• LocalBusiness — локальный бизнес
• Article — статья
• Product — товар
• Review — отзыв
• BreadcrumbList — хлебные крошки
• FAQPage — FAQ

Проверка

• https://search.google.com/test/rich-results
• https://validator.schema.org/

Технические чек-лист

Заключение

Технические требования — фундамент SEO. Без правильной технической настройки даже идеальный контент не выведет сайт в топ.

Нужна помощь с техническим SEO? Закажите технический аудит!