0Pricing
HTML Academy · Урок

Канонические URL и метатег robots

Управляйте сканированием и избегайте дублирования содержимого с помощью метатегов

«Канонические URL и метатег robots» — бесплатный урок HTML Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения HTML Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс HTML Academy содержит 4 уроков всего.

Проблема дублирующегося содержимого

Поисковые системы могут обнаружить вашу страницу по нескольким URL:

  • http://example.com/page
  • https://example.com/page
  • https://www.example.com/page
  • https://example.com/page/ (завершающая косая черта)
  • https://example.com/page?utm_source=newsletter

Google должен решить, какой URL индексировать, — и может наказать сайт за дублирующееся содержимое.

Канонический тег ссылки

Укажите поисковым системам предпочтительный URL с помощью rel="canonical":

<head>
  <!-- This is the canonical URL for this content: -->
  <link rel="canonical" href="https://example.com/blog/html5-guide">
</head>
<!-- No matter which URL the page is accessed from,
     this tag signals to Google which URL to index -->
<!-- Link equity is consolidated at the canonical URL -->

Правила канонического URL

Лучшие практики для канонического URL:

  • Используйте полный абсолютный URL, включая протокол
  • Используйте HTTPS, если сайт его поддерживает
  • Будьте последовательны: всегда используйте завершающую косую черту или всегда обходитесь без неё
  • На каждой странице должен быть канонический тег — даже если он указывает на URL самой страницы
<link rel="canonical" href="https://example.com/blog/html5-guide">
<!-- NOT: -->
<!-- <link rel="canonical" href="/blog/html5-guide"> relative = bad -->
<!-- <link rel="canonical" href="http://..."> HTTP on HTTPS site = bad -->

Пагинация и канонический URL

Для разбитого на страницы содержимого канонический URL может указывать на первую страницу или на текущую страницу:

<!-- Page 2 of a blog listing: -->
<link rel="canonical" href="https://example.com/blog?page=2">
<!-- Or: consolidate all pages to the first -->
<link rel="canonical" href="https://example.com/blog">
<!-- Also useful: rel="prev" and rel="next" for paginated series -->

Значения мета-тега для роботов

Управляйте поведением поисковых систем для каждой страницы:

<meta name="robots" content="index, follow">
<!-- Default: include in index and follow links -->

<meta name="robots" content="noindex">
<!-- Don't index this page -->

<meta name="robots" content="nofollow">
<!-- Don't follow links on this page -->

<meta name="robots" content="noindex, nofollow">
<!-- Don't index AND don't follow -->

<meta name="robots" content="noarchive">
<!-- Don't show cached version in search results -->

Директивы для конкретного Googlebot

Обращайтесь к определённым поисковым роботам с помощью специальных директив:

<meta name="googlebot" content="noindex">
<!-- Only affects Google's crawler -->

<meta name="bingbot" content="noindex">
<!-- Only affects Bing's crawler -->

<!-- Other values: -->
<meta name="robots" content="max-snippet:50">
<!-- Limit snippet length in search results to 50 characters -->

<meta name="robots" content="max-image-preview:large">
<!-- Allow full-size image previews in Google results -->

HTTP-заголовок X-Robots-Tag

Канонический URL и правила для роботов также можно задать через HTTP-заголовки на уровне сервера:

# Apache .htaccess:
Header add Link "<https://example.com/page>; rel=canonical"
Header add X-Robots-Tag "noindex"

# This is more powerful because it applies to non-HTML files too
# (PDFs, images, etc.) which can't have meta tags

robots.txt и мета-тег для роботов

Два инструмента для управления поисковыми роботами — с разными задачами:

  • robots.txt — управляет страницами, к которым роботы могут получить доступ (контроль доступа)
  • Мета-тег для роботов — управляет действиями роботов со страницами, к которым они получили доступ (контроль индексации)

Страница, запрещённая в robots.txt, всё ещё может быть проиндексирована, если на неё есть ссылка откуда-либо ещё. Страница с noindex точно не будет проиндексирована.

Карта сайта и канонический URL

Карта сайта должна содержать только канонические URL:

<!-- sitemap.xml should list canonical URLs only: -->
<!-- https://example.com/blog/html5-guide (canonical) -->
<!-- NOT: https://www.example.com/blog/html5-guide -->
<!-- NOT: https://example.com/blog/html5-guide/ (trailing slash variant) -->

Самоссылающийся канонический URL

На каждой странице должен быть канонический URL, указывающий на неё саму, — даже на главной:

<!-- On https://example.com/about (the canonical URL itself): -->
<link rel="canonical" href="https://example.com/about">
<!-- This confirms: this IS the canonical URL -->
<!-- Prevents issues if the page is embedded in an iframe or scraped -->

Канонические URL в электронной торговле

Варианты использования канонических URL в электронной торговле для товаров с вариантами:

<!-- Product page with color filter: -->
<!-- URL: /products/widget?color=blue -->
<link rel="canonical" href="https://example.com/products/widget">
<!-- All color variants point to the main product page -->
<!-- Avoids duplicate content penalty for parameter variants -->

Быстрая проверка

Каким должно быть значение href у тега канонической ссылки?

Повторение: канонические URL и правила для роботов

Основные сведения о канонических URL и правилах для роботов:

  • <link rel="canonical" href="full-url"> — объявляет предпочтительный URL
  • Используйте абсолютные URL в канонических ссылках; всегда HTTPS
  • meta robots noindex — исключает страницу из поискового индекса
  • meta robots nofollow — запрещает переход по ссылкам
  • robots.txt = контроль доступа; мета-тег для роботов = контроль индексации

Часто задаваемые вопросы

Урок «Канонические URL и метатег robots» бесплатный?

Да — полный текст урока «Канонические URL и метатег robots» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс HTML Academy, подпишись на CoddyKit PRO. Курс HTML Academy содержит 4 уроков всего.

Чему я научусь в уроке «Канонические URL и метатег robots»?

Управляйте сканированием и избегайте дублирования содержимого с помощью метатегов Ты практикуешь HTML Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать HTML Academy?

Предыдущий опыт не требуется. HTML Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.

Сколько времени занимает урок «Канонические URL и метатег robots»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке HTML Academy?

Да. Каждый урок HTML Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

  1. title и его роль в SEO
  2. meta charset viewport author и description
  3. Канонические URL и метатег robots
  4. Favicon и значок Apple Touch
← Назад к HTML Academy