PricingLoginStart free
HTML Academy · 강의

표준 URL 및 robots 메타 태그

메타 태그로 크롤링을 제어하고 중복 콘텐츠 방지하기

레슨 3/413개 단계

표준 URL 및 robots 메타 태그은(는) CoddyKit의 무료 HTML Academy 강의입니다. 이것은 4개 중 3번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 HTML Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. HTML Academy 강의에는 총 4개의 강의가 포함되어 있습니다.

중복 콘텐츠 문제

검색 엔진은 여러 URL에서 페이지를 발견할 수 있습니다:

  • http://example.com/page
  • https://example.com/page
  • https://www.example.com/page
  • https://example.com/page/ (후행 슬래시)
  • https://example.com/page?utm_source=newsletter

구글은 색인할 URL을 결정해야 하며, 중복 콘텐츠로 불이익을 줄 수도 있습니다.

canonical 링크 태그

rel="canonical"을 사용해 검색 엔진에 선호하는 URL을 알려 줍니다:

<head>
  <!-- This is the canonical URL for this content: -->
  <link rel="canonical" href="https://example.com/blog/html5-guide">
</head>
<!-- No matter which URL the page is accessed from,
     this tag signals to Google which URL to index -->
<!-- Link equity is consolidated at the canonical URL -->

canonical URL 규칙

canonical URL 모범 사례:

  • 완전한 절대 URL을 사용합니다(프로토콜 포함)
  • 사이트가 지원한다면 HTTPS를 사용합니다
  • 일관성을 유지합니다. 항상 후행 슬래시를 사용하거나 항상 사용하지 않습니다
  • 모든 페이지에 canonical 태그를 작성합니다 — URL 자체를 가리키는 경우에도 작성합니다
<link rel="canonical" href="https://example.com/blog/html5-guide">
<!-- NOT: -->
<!-- <link rel="canonical" href="/blog/html5-guide"> relative = bad -->
<!-- <link rel="canonical" href="http://..."> HTTP on HTTPS site = bad -->

페이지 나누기와 canonical

페이지가 나뉜 콘텐츠에서는 canonical이 첫 페이지나 현재 페이지 자체를 가리킬 수 있습니다:

<!-- Page 2 of a blog listing: -->
<link rel="canonical" href="https://example.com/blog?page=2">
<!-- Or: consolidate all pages to the first -->
<link rel="canonical" href="https://example.com/blog">
<!-- Also useful: rel="prev" and rel="next" for paginated series -->

meta robots 값

페이지별 검색 엔진 동작을 제어합니다:

<meta name="robots" content="index, follow">
<!-- Default: include in index and follow links -->

<meta name="robots" content="noindex">
<!-- Don't index this page -->

<meta name="robots" content="nofollow">
<!-- Don't follow links on this page -->

<meta name="robots" content="noindex, nofollow">
<!-- Don't index AND don't follow -->

<meta name="robots" content="noarchive">
<!-- Don't show cached version in search results -->

Googlebot 전용 지시문

특정 지시문으로 특정 크롤러를 대상으로 지정합니다:

<meta name="googlebot" content="noindex">
<!-- Only affects Google's crawler -->

<meta name="bingbot" content="noindex">
<!-- Only affects Bing's crawler -->

<!-- Other values: -->
<meta name="robots" content="max-snippet:50">
<!-- Limit snippet length in search results to 50 characters -->

<meta name="robots" content="max-image-preview:large">
<!-- Allow full-size image previews in Google results -->

X-Robots-Tag HTTP 헤더

canonical과 robots는 HTTP 헤더를 통해서도 설정할 수 있습니다(서버 수준):

# Apache .htaccess:
Header add Link "<https://example.com/page>; rel=canonical"
Header add X-Robots-Tag "noindex"

# This is more powerful because it applies to non-HTML files too
# (PDFs, images, etc.) which can't have meta tags

robots.txt와 meta robots

크롤러를 제어하는 두 도구는 서로 다른 용도로 사용됩니다:

  • robots.txt — 크롤러가 접근할 수 있는 페이지를 제어합니다(접근 제어)
  • meta robots — 크롤러가 접근한 페이지에서 수행할 작업을 제어합니다(색인 제어)

robots.txt에서 접근이 허용되지 않은 페이지도 다른 곳에서 링크되면 색인될 수 있습니다. noindex가 있는 페이지는 확실히 색인되지 않습니다.

사이트맵과 canonical

사이트맵에는 canonical URL만 나열해야 합니다:

<!-- sitemap.xml should list canonical URLs only: -->
<!-- https://example.com/blog/html5-guide (canonical) -->
<!-- NOT: https://www.example.com/blog/html5-guide -->
<!-- NOT: https://example.com/blog/html5-guide/ (trailing slash variant) -->

자기 참조 canonical

기본 페이지를 포함한 모든 페이지에는 자기 자신을 가리키는 canonical이 있어야 합니다:

<!-- On https://example.com/about (the canonical URL itself): -->
<link rel="canonical" href="https://example.com/about">
<!-- This confirms: this IS the canonical URL -->
<!-- Prevents issues if the page is embedded in an iframe or scraped -->

전자 상거래의 canonical

변형 상품이 있는 경우 전자 상거래에서 사용하는 canonical 패턴:

<!-- Product page with color filter: -->
<!-- URL: /products/widget?color=blue -->
<link rel="canonical" href="https://example.com/products/widget">
<!-- All color variants point to the main product page -->
<!-- Avoids duplicate content penalty for parameter variants -->

빠른 확인

canonical 링크 태그의 href 값은 무엇이어야 합니까?

인터랙티브 레슨에서 답해보세요

복습: canonical과 robots

canonical과 robots의 핵심:

  • <link rel="canonical" href="full-url"> — 선호하는 URL을 선언합니다
  • canonical에는 절대 URL을 사용하고 항상 HTTPS를 사용합니다
  • meta robots noindex — 검색 색인에서 제외합니다
  • meta robots nofollow — 링크를 따라가지 않도록 합니다
  • robots.txt = 접근 제어; meta robots = 색인 제어
무료로 시작

AI 튜터와 함께 HTML을(를) 배우세요 — 무료

브라우저에서 실제 코드를 작성하고 실행하며, 24/7 AI 튜터로부터 즉각적인 도움을 받고, 웹이나 앱에서 중단한 부분부터 계속 학습하세요.

코스
40
레슨
159
무료로 학습 시작전체 코스 보기

자주 묻는 질문

“표준 URL 및 robots 메타 태그” 강의는 무료인가요?

네 — “표준 URL 및 robots 메타 태그” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 HTML Academy 강의 전체를 잠금 해제할 수 있습니다. HTML Academy 강의에는 총 4개의 강의가 포함되어 있습니다.

“표준 URL 및 robots 메타 태그”에서 뭘 배우나요?

메타 태그로 크롤링을 제어하고 중복 콘텐츠 방지하기 브라우저에서 직접 실행하는 실습 코드로 HTML Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.

HTML Academy을(를) 시작하는 데 경험이 필요한가요?

사전 경험은 필요하지 않습니다. CoddyKit의 HTML Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 3번째 강의입니다.

“표준 URL 및 robots 메타 태그” 강의는 얼마나 걸리나요?

대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.

이 HTML Academy 강의에서 코드를 작성하고 실행할 수 있나요?

네. 모든 HTML Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.

이 강의의 모든 강의

  1. title과 SEO에서의 역할
  2. meta charset viewport author 및 description
  3. 표준 URL 및 robots 메타 태그
  4. 파비콘 및 Apple Touch 아이콘
← HTML Academy(으)로 돌아가기