Googlebot 크롤링 크기 검사기

Googlebot 크롤링 크기 검사기는 웹 페이지 또는 PDF의 압축되지 않은 크기를 측정하여 Googlebot의 공식 크롤링 제한 내에 있는지 확인합니다. 페이지가 이러한 제한을 초과하면 Googlebot은 처리하는 콘텐츠를 잘라내어 색인 생성 중에 중요한 정보, 구조화된 데이터 및 링크가 무시될 수 있습니다.

Googlebot의 크롤링 크기 제한 이해하기

Google은 다양한 파일 형식에 대한 구체적인 크기 임계값을 공식적으로 문서화하고 있습니다. Googlebot이 이러한 제한에 도달하면 다운로드를 중단하고 이미 가져온 콘텐츠만 처리합니다.

• HTML 및 지원되는 파일: Googlebot은 압축되지 않은 콘텐츠의 처음 2MB를 크롤링합니다. 여기에는 HTML 문서 자체와 인라인 CSS 및 JavaScript가 포함됩니다. 외부 리소스(스타일시트, 스크립트, 이미지)는 각각 고유한 제한을 가지고 별도로 가져옵니다.
• PDF 파일: Googlebot은 PDF 문서의 처음 64MB를 크롤링합니다. 이는 넉넉한 제한이지만 매우 큰 PDF 보고서나 카탈로그는 여전히 확인해야 합니다.

이러한 제한은 네트워크 도구에서 볼 수 있는 압축된 전송 크기가 아니라 압축되지 않은 콘텐츠 크기에 적용됩니다. 서버에서 gzip 압축 응답을 보내더라도 Googlebot은 압축을 해제한 전체 크기를 측정합니다.

페이지 크기가 SEO에 중요한 이유

색인 생성 절단

페이지가 크기 제한을 초과하면 임계값을 벗어난 모든 내용은 Google에 표시되지 않습니다. 이로 인해 다음과 같은 현상이 발생할 수 있습니다.

• 중요한 본문 콘텐츠가 색인화되지 않음
• 페이지 하단의 구조화된 데이터(JSON-LD 스키마) 누락
• 푸터 또는 하단 네비게이션의 내부 링크를 찾지 못함
• 검색 결과에 리치 결과 및 검색 기능이 표시되지 않음

큰 페이지의 일반적인 원인

• 과도한 인라인 CSS/JavaScript: HTML에 직접 내장된 대형 프레임워크 또는 구성 요소 라이브러리
• 서버 사이드 렌더링(SSR) 콘텐츠: 대량의 데이터 페이로드를 HTML로 직렬화하는 SPA
• 긴 제품 목록 페이지: 수백 개의 제품이 있는 이커머스 카테고리 페이지
• 장황한 HTML 주석: 대형 주석 블록을 삽입하는 빌드 도구
• 내장 데이터: 페이지 소스의 Base64 인코딩 이미지 또는 대형 JSON 데이터

이 도구의 작동 방식

1. Googlebot UA로 페치: 이 도구는 실제 압축되지 않은 크기를 측정하기 위해 Googlebot의 공식 사용자 에이전트 문자열을 사용하여 압축되지 않은 콘텐츠(Accept-Encoding: identity)를 요청하고 URL을 가져옵니다.
2. 콘텐츠 유형 감지: 응답이 HTML인지 PDF인지 자동으로 감지하고 해당 제한(2MB 또는 64MB)을 적용합니다.
3. 측정 및 분석: 압축되지 않은 콘텐츠 크기를 측정하고 제한과 비교합니다. HTML의 경우 인라인 CSS, JavaScript 및 주석의 분석 내용이 제공됩니다.
4. 리디렉션 추적: 모든 HTTP 리디렉션(301, 302 등)을 감지하고 표시하여 원본에서 최종 URL까지의 전체 리디렉션 체인을 보여줍니다.

페이지 크기를 줄이는 방법

인라인 코드를 외부 파일로 이동

가장 효과적인 최적화는 큰 인라인 <style> 및 <script> 블록을 외부 CSS 및 JavaScript 파일로 옮기는 것입니다. 각 외부 파일은 고유한 2MB 제한을 가지며 브라우저에 의해 캐시됩니다.

불필요한 콘텐츠 제거

• 프로덕션 빌드에서 HTML 주석 제거
• 숨겨진 또는 중복된 콘텐츠 블록 제거
• 인라인 CSS 및 JavaScript 압축(Minify)
• 사용하지 않는 데이터 속성 및 빈 요소 제거

페이지 구조 최적화

• 무한 스크롤 대신 긴 콘텐츠 페이지에 페이지네이션 사용
• 스크롤해야 보이는(below-the-fold) 콘텐츠 섹션에 지연 로딩 적용
• DOM 깊이 및 요소 수 감소
• 대량의 데이터 페이로드를 API 엔드포인트로 이동

Googlebot 제한 대비 페이지 크기 확인 방법

1. URL 입력: 입력 필드에 확인하려는 페이지의 전체 URL을 입력하거나 붙여넣으세요. 이 도구는 HTTP 및 HTTPS URL을 모두 허용합니다.
2. 크기 확인 클릭: "크롤링 크기 확인" 버튼을 클릭하세요. 도구는 Googlebot의 사용자 에이전트 문자열을 사용하여 페이지를 가져오고 압축되지 않은 콘텐츠 크기를 측정합니다.
3. 결과 검토: 제한 대비 페이지 크기를 보여주는 시각적 게이지, 콘텐츠 분석 분석 및 필요한 경우 최적화를 위한 구체적인 권장 사항을 확인하세요.

자주 묻는 질문

Googlebot의 크롤링 크기 제한은 얼마인가요?

Googlebot은 HTML 및 지원되는 파일 형식(CSS 및 JavaScript 등)의 처음 2MB를 크롤링합니다. PDF 파일의 경우 처음 64MB를 크롤링합니다. 이 제한을 초과하는 모든 콘텐츠는 Google에서 처리하거나 색인화하지 않을 수 있습니다. 이러한 제한은 압축된 전송 크기가 아니라 압축되지 않은 파일 크기에 적용됩니다.

페이지가 Googlebot의 크기 제한을 초과하면 어떻게 되나요?

페이지가 크롤링 크기 제한을 초과하면 Googlebot은 제한 내의 콘텐츠만 처리하고 나머지는 무시합니다. 즉, 페이지 하단에 있는 중요한 콘텐츠, 구조화된 데이터 또는 링크가 색인화되지 않을 수 있습니다. 이는 불완전한 색인 생성, 검색 기능 누락(리치 결과 등) 및 저조한 SEO 성능으로 이어질 수 있습니다.

2MB 제한은 압축된 콘텐츠에 적용되나요 아니면 압축되지 않은 콘텐츠에 적용되나요?

2MB 제한은 압축되지 않은 콘텐츠에 적용됩니다. 서버에서 압축된(gzip 또는 brotli) 응답을 보내더라도 Googlebot은 압축 해제 후의 압축되지 않은 크기를 측정합니다. 이 도구는 Googlebot이 실제로 처리하는 내용을 정확하게 측정하기 위해 압축되지 않은 콘텐츠를 요청합니다.

Googlebot 제한 내에 맞추기 위해 페이지 크기를 어떻게 줄일 수 있나요?

페이지 크기를 줄이려면: (1) 인라인 CSS를 외부 스타일시트로 이동, (2) 인라인 JavaScript를 외부 파일로 이동, (3) 불필요한 HTML 주석 제거, (4) DOM 깊이 및 복잡성 최소화, (5) 서버 사이드 렌더링 선택적 사용, (6) 중요하지 않은 콘텐츠 지연 로딩, (7) 숨겨진 또는 중복된 콘텐츠 제거, (8) 매우 긴 콘텐츠 페이지에 페이지네이션 사용.

Googlebot은 외부 CSS 및 JavaScript 파일을 별도로 크롤링합니까?

예, Googlebot은 각 외부 CSS, JavaScript 및 이미지 리소스를 개별적으로 가져옵니다. 각 외부 리소스에는 고유한 2MB 제한이 있습니다. HTML 문서 내의 인라인 스타일과 스크립트만 메인 페이지의 2MB 제한에 합산됩니다. 이것이 대규모 인라인 코드를 외부 파일로 옮기는 것이 효과적인 최적화 전략인 이유입니다.

추가 리소스

• Google 검색 센터 - Googlebot 개요
• Google - 페이지 크기 줄이기
• Googlebot - 위키백과