Перевірка sitemap для AI-краулерів
Sitemap — це список сторінок, які ви просите краулерів прочитати. Якщо в ньому повно редиректів, 404 і сторінок з noindex, краулери витрачають бюджет і пропускають важливі сторінки.
Як користуватися
- 1
Введіть домен
Ми знаходимо sitemap у robots.txt і в стандартних місцях, включно з файлами-індексами.
- 2
Перевіряємо кожен файл
Синтаксис XML, кількість URL, абсолютні адреси на правильному домені, дублікати, дати lastmod і їхню свіжість.
- 3
Тестуємо справжні URL
Вибірку адрес відкриваємо як краулер: код відповіді, редиректи, noindex, canonical і правила robots.txt для AI-ботів пошуку.
Як працює перевірка sitemap
- Знаходимо
Рядки Sitemap у robots.txt, потім /sitemap.xml, /sitemap_index.xml і /wp-sitemap.xml.
- Розбираємо
Із файлів-індексів переходимо в кожен дочірній sitemap. Кожен файл валідуємо як XML.
- Перевіряємо URL
Абсолютні, на тому ж домені, з https, унікальні, з адекватними датами lastmod.
- Тестуємо вибірку
Справжні запити показують помилки, редиректи, noindex, чужий canonical і блокування AI-ботів.
Що має бути в sitemap
| Стан URL | У sitemap? | Чому |
|---|---|---|
| 200, індексується, canonical на себе | Так | Саме це краулери й мають читати. |
| Редирект 301 / 302 | Ні | Указуйте кінцеву адресу. |
| 404 / 410 / 5xx | Ні | Витрачає бюджет сканування й знижує довіру до sitemap. |
| noindex | Ні | Ви просите сканувати сторінку, яку не хочете індексувати. |
| Canonical на іншу адресу | Ні | Указуйте лише канонічну версію. |
| Заблоковано в robots.txt | Ні | Краулери не можуть її відкрити, тож не проіндексують і не процитують. |
Чистий запис у sitemap
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/guides/ai-seo/</loc>
<lastmod>2026-11-02</lastmod>
</url>
</urlset>Google ігнорує priority і changefreq. Важливий точний lastmod.
Офіційна документація
Часті питання
Чи використовують AI-краулери sitemap?
AI-пошуковики спираються на пошукові індекси, які будуються з sitemap: Bing живить пошук ChatGPT і Copilot, Google — AI Overviews і Gemini. Чистий sitemap допомагає швидше знаходити нові й оновлені сторінки.
Чого не має бути в sitemap?
Лише канонічні URL, що відповідають 200 і дозволені до індексації. Редиректи, 404, сторінки з noindex, заблоковані в robots.txt URL і неканонічні дублікати дають суперечливі сигнали.
Чи важливий lastmod?
Google використовує lastmod, коли він стабільно точний. Якщо в усіх URL однакова дата або вона змінюється з кожним білдом, її ігнорують. Ми позначаємо обидва випадки.
Скільки URL ви тестуєте?
10 без акаунта, 25 з безкоштовним акаунтом і до 500 на Pro. Перевірки XML завжди охоплюють усі URL у прочитаних файлах.