Sitemap-Prüfer für KI-Crawler
Eine Sitemap ist die Liste der Seiten, die Crawler lesen sollen. Ist sie voller Weiterleitungen, 404-Fehler und Noindex-Seiten, verschwenden Crawler ihre Ressourcen und überspringen die für Sie wichtigen Seiten.
Wie man es benutzt
- 1
Geben Sie Ihre Domain ein
Wir finden Ihre Sitemaps in robots.txt und an den üblichen Speicherorten, einschließlich Sitemap-Indexdateien.
- 2
Wir prüfen jede Datei.
XML-Syntax, URL-Anzahl, absolute URLs auf dem richtigen Host, Duplikate, Änderungsdaten und deren Aktualität.
- 3
Wir testen echte URLs
Es wird eine Auswahl an URLs abgerufen, wie es ein Crawler tun würde: Statuscode, Weiterleitungen, noindex, Canonical- und robots.txt-Regeln für KI-Suchbots.
So funktioniert die Sitemap-Prüfung
- Finden
Sitemap-Zeilen in robots.txt, dann sitemap.xml, sitemap_index.xml und wp-sitemap.xml.
- Parse
Die Indexdateien werden zu jeder untergeordneten Sitemap weitergeleitet. Jede Datei wird als XML validiert.
- URLs validieren
Absolut sicher, gleicher Host, https, eindeutig, mit sinnvollen lastmod-Daten.
- Testen Sie eine Probe
Reale Anfragen decken Fehler, Weiterleitungen, Noindex-Einträge, fremde Canonical-URLs und KI-Bot-Blockaden auf.
Was gehört in eine Sitemap?
| URL-Status | In der Sitemap? | Warum |
|---|---|---|
| 200, indexierbar, selbstkanonisch | Ja | Genau das sollten Crawler lesen. |
| 301-/302-Weiterleitung | NEIN | Geben Sie stattdessen die endgültige URL an. |
| 404 / 410 / 5xx | NEIN | Verschwendet das Crawling-Budget und mindert das Vertrauen in die Sitemap. |
| noindex | NEIN | Sie fordern das Crawlen einer Seite an, die nicht indexiert werden soll. |
| Kanonische Punkte anderswo | NEIN | Bitte nur die kanonische Version angeben. |
| Blockiert in robots.txt | NEIN | Crawler können es nicht abrufen, daher kann es weder indexiert noch zitiert werden. |
Ein übersichtlicher Sitemap-Eintrag
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/guides/ai-seo/</loc>
<lastmod>2026-11-02</lastmod>
</url>
</urlset>Google ignoriert priority und changefreq. Ein korrekter lastmod ist das entscheidende Signal.
Offizielle Dokumentation
Häufig gestellte Fragen
Nutzen KI-Crawler Sitemaps?
Suchmaschinen mit KI-Unterstützung nutzen Suchindizes, die auf Sitemaps basieren: Bing speist ChatGPT Search und Copilot, Google AI Overviews und Gemini. Eine übersichtliche Sitemap trägt dazu bei, dass Ihre neuen und aktualisierten Seiten schneller gefunden werden.
Was sollte nicht in einer Sitemap enthalten sein?
Nur kanonische URLs, die den Statuscode 200 zurückgeben, dürfen indexiert werden. Weiterleitungen, 404-Fehler, Seiten mit der Anweisung „noindex“, in robots.txt gesperrte URLs und nicht-kanonische Duplikate senden widersprüchliche Signale.
Spielt lastmod eine Rolle?
Google verwendet lastmod, wenn es durchgehend korrekt ist. Wenn jede URL dasselbe Datum hat oder sich das Datum bei jedem Build ändert, wird es ignoriert. Wir kennzeichnen beide Fälle.
Wie viele URLs testen Sie?
10 ohne Konto, 25 mit einem kostenlosen Konto und bis zu 500 mit Pro. Die XML-Prüfungen decken stets jede URL in den gelesenen Dateien ab.