robots.txt & Sitemap-Audit

Lädt die robots.txt einer Website, erkennt den klassischen stillen Deindex (Disallow: / für User-agent: *) und prüft die erste referenzierte Sitemap auf abrufbar/nicht-leer. Ein fehlendes robots.txt ist bewusst kein Fehler. Als Monitor eingerichtet, alarmiert nur ein Voll-Disallow oder eine kaputte Sitemap.