Robots.txt-Tester
Teste, ob deine URLs durch robots.txt blockiert sind. Füge deine Datei ein, gib einen URL-Pfad ein und prüfe den Zugriff für Googlebot, Bingbot oder GPTBot.
Dieses Tool läuft komplett in deinem Browser. Es werden keine Daten an einen Server gesendet.
Du findest deine robots.txt unter: deinedomain.de/robots.txt
URL nicht blockiert, aber trotzdem nicht indexiert?
Wenn deine robots.txt die Seite nicht blockiert und Google sie trotzdem nicht indexiert, nutze IndexBolt, um sie in Stunden crawlen zu lassen.
Häufig gestellte Fragen
Was ist eine robots.txt-Datei?+
Eine robots.txt-Datei ist eine Textdatei im Stammverzeichnis deiner Website (z. B. example.com/robots.txt), die Suchmaschinen-Crawlern sagt, welche Seiten sie aufrufen dürfen und welche nicht. Sie ist ein Kernbestandteil des Robots Exclusion Protocol.
Verhindert robots.txt, dass Seiten indexiert werden?+
Nicht ganz. Robots.txt verhindert das Crawling, nicht die Indexierung. Wenn andere Seiten auf eine blockierte Seite verlinken, kann Google die URL trotzdem indexieren (wird dann ohne Beschreibung in den Ergebnissen angezeigt). Um Indexierung zu verhindern, nutze stattdessen ein noindex-Meta-Tag.
Was bedeutet „Disallow: /“ in robots.txt?+
Disallow: / blockiert die gesamte Seite für den angegebenen User-agent. Gilt das für alle User-agents (User-agent: *), darf kein Suchmaschinen-Crawler irgendeine Seite deiner Website aufrufen.
Wie funktioniert das Pattern-Matching in robots.txt?+
Robots.txt nutzt einfaches Pattern-Matching. * passt auf eine beliebige Zeichenfolge, $ verankert ans URL-Ende. Beispiel: Disallow: /*.pdf$ blockiert alle URLs, die auf .pdf enden. Wenn mehrere Regeln passen, gewinnt das spezifischste (längste) Muster.
Kann ich gezielt bestimmte Bots wie GPTBot blockieren?+
Ja. Füge einen Abschnitt User-agent: GPTBot mit Disallow: / hinzu, um den OpenAI-Crawler zu blockieren. Ebenso kannst du Googlebot, Bingbot oder jeden anderen Crawler namentlich ansprechen. Jeder Bot liest nur die Regeln seines eigenen Abschnitts (oder den *-Abschnitt als Fallback).