Interne Suchseiten vom Crawling ausschließen.
SEO & WEBSITES
BOTrobots.txt-Generator
Wähle eine Vorlage für Website, WordPress oder Shop und passe die Crawl-Regeln anschließend einzeln an. So entsteht eine nachvollziehbare robots.txt ohne leeres Ausgangsformular.
Keine DatenübertragungKostenlosOhne Anmeldung
Welche Website möchtest du steuern?
Die Vorlage setzt einen sicheren Ausgangspunkt. Alle Regeln lassen sich danach einzeln ändern.
Was soll nicht gecrawlt werden?
Aktiviere nur Bereiche, die auf deiner Website tatsächlich existieren.
Achtung: Disallow: / verhindert das Crawling der gesamten Website. Vor einem Livegang muss diese Regel entfernt werden.
Die Auswahl füllt diese Felder automatisch. Eigene Pfade kannst du direkt ergänzen.
BereitDein Ergebnis erscheint hier.
Lokal im Browser · Deine Eingaben werden nicht übertragen oder gespeichert.
robots.txt erstellen: Das solltest du wissen
Wähle eine Vorlage für Website, WordPress oder Shop und passe die Crawl-Regeln anschließend einzeln an. So entsteht eine nachvollziehbare robots.txt ohne leeres Ausgangsformular. Das Werkzeug setzt die eigentliche Aufgabe an die erste Stelle; die folgenden Hinweise helfen dir, das Ergebnis korrekt zu verwenden und typische Fehlentscheidungen zu vermeiden.
So erhältst du ein nachvollziehbares Ergebnis
- Ziel festlegen: Entscheide vor der Eingabe, welche konkrete Frage der robots.txt-Generator beantworten soll. So verwechselst du einen Messwert oder erzeugten Wert nicht mit einer vollständigen fachlichen Bewertung.
- Eingabe kontrollieren: Prüfe Schreibweise, Format und Ausgangsdaten. Schon ein zusätzliches Zeichen, eine falsche Einheit oder eine abweichende URL kann das Ergebnis verändern.
- Ausgabe einordnen: Vergleiche das Resultat mit den Hinweisen und Grenzen auf dieser Seite. Bei wichtigen Änderungen solltest du mindestens eine zweite Prüfung oder eine offizielle Dokumentation heranziehen.
- Änderung verifizieren: Teste nach der Übernahme erneut unter realen Bedingungen. Dokumentiere bei Website-, Netzwerk- oder Sicherheitsaufgaben Ausgangszustand und Ergebnis, damit du Änderungen zurücknehmen kannst.
Die Verarbeitung erfolgt lokal in deinem Browser. Trotzdem solltest du vertrauliche Werte nur so lange geöffnet lassen, wie du sie für die konkrete Aufgabe brauchst.
Wann dir dieses Werkzeug hilft
Eine XML-Sitemap bekannt machen.
Bestimmte Bots gezielt behandeln.
KONKRETES BEISPIEL
→Vom Eingabewert zum Ergebnis
Eingabe: User-agent: * mit Disallow: /intern/ und Sitemap-URL.
Ergebnis: Die Datei erlaubt den übrigen Crawl und verweist auf die angegebene Sitemap.
So liest du die Ausgabe richtig
- Datei im Stammverzeichnis der Domain bereitstellen.
- Wichtige CSS-, JavaScript- und Bilddateien nicht versehentlich blockieren.
- Noindex nicht durch robots.txt ersetzen.
Was das Ergebnis nicht beweist
robots.txt ist öffentlich und schützt keine vertraulichen Inhalte.
Eine Sperre verhindert den Crawl, garantiert aber nicht die Entfernung bereits indexierter URLs.
Häufige Fragen zum robots.txt-Generator
Wofür eignet sich der robots.txt-Generator?
Crawl-Regeln für Suchmaschinen verständlich zusammenstellen und typische Blockierungsfehler vermeiden. Typische Einsätze sind interne Suchseiten vom Crawling ausschließen und eine XML-Sitemap bekannt machen.
Wie ist das Ergebnis beim robots.txt-Generator zu bewerten?
Datei im Stammverzeichnis der Domain bereitstellen. wichtige CSS-, JavaScript- und Bilddateien nicht versehentlich blockieren.
Welche Grenzen hat der robots.txt-Generator?
robots.txt ist öffentlich und schützt keine vertraulichen Inhalte. Eine Sperre verhindert den Crawl, garantiert aber nicht die Entfernung bereits indexierter URLs.