Was robots.txt macht

Eine im Stammverzeichnis des Hosts abgelegte Datei legt Download-Regeln für bestimmte Roboter fest. Es dient nicht der Sicherung von Daten. Eine blockierte Adresse kann weiterhin in Ergebnissen erscheinen, die auf Links von anderen Websites basieren.

Quelle: Google: Schicksal robots.txt ↗

Bevor Sie die Regel ändern, notieren Sie sich Beispieladressen, die erreichbar und gesperrt sein sollen. Testen Sie sowohl den Katalog als auch die Unterseiten mit Parametern. Überprüfen Sie den richtigen Host – Regeln für eine Subdomain sind nicht automatisch Regeln für die gesamte Organisation.

Wann funktioniert noindex?

Die noindex-Direktive kann im Robots-Meta-Tag oder im X-Robots-Tag-Header übergeben werden. Damit Google es sehen kann, muss es die Ressource herunterladen können. Das Blockieren derselben Adresse in robots.txt kann daher verhindern, dass der Noindex gelesen wird.

Quelle: Google: Indexierung blockieren ↗

Beispiel für eine öffentliche Dankesseite

Wenn Sie möchten, dass Ihre Seite nach dem Absenden eines Formulars zugänglich ist, aber nicht in Google erscheint, sollten Sie noindex in Betracht ziehen, während sie weiterhin herunterladbar ist. Platzieren Sie darauf keine Kundendaten, die ohne Authentifizierung zugänglich sind.

So blockieren Sie nicht die gesamte Website

Eine häufige organisatorische Gefahr besteht darin, Testumgebungseinstellungen in die Produktion zu übertragen. Überprüfen Sie nach der Veröffentlichung verschiedene Seitentypen, ihre Header und robots.txt. Beschränken Sie Ihre Kontrolle nicht auf die Startseite – Ihre Produktvorlage kann andere Einstellungen haben.

Speichern Sie Änderungen im Versionsverlauf. Geben Sie in Ihrer Bestellung das erwartete Ergebnis für jede Beispieladresse an. Dadurch kann die Absicht auch von einer Person überprüft werden, die die Regeln nicht geschrieben hat.

Privatsphäre erfordert Zugangskontrolle

Das Kundenpanel, Bestelldokumente und Privatdateien erfordern eine Authentifizierung und eine korrekte Autorisierung. Robots.txt ist öffentlich und zwingt kein Programm zur Einhaltung von Regeln. Noindex bietet auch keinen Schutz davor, dass jemand die Adresse kennt. Bei privaten Daten geht es darum, den Zugriff zu sichern und nicht nur das Ergebnis aus der Suchmaschine zu entfernen.

FÜR DEN EINSATZ IN DER PRAXIS

Ihre Checkliste

  • Schreiben Sie Ihr Ziel auf: Downloads begrenzen oder die Indizierung deaktivieren.
  • Blockieren Sie nicht versehentlich das Lesen einer Noindex-Anweisung.
  • Überprüfen Sie nach der Veröffentlichung verschiedene Arten von Unterseiten.
  • Sichern Sie private Ressourcen auf der Serverseite.

Quellen und Neuigkeiten

Dokumentation überprüft am 21. September 2026. Die Beispiele im Artikel dienen der Veranschaulichung – sie beschreiben keine Auditergebnisse oder Kundenimplementierung.

Mit Hilfe von KI entwickeltes Lehrmaterial basierend auf den angegebenen Quellen. Sie ersetzen nicht die individuelle Begutachtung der Website durch einen Spezialisten. Redaktionelle Regeln.