Die „robots.txt“-Datei: Das müssen Sie wissen

Bei der „robots.txt"-Datei handelt es sich um einen oft übersehenen und manchmal vergessenen Teil einer Website und SEO. Nichtsdestotrotz bildet die „robots.txt"-Datei einen wesentlichen Bestandteil der Suchmaschinenoptimierung. Erfahren Sie in diesem Beitrag der Online Marketing Factory mehr über „robots.txt"-Dateien.

Was genau ist eine robots.txt-Datei?

Eine „robots.txt"-Datei kann für eine Vielzahl von Dingen verwendet werden. Allem voran ist sie jedoch dafür da, Suchmaschinen aufzuzeigen, wohin diese auf einer Website navigieren müssen. Hierfür muss die Sitemap der Suchmaschine zu verstehen geben, welche Seiten zu crawlen und welche nicht zu crawlen sind. Zudem bildet die „robots.txt"-Datei ein grossartiges Tool, um das jeweilige Crawl-Budget zu verwalten.

Ein Crawl-Budget wird von Google verwendet, um effektiv zu crawlen und Ihre Seiten zu indexieren. Denn so gross wie Google auch sein mag, es existiert auch heute nur eine begrenzte Anzahl von Ressourcen. Hat Ihre Website nur hundert URLs, dann sollte Google in der Lage sein, die Seiten leicht zu durchsuchen und zu indexieren.

Ist Ihre Website jedoch sehr gross (was oft bei E-Commerce-Sites der Fall ist) und Sie verfügen über Tausende von Seiten mit etlichen automatisch generierten URLs, so ist es Google nicht möglich, all diese Seiten zu durchsuchen. Infolgedessen werden Ihnen Traffic und Sichtbarkeit verloren gehen. Sind also viele Seiten vorhanden müssen Sie festlegen, welche dieser Seiten Sie priorisieren und indexieren lassen.

Google hat bereits zuvor mitgeteilt, dass viele URLs mit geringem Mehrwert das Crawlen und die Indexierung einer Website negativ beeinflussen können.

Somit bildet die Indexierung einer „robots.txt"-Datei einen wichtigen Faktor, der das Crawl-Budget Ihrer Website massgeblich prägt. Die Datei hilft Ihnen dabei Ihre Seiten zu verwalten und sicherzustellen, dass Suchmaschinen Ihre Website so effizient wie möglich crawlen.

Warum ist eine „robots.txt"-Datei relevant?

Bevor ein Crawler wie bspw. der Googlebot oder der Bingbot eine Website durchsucht, überprüft dieser zunächst, ob eine „robots.txt"-Datei existiert. Ist eine solche vorhanden, so folgen die Crawler in der Regel den Anweisungen, die in dieser Datei gefunden wurden.

Eine „robots.txt"-Datei stellt dementsprechend ein mächtiges Tool hinsichtlich SEO dar. Sie bietet eine tolle Möglichkeit das Indexierungs-Verhalten von Bots zu steuern.

Wird die „robots.txt"-Datei richtig eingesetzt, haben Sie die folgenden Optionen:

• Sie können verhindern, dass bestimmte Dateien auf Ihrer Website (Bilder, PDFs, etc.) indexiert werden.
• Sie sind in der Lage Zugriffe auf ganze Bereiche Ihrer Website (Entwicklungs- und Stagingumgebung usw.) zu sperren.
• Sie können die Position Ihrer Sitemap festlegen.
• Sie wissen, wie Sie das Crawl-Budget durch Sperrung des Zugriffs auf Seiten mit geringem Wert (Login, Danke, Einkaufswagen usw.) optimieren.

Überprüfen Sie, ob eine „robots.txt"-Datei vorhanden ist

Wenn Sie sich nicht sicher sind, ob Ihre Website überhaupt eine „robots.txt"-Datei besitzt, können Sie dies ganz leicht überprüfen. Alles, was Sie hierfür tun müssen, ist die Haupt-Domain Ihrer Website aufzurufen und dann „/robots.txt" am Ende der URL hinzuzufügen. Beispiel: www.beispielseite.ch/robots.txt
Wenn nichts auftaucht, dann verfügen Sie über keine „robots.txt"-Datei auf Ihrer Website.

Beachten Sie bzgl. „robots.txt"-Dateien die folgenden Dinge

• Stellen Sie sicher, dass alle wichtigen Seiten durchsucht werden können und Inhalte, die keinen Mehrwert bieten, blockiert werden.
• Blockieren Sie keinesfalls die JavaScript- und CSS-Dateien Ihrer Website.
• Führen Sie immer wieder eine kurze Überprüfung der „robots.txt"-Datei durch, um sicherzustellen, dass sich nichts verändert hat.
• Achten Sie auf die korrekte Grossschreibung von Verzeichnis-, Unterverzeichnis- und Dateinamen.
• Legen Sie die „robots.txt"-Datei in das Stammverzeichnis Ihrer Website, damit sie gefunden wird.
• Die „robots.txt"-Datei muss zwingend mit "robots.txt" bezeichnet werden.
• Verwenden Sie die „robots.txt"-Datei nicht, um private Benutzerinformationen auszublenden, da diese weiterhin sichtbar sind.
• Fügen Sie Ihren Sitemap-Standort zu Ihrer „robots.txt"-Datei hinzu.
• Stellen Sie sicher, dass Sie keinerlei Inhalte Ihrer Website blockieren, die Sie durchsucht haben möchten.

Das Einbinden einer „robots.txt"-Datei zahlt sich aus

Indem Sie Ihre „robots.txt"-Datei richtig einbinden, helfen Sie Suchmaschinen-Bots, Ihre Website sinnvoll und effizient zu crawlen. Dies ist relevant, um ein solides Ranking in den SERPs zu erzielen.

Beachten Sie, dass es nicht unbedingt viel Zeit und Mühe erfordert, eine „robots.txt"-Datei einzurichten. In den meisten Fällen handelt es sich um ein einmaliges Setup, bei dem Sie fortlaufend je nach Bedürfnis kleine Optimierungen und Änderungen vornehmen können.

Hoffentlich ermutigt Sie dieser Beitrag und gibt Ihnen das nötigte Vertrauen, eine „robots.txt"-Datei in Ihrer Website einzubinden. Sie werden es nicht bereuen.