Deprecated function: Array and string offset access syntax with curly braces is deprecated in include_once() (line 20 of /home/www/webhostingcheck.eu/includes/file.phar.inc).

robots.txt Datei erstellen

robots.txt Datei erstellen

Jede Website sollte eine haben - die Rede ist von einer bestimmten Datei Namens "robots.txt"

Diese kleine Textdatei dient dazu den Robots und Crawlern zu sagen auf welche Verzeichnisse und Dateien diese Zugriff haben und auf welche nicht. Robots und Crawler sind kleine Programme/Skripte die zur Aufgabe haben, alle Websites im Internet (also auch Ihre) anhand von verschiedenen Faktoren zu analysieren und z.B. den Inhalt der Website auslesen und speichern. Diese kleinen Internet-Robots werden hauptsächlich von Suchmaschienen eingesetzt, aber leider auch immer öfter für bösartige Zwecke wie Datenklau und unrechtmäßiges kopieren und verwenden der Inhalte einer Website.
 

Erstellen einer robots.txt Datei

Die Datei sollten Sie am besten mit einem einfachen Text-Editor wie dem Windows-Editor oder z.B. dem Nodepad++ Editor erstellen.

Alternativ finden Sie in den Suchmaschinen unter dem Begriff "robots.txt Generator" auch zahlreiche kostenlose Tools mit denen man einfach und schnell seine persönliche robots.txt Datei erstellen kann.

Die fertige robots.txt Datei muss anschließend in das Hauptverzeichnis (Root-Verzeichnis) Ihrer Website hochgeladen werden und muss den exakten Dateinamen "robots.txt" haben, damit diese richtig erkannt wird.
 

Aufbau der robots.txt Datei

Die Korrektheit der Schreibweise der Befehle einer robots.txt Datei ist sehr wichtig, da die Befehle ansonsten nicht erkannt werden und unter umständen die gesamte Datei außer Funktion ist. Jede einzelne Regel muss außerdem in eine neue Zeile geschrieben werden.

Mit dem Befehl User-agent definiert man welche robots auf die nachfolgenden Befehle reagieren sollen. Mit dem Befehl User-agent: * gelten die nachfolgenden Regeln für alle Robots und Crawler.

Der Befehl Disallow: innerhalb der robots.txt Datei gibt an, welche Verzeichnisse nicht ausgelesen und indiziert werden sollen.

Sperrung eines ganzen Unterordners würde dann so aussehen:
Disallow: /name-des-unterordners/

Sperrung einer einzelnen Datei im Root-Verzeichnis sieht dann so aus:
Disallow: /datiename.html

Sperrung einer einzelnen Datei in einem bestimmten Unterverzeichnis sieht dann so aus:
Disallow: /name-des-unterordners/datiename.html

Beispiel für eine korrekte robots.txt Datei:

# http://www.beispiel-website.de/robots.txt
User-agent: *
Disallow: /news/
Disallow: /temp/
Disallow: /sonstiges.html

Alle Verzeichnisse und Dateien der Website sperren:

# http://www.beispiel-website.de/robots.txt
User-agent: *
Disallow: /

Alle Verzeichnisse und Dateien der Website freigeben:

# http://www.beispiel-website.de/robots.txt
User-agent: *
Disallow:

Man kann auch verschiedene Regeln für für verschiedene Robots erstellen, aber das würde an dieser Stelle den Rahmen sprengen und ist eher etwas für erfahrene Webmaster und Administratoren die wissen wozu und wie Sie versch. Regeln für versch. Robots einsetzen wollen. In den aller meisten Fällen reicht es völlig aus die Regeln mit dem Befehl User-agent: * für alle Robots gleich zu setzen.
 

Wichtige Infos zur Verwendung der robots.txt Datei

Die Datei kann keine Zugriffe auf die Website und deren Inhalte und Unterseiten verhindern, sondern sagt lediglich den robots und crawlern das Sie z.B. auf bestimmte Verzeichnisse nicht zugreifen sollen und diese somit nicht auslesen sollen. Die User/ Besucher Ihrer Website können bei entsprechender Verlinkung aber trotzdem noch ganz normal auf diese Inhalte und Unterseiten zugreifen. Wenn Sie einzelne Inhalte oder Unterseiten auch für User sperren wollen, müssen Sie hierfür z.B. einen Passwortschutz für die entsprechenden Seiten einrichten.
 

Hier finden Sie einen Vergleich der von uns empfohlenen Webhosting Anbieter!

 

Wie gefällt Ihnen der Artikel?

5
Durchschnitt (3 votes)

Neuen Kommentar schreiben

CAPTCHA
Dies dient dazu unerwünschten Spam zu vermeiden.
Bild-CAPTCHA
Geben Sie die Zeichen ein, die im Bild gezeigt werden.