Robots.txt

SEO-Begriff kompakt erklärt

Share on facebook
Share on linkedin
Share on twitter

Was ist Robots.txt?

Robots.txt – Definition

Die Robots.txt ist eine Datei, die von dem Crawler einer Suchmaschine als erstes gecrawlt wird. Sie beinhaltet Anweisungen, was gecrawlt werden soll und was nicht.

Wozu brauche ich eine Robots.txt?

Die Datei dient als Hilfe für den Crawler, deine Seite zu verstehen. Dabei geht es hauptsächlich um die Sitemap. Das ist sowohl für ihn, als auch für dich von Vorteil. Sie hilft, bestimmte Inhalte nicht doppelt zu indexieren, was als Duplicate Content entwertet werden kann. Darunter zählen z.B. Dateien wie HTML oder Druckversionen. Der Robots ist für jeden User sichtbar. Du musst einfach nur hinter einer bestehenden URL „/robots.txt“ schreiben. Als Beispiel dient hier Google selbst.

Robots.txt Beispiel

Was muss ich in die Robots.txt schreiben?

Dein Robots Text bestimmt, was der Crawler nicht indexieren soll. Das bedeutet auf der anderen Seite aber nicht, dass er Vorgaben zur Indexierung treffen kann. Alles wird automatisch gecrawlt, es sei denn es wird vom Robots.txt verboten. Wobei verboten nicht ganz zutrifft, denn der Inhalt der Robots Datei ist rein hinweisend und die Suchmaschine selbst entscheidet, was gecrawlt wird. Von den Verbotenen (disallow) URLs hingegen kannst du wieder bestimmte Pfade erlauben (allow). Dementsprechend muss in die Datei, was du definitiv nicht von der Suchmaschine indexiert haben möchtest, wie z.B. der wp-admin bei WordPress. Zudem muss die Sitemap in der Robots verlinkt sein. Diese soll nämlich direkt als Zweites gecrawlt werden.

Wie erstelle ich eine Robots.txt Datei?

Einen Robots Text zu erstellen ist nicht schwer, grundlegend sind die wichtigsten Befehle:

  • Disallow („verbietet“ das crawlen der darauffolgenden Inhalte)
  • Allow („erlaubt“ das Crawlen von bestimmten Unterseiten der zuvor bestimmten Disallow-Inhalte)
  • User-Agent (welche Sektion des Inhalts für welchen Crawler gilt)
  • Sitemap (zeigt die Position jeder XML-Sitemap )
  • Crawl-delay (beschreibt die Zeitverzögerung, mit der ein Crawler bestimmte Seiten crawlen soll)
Robots.txt beispiel

Du möchtest diese Datei für deine Website Erstellen? Ich habe eine detaillierte Anleitung zur Erstellung einer Robots.txt Datei für dich geschrieben.

Robots.txt zusammengefasst

Der Robots Text ist schnell gemacht und von großer Bedeutung. Sie bietet reichlich Möglichkeiten, ein besseres Ranking deiner Website zu erzielen. Du solltest darauf achten, die genannten Befehle in deiner Datei unterzubringen.

Share on facebook
Share on linkedin
Share on twitter
Do-follow link

Was ist ein Do-follow link? Do-follow ist ein Deskriptor für Links, der beschreibt, dass sie von Suchmaschinen durchsucht und als Qualitätsstimmen gezählt werden. Mit anderen

Weiterlesen...
No-follow link

Was ist ein No-follow link? No-follow ist ein Deskriptor für Links, der beschreibt, dass sie von Suchmaschinen nicht durchsucht und nicht als Qualitätsstimmen gezählt werden.

Weiterlesen...
White Hat SEO
White Hat SEO

Was ist White Hat SEO? White Hat SEO bezeichnet die Art der Suchmaschinenoptimierung, welche die Richtlinien der Suchmaschinen-Betreiber einhält und auf Spam-Methoden verzichtet, anders als

Weiterlesen...

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.