Meta-Robots-Tag

Das Meta-Robots-Tag ist ein HTML-Element im Kopfbereich einer Seite, das Suchmaschinen seitenspezifische Anweisungen zur Indexierung und Linkverfolgung gibt. Über Werte wie index, noindex, follow und nofollow wird festgelegt, ob die Seite in den Index aufgenommen wird und ob den enthaltenen Links Signale weitergegeben werden.

Im Gegensatz zur robots.txt, die auf Crawl-Ebene wirkt, greift das Meta-Robots-Tag auf Ebene der einzelnen Seite und steuert direkt das Indexierungsverhalten. Damit Google die Anweisung lesen kann, muss die Seite crawlbar sein, also nicht zusätzlich per robots.txt gesperrt werden. Alternativ lässt sich dieselbe Steuerung über den HTTP-Header X-Robots-Tag umsetzen.