Page 1 of 1
Google ändert Regeln für robots.txt
Posted: Sun Jul 21, 2019 8:37 pm
by frase
Quelle:
https://t3n.de/news/robotstxt-google-sc ... e-1175830/
Ab 01.09.2019 werden in der robots.txt folgende Anweisungen nicht mehr von Google befolgt:
- Noindex
- Nofollow
- Crawl-delay
Das wird für die meisten uninteressant sein, weil wir sowas normalerweise im Meta-Tab für einzelne Seiten regeln.
Dennoch eine wichtige Info - finde ich.
Re: Google ändert Regeln für robots.txt
Posted: Mon Jul 22, 2019 4:10 am
by olape
Solche Infos sind immer wichtig.
Wobei ich zugeben muss, ich kannte alle 3 nicht im Zusammenhang mit robots.txt.
Re: Google ändert Regeln für robots.txt
Posted: Mon Jul 22, 2019 10:44 pm
by meltemi
frase, t3n zitierend, wrote:Ab 01.09.2019 werden in der robots.txt folgende Anweisungen nicht mehr von Google befolgt:
- Noindex
- Nofollow
- Crawl-delay
Die Angabe noindex in der robots.txt hat (zumindest bei Google) noch nie funktioniert.
Ob die Angabe nofollow in der robots.txt jemals funktioniert hat, läßt sich kaum testen. Denn "nofollow" (auch im Meta-Element robots und im Attribut rel="nofollow" beim Element a) heißt für Google: ich folge dem Link genauso wie ohne nofollow, aber die verlinkte Zielseite hat davon keinen Vorteil.
Die Angabe crawl-delay (auch über die alte Google-"Search Console" möglich) käme ohnehin nur in Betracht für Seiten, die täglich mehrfach geändert werden, und die zugleich täglich massenhaft über Google aufgerufen werden (zB ADAC, Spiegel). Die Festlegung für andere Seiten ist überflüssig.