Google ändert Regeln für robots.txt

Ein CMSimple Support Forum für deutsch sprechende Nutzer und Entwickler
Post Reply
frase
Posts: 2945
Joined: Thu Apr 21, 2016 6:32 am
Location: Saxony
Contact:

Google ändert Regeln für robots.txt

Post by frase » Sun Jul 21, 2019 8:37 pm

Quelle:
https://t3n.de/news/robotstxt-google-sc ... e-1175830/

Ab 01.09.2019 werden in der robots.txt folgende Anweisungen nicht mehr von Google befolgt:
- Noindex
- Nofollow
- Crawl-delay

Das wird für die meisten uninteressant sein, weil wir sowas normalerweise im Meta-Tab für einzelne Seiten regeln.
Dennoch eine wichtige Info - finde ich.

olape
Posts: 860
Joined: Fri Mar 13, 2015 8:47 am
Contact:

Re: Google ändert Regeln für robots.txt

Post by olape » Mon Jul 22, 2019 4:10 am

Solche Infos sind immer wichtig.

Wobei ich zugeben muss, ich kannte alle 3 nicht im Zusammenhang mit robots.txt.

meltemi
Posts: 163
Joined: Sat Feb 22, 2014 10:11 pm
Location: Franken (Deutschland)
Contact:

Re: Google ändert Regeln für robots.txt

Post by meltemi » Mon Jul 22, 2019 10:44 pm

frase, t3n zitierend, wrote:Ab 01.09.2019 werden in der robots.txt folgende Anweisungen nicht mehr von Google befolgt:
- Noindex
- Nofollow
- Crawl-delay
Die Angabe noindex in der robots.txt hat (zumindest bei Google) noch nie funktioniert.

Ob die Angabe nofollow in der robots.txt jemals funktioniert hat, läßt sich kaum testen. Denn "nofollow" (auch im Meta-Element robots und im Attribut rel="nofollow" beim Element a) heißt für Google: ich folge dem Link genauso wie ohne nofollow, aber die verlinkte Zielseite hat davon keinen Vorteil.

Die Angabe crawl-delay (auch über die alte Google-"Search Console" möglich) käme ohnehin nur in Betracht für Seiten, die täglich mehrfach geändert werden, und die zugleich täglich massenhaft über Google aufgerufen werden (zB ADAC, Spiegel). Die Festlegung für andere Seiten ist überflüssig.

Post Reply