Denkfehler!cmb wrote:noindex sollte, soweit ich weiß, genügen, damit Suchmaschinen die Seite nicht indexieren. Aber eigentlich sehe ich keinen Grund, die Searchbots eine Seite lesen zu lassen, die sowieso nicht indexiert werden soll.
Wenn Seiten in der robots.txt gesperrt werden, sehen die bots die Angabe noindex doch gar nicht. Folge: Wenn die Seiten von außen verlinkt werden (wie zB hier im Forum), können sie von Suchmaschinen indexiert werden. (Ich habe nicht geprüft, ob es in diesem Fall so ist.)
Crawling und Indexierung sind zwei Paar Stiefel. Weitere Einzelheiten hier bei mir.
Reicht aus, jedenfalls bei Google und Bing (aber keine Sperre in der robots.txt).graf_ikea wrote:sollte denn noindex, nofollow nicht ausreichen ?