You are viewing a single comment's thread from:
RE: Seiten, die Google nicht zeigen darf
Hab mich schon immer gefragt wie das abläuft,
merkwürdig aber wie einige Bots bevorzugt werden.
Was hat das für Vorteile? Der "Clewwa-Bot" kann doch einfach einen anderen Namen übermitteln.
Er kann auch einfach die robots.txt ignorieren. Niemand muss die Seite beachten.
Google ist hier ja echt noch eine von den "netteren" suchmaschinen.
die robots.txt ist eine nette sache....aber völlig optional.
Folge einfach SV und die ganze Magie wird zu 'einfacher' Technik