Von A-Z
Werbelexikon
Robots.txt
robots.txt ist eine Datei, die sog. Crawler von Suchmaschinen darüber informiert, welche Webseiten oder Bereiche eines Internetauftritts nicht in die Indexierung aufgenommen werden sollen.
robots.txt ist eine Datei, die sog. Crawler von Suchmaschinen darüber informiert, welche Webseiten oder Bereiche eines Internetauftritts nicht in die Indexierung aufgenommen werden sollen.