Von A-Z

Werbelexikon

Robots.txt

robots.txt ist eine Datei, die sog. <link http: www.janda-roscher.de ueber-uns werbelexikon crawler.html _top external-link-new-window external link in new>Crawler von Suchmaschinen darüber informiert, welche Webseiten oder Bereiche eines Internetauftritts nicht in die Indexierung aufgenommen werden sollen.