robots.txt ist eine Datei, die sog. Crawler von Suchmaschinen darüber informiert, welche Webseiten oder Bereiche eines Internetauftritts nicht in die Indexierung aufgenommen werden sollen.