Von A-Z

Werbelexikon

Crawler

Ein Crawler (zu dt. kraulen oder krabbeln), auch Spider oder Bot genannt, ist eine Art softwaregestützter Suchroboter, der Inhalte von Webseiten durchsucht, dabei relevante Daten sammelt und auswertet. Diese Daten werden indexiert, analysiert und kategorisiert und können dann aufbereitet bzw. weiterverarbeitet werden. Crawler werden von Suchmaschinenanbietern genutzt, sie werden aber auch eingesetzt, um RSS-Newsfeed und E-Mail-Adressen zu generieren.