Crawler

Ein Crawler (engl. to crawl = kraulen / krabbeln), auch Spider oder Robot genannt, ist ein softwaregestützter Suchroboter, der Inhalte im Internet selbstständig durchsucht und Daten sammelt. Diese Daten können dann indexiert, analysiert, aufbereitet und weiterverarbeitet werden.