Spider

Als Spider bezeichnet man Programme, die kontinuierlich Webseiten im Internet indexieren. Dieser Vorgang besteht darin, die Inhalte der Webseiten in durchsuchbarer Form in einer eigenen Datenbank abzulegen und allen Links zu folgen. Ferner werden manuell angemeldete Webseiten auf diesem Wege inspiziert.

Andere Worte für Spider: Bot, Crawler, Robot