Crawler (auch Robots) sind im Prinzip nur Programme. Programme die dazu in der Lage sind, das gesamte Internet selbstständig nach Inhalten zu durchsuchen. Dabei lesen sie Daten von Websites komplett aus und indexieren dabei diese. Sie sind das Hauptwerkzeug aller Suchmaschinen.
Die Crawler nutzen in den meisten Fällen Links auf Websites, um sich fortzubewegen. Der komplette Inhalt der ausgelesen wurde, speichern die Crawler dann im Cache. Der Inhalt wird dann geprüft und indexiert – oder nicht indexiert. Die Indexierung erfolgt dabei immer auf Basis der Algorithmen der verschiedenen Suchmaschinen. Die von den Crawlern indexierten Inhalte werden dann als Suchergebnisse ausgespielt.
