Crawler

Inhaltsverzeichnis

Crawler (auch Robots) sind im Prinzip nur Programme. Programme die dazu in der Lage sind, das gesamte Internet selbstständig nach Inhalten zu durchsuchen. Dabei lesen sie Daten von Websites komplett aus und indexieren dabei diese. Sie sind das Hauptwerkzeug aller Suchmaschinen.

Die Crawler nutzen in den meisten Fällen Links auf Websites, um sich fortzubewegen. Der komplette Inhalt der ausgelesen wurde, speichern die Crawler dann im Cache. Der Inhalt wird dann geprüft und indexiert – oder nicht indexiert. Die Indexierung erfolgt dabei immer auf Basis der Algorithmen der verschiedenen Suchmaschinen. Die von den Crawlern indexierten Inhalte werden dann als Suchergebnisse ausgespielt.

Artikel teilen!
Autor
Picture of Christian
Christian

Ich bin Christian und Online-Marketing ist mein tägliches Handwerk. Ich beschäftige mich schon seit über 15 Jahren mit dem Thema Internet, Online und Marketing. Ich teile gerne mein Wissen und hoffe es hilft dir weiter.

Artikel teilen!
Picture of Christian
Christian

Ich bin Christian und Online-Marketing ist mein tägliches Handwerk. Ich beschäftige mich schon seit über 15 Jahren mit dem Thema Internet, Online und Marketing. Ich teile gerne mein Wissen und hoffe es hilft dir weiter.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

#onlinemarketeer

lesenswerte Artikel

Was ist eine 302 Weiterleitung? Bei einer 302-Weiterleitung wird die URL temporär weitergeleitet. Gemäß dieser Definition werden 302-Weiterleitungen nur…
Was ist A/B-Testing? Beim AB-Testing werden zwei Systemvarianten verglichen, um herauszufinden, wann Nutzer eher das gewünschte Verhalten zeigen. Der…

Inhaltsverzeichnis