Crawler

Inhaltsverzeichnis

Crawler (auch Robots) sind im Prinzip nur Programme. Programme die dazu in der Lage sind, das gesamte Internet selbstständig nach Inhalten zu durchsuchen. Dabei lesen sie Daten von Websites komplett aus und indexieren dabei diese. Sie sind das Hauptwerkzeug aller Suchmaschinen.

Die Crawler nutzen in den meisten Fällen Links auf Websites, um sich fortzubewegen. Der komplette Inhalt der ausgelesen wurde, speichern die Crawler dann im Cache. Der Inhalt wird dann geprüft und indexiert – oder nicht indexiert. Die Indexierung erfolgt dabei immer auf Basis der Algorithmen der verschiedenen Suchmaschinen. Die von den Crawlern indexierten Inhalte werden dann als Suchergebnisse ausgespielt.

Artikel teilen!
Share on facebook
Share on linkedin
Share on whatsapp
Autor
Christian
Christian

Ich bin Christian und Online-Marketing ist mein tägliches Handwerk. Ich beschäftige mich schon seit über 15 Jahren mit dem Thema Internet, Online und Marketing. Ich teile gerne mein Wissen und hoffe es hilft dir weiter.

Artikel teilen!
Share on facebook
Share on linkedin
Share on whatsapp
Christian
Christian

Ich bin Christian und Online-Marketing ist mein tägliches Handwerk. Ich beschäftige mich schon seit über 15 Jahren mit dem Thema Internet, Online und Marketing. Ich teile gerne mein Wissen und hoffe es hilft dir weiter.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.

18 + dreizehn =

#onlinemarketeer

lesenswerte Artikel

Was ist eine 302 Weiterleitung? Bei einer 302-Weiterleitung wird die URL temporär weitergeleitet. Gemäß dieser Definition werden 302-Weiterleitungen nur…
Was ist A/B-Testing? Beim AB-Testing werden zwei Systemvarianten verglichen, um herauszufinden, wann Nutzer eher das gewünschte Verhalten zeigen. Der…

Inhaltsverzeichnis

Wir wünschen allen frohe Feiertage!

Wir bedanken uns bei all unseren Kund:innen und Freund:innen für die tolle Zusammenarbeit und Unterstützung im letzten Corona-Jahr. Wir freuen uns schon auf das kommende Jahr!

Wir sind vom 27.12.2021 – 10.01.2022 nicht im Büro. Bei dringenden Anfragen oder Änderungswünschen sind wir über E-Mail erreichbar.