Dieser Text beschreibt Webcrawler.
Der untere Text beinhaltet die Webcrawler Beschreibung. Soweit es sich um ein definierbares Objekt handelt, sollte hier eine Webcrawler Definition vorhanden sein. Sollte eine Definition von Webcrawler fehlen, kann diese von Ihnen verfaßt werden. Wir sind bestrebt die Beschreibung von Webcrawler möglichst ausführlich zu halten.
Jeder Text bei Know-Library, sowie ein Teil davon (Definition, Beschreibung etc.), außer Bücher Beschreibungen kann bearbeitet werden. Falls die Beschreibung auf dieser Seite nicht korrekt ist klicken Sie auf 'Beschreibung editieren' um den Text zu korrigieren bzw. neuen einzufügen. Weitere Informationen und Bücher zum Thema Webcrawler Beschreibung , so wie Link zum Forum finden Sie weiter unten. Eine Übersicht der Texte, die das Thema Webcrawler beschreiben finden Sie auf der Seite alle Artikel über Webcrawler. Fragen zu dem Thema Webcrawler können im Forum gestellt werden. Klicken Sie hier um zu dem Forum zu wechseln.
Webcrawler ArtikelEin Webcrawler (auch Spider oder robot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind beispielsweise das Sammeln von Mailadressen oder anderen Informationen.
Wie beim Internetsurfen gelangt ein Webcrawler über Hyperlinks von einer Webseite zu weiteren URLs. Dabei werden alle bisher bekannten Adressen gespeichert und der Reihe nach besucht. Die neu gefundenen Hyperlinks werden zur Liste aller URLs, hinzugefügt. Auf diese Weise können theoretisch alle erreichbaren Seiten des WWW gefunden werden können. In der Praxis wird jedoch häufig eine Auswahl getroffen und der Prozess wird irgendwann beendet und von vorne begonnen. Webcrawler sind eine spezielle Art von Bots und werden auch als Spinnen genannt, da sich sich wie diese in einem Netz fortbewegen.
Ja nach Aufgabe des Webcrawlers wird der Inhalt der gefundenen Webseiten beispielsweise mittels Indexierung ausgewertet und gespeichert, um ein späteres Suchen in den so gesammelten Daten zu ermöglichen. Dabei werden verschiedene Ranking-Algorithmen eingesetz. Webcrawler werden auch zu dem Data Mining und zur Behandlung des Internets (Webometrie) eingesetzt und müssen nicht zwangsläufig auf das WWW beschränkt sein. Ein Großteil des gesamten Internets wird jedoch von Webcrawlern und damit auch mit bekannten Suchmaschinen nicht erfasst, da viele Inhalte nicht über einfache Links sondern beispielsweise ca. über Suchmasken und zugangsbeschränkte Portale erreichbar sind. Man spricht bei diesen Bereichen auch vom "Deep Web".
Mit Hilfe des Robots Exclusion Standards kann ein Webseitenbetreiber in der Datei robots.txt und in bestimmten Meta-Tags in dem HTML-Header einem Webcrawler mitteilen, welche Seiten er indexieren soll und welche nicht, sofern sich der Webcrawler an das Protokoll hält.
Eine besondere Form von Webcrawlern sind Software-Agenten, bei denen eine Menge von autonomen Programmen das Web gemeinsam durchsuchen.==Siehe auch==
Webspinnen (die Tiere), Wrapper, Metasuchmaschine, Bot, Suchmaschine
Weiteres zu dem Artikel Webcrawler | | Andere Leser interessierten sich auch für folgende Beschreibungen: | Spinnen, Menge, Untersuchung, Www, Protokoll | | Schnellzugrif auf verwandte Texte: | | | NEU! Frage im Forum zum Thema: | | Wenn die Beschreibung 'Webcrawler' Ihrer Meinung nach nicht korrekt ist oder in aktueller Version Fehler enthalten sind oder es fehlt die Webcrawler Definition, dann klicken Sie bitte auf "Beschreibung bearbeiten" und schreiben Sie die Eigene Version des Textes. Die Änderungen in der Beschreibung werden sofort aktiv und für alle sichtbar. Ein Administrator wird Ihre Version der Beschreibung und Definition von 'Webcrawler' nachher prüfen. Bitte achten Sie auf die Urheberrechte (Copyright). Wir sind für die besseren Beschreibung von 'Webcrawler' und 'Webcrawler' Definition sehr dankbar.
Alle Tipps zu den Bücher auf dieser Seite wurden automatisch generiert. D.h. die Bücher wurden aus einer Datenbank von dem Computer ausgesucht. Deshalb kann es vorkommen, dass vorgeschlagene Bücher nicht ganz der 'Webcrawler' Beschreibung entsprechen.
Liste aller verwandten Artikel: Aufgabe, Datei, Daten, Indexierung, Inhalt, Internetsurfen, Links, Liste, Menge, Mining, Portale, Praxis, Protokoll, Prozess, Reihe, Sammeln, Spider, Spinnen, Standards, Suchen, Suchmaschinen, Untersuchung, Webcrawler, Webseite, Webseiten, Weise, Www |
|
|
