Googlebot

Der Googlebot scannt jede Sekunde den Inhalt unzähliger Webseiten, damit diese anschließend in den Suchergebnissen angezeigt werden können. Google hat zwei verschiede Bots im Einsatz, um Webseiten in ihrer Desktop- und mobilen Version zu überprüfen.

Die vielen Synonyme des Googlebot

Vor allem in der Welt der Suchmaschinenoptimierung hat der Googlebot viele verschiedene Namen, die vor allem für Einsteiger zunächst verwirrend sein können. So ist der Bot unter anderem als Crawler bekannt. Dieser Namen stammt vom englischen Wort „to crawl“ ab. Es bedeutet so viel wie „kriechen“, da der Googlebot eine Internetseite von oben nach unten „abkriecht“. Dieser Begriff ist einer der bekannteren und wird relativ häufig verwendet.

Neben Crawler hört der Googlebot allerdings auch noch auf den Begriff Spider. So wurde der Bot vor allem in den Anfängen von SEO genannt. Ähnlich wie beim Crawler entstand die Bezeichnung Spider beim Versuch den Bot visuell darzustellen. Jedoch kriecht er nicht von oben nach unten, sondern hangelt sich wie eine Spinne an ihrem Faden nach unten, springt von Seite zu Seite und spinnt dadurch ein zusammenhängendes Netz aus Links.

Googlebot klingt wie ein kleines Programm ist aber ein Riese

Oft wird der Crawler von Google als harmloser, putziger Roboter dargestellt. Dabei ist der Bot sehr stark und kann sogar Webseiten, die nicht auf ihn vorbereitet sind, in die Knie zwingen. Denn er verfolgt jeden Link auf einer Website und untersucht die URL, die sich hinter dem Link verbirgt. Der Bot ist dabei sehr schnell und ruft mehrere URLs pro Sekunde auf. Dies kann dazu führen, dass manche Server bei der Last zusammenbrechen.

Er kann aber auch nicht alles

Der Crawler kann zwar viel, aber hat auch mit manchen Dingen Probleme. So kann der Googlebot Bilder noch immer nur schwer verstehen und ist deshalb auf sogenannte alt- und title-Tags angewiesen. Diese müssen vom jeweiligen Contentersteller eingepflegt werden. Das hilft nicht nur dem Googlebot, sondern auch Nutzern mit Sehschwäche, die sich so sämtliche Bildinhalte von ihrem Ausgabegerät vorlesen lassen.

Auch JavaScript, das sehr viele Seiten verwenden, kann der Bot nicht ausführen. Deshalb sollten wichtige Inhalte nicht mit JavaScript geladen werden oder sich hinter JavaScript verbergen. Denn der Crawler kann diese nicht finden. Zwar hat Google inzwischen einen Bot entwickelt, der JavaScript rendern kann, allerdings besucht dieser die Internetseite immer erst nachdem der „dümmere“ Bot die Seite untersucht hat. Es ist also riskant sich auf den „klugen“ Bot zu verlassen. Wenn der erste Crawler nämlich keine Inhalte findet, weil diese alle durch JavaScript verborgen sind, wird auch kein Signal an den „klügeren“ Crawler gesendet., da die Seite als „leer“ erachtet wird.

Der Googlebot kann gesteuert werden

Es gibt viele verschiedene Wege den Bot von Google zu steuern, um so die Leistung Deiner Seite zu verbessern. Denn unter anderem kann das Ranking mit dem Googlebot stehen und fallen. Er ist schließlich für die Indexierung verantwortlich und teilt dem Algorithmus mit, welche Inhalte sich auf der Seite befinden. Kann der Crawler auf Seiten oder Inhalte nicht zugreifen, so werden diese nicht indexiert und nicht im Internet gefunden.

Steuerung durch interne Verlinkungen

Da der Bot jedem Link folgt, den er auf einer Seite findet, besteht hier eine effektive Möglichkeit zu kontrollieren, welche Unterseiten zuerst gefunden werden und daher tendenziell wichtiger sind. Aus diesem Grund sind auch Verlinkungen innerhalb des Textes sehr wichtig, um den Crawler damit an zusätzliche relevante Inhalte weiterzuleiten.

Zu viele interne Links sind allerdings schädlich. Vor allem viele Links in der Navigation und im Footer können jede Seite mit einer großen Anzahl an Links aufblähen. Dies kann den Crawler verwirren, da Google häufig verlinkten Seiten eine höhere Relevanz zuordnet.

Robots.txt, nofollow- und noindex-Tags

Für die direkteren Methoden, um den Googlebot zu steuern, sind ein paar Programmierkenntnisse notwendig. In der robots.txt können Seiten festgelegt werden, die der Bot nicht besuchen darf. Google hält sich daran und wird diese Seiten nicht crawlen.

Deutlich häufiger und leichter zu verwenden sind die beiden Tags nofollow und noindex. Mit deren Hilfe erhält der Crawler die Anweisungen, wie er mit Links und dem indexieren einer Seite verfahren soll. Das noindex-Tag befindet sich im Head des HTMLs und teilt dem Bot mit, dass die komplette Seite nicht in den Index fließen soll. Dadurch landen auch wirklich nur die relevanten Seiten im Index. Mit nofollow erhält der Crawler die Direktive einem Link nicht zu folgen. Das hilft dabei den Crawler zu steuern, indem er nur bestimmten Links folgen kann. Außerdem gibt man dann keinen Page Rank ab. Denn mit jedem follow Link auf eine andere Domain wird ein kleiner Teil des eigenen Page Ranks abgegeben.

Ohne Googlebot kein Google

Ohne den fleißigen Googlebot könnte die weltbekannte Suchmaschine nicht funktionieren. Nur durch diesen Crawler können Seiten überhaupt in die Suchergebnisse aufgenommen werden. Umso wichtiger ist es Grundkenntnisse über die Funktionsweise und Steuerungsmöglichkeiten des Googlebots Bescheid zu wissen. Mit wenigen Kniffen kann so das Ranking optimiert und dem Bot etwas Arbeit abgenommen werden.

Fragen zum Thema Googlebot:

Was ist der Googlebot?

Der Googlebot ist ein Programm, das Webseiten systematisch durchsucht und deren Inhalte im Index speichert. Es gibt einen Googlebot für Smartphones und einen für Desktop PCs. Ohne diesen Bot könnte Google keine Ergebnisse anzeigen.

Wie funktioniert der Googlebot?

Der Googlebot sieht sich immer das HTML einer Seite an und sendet es an den Index. Er folgt jedem Link auf einer Domain, um so jede Seite zu durchsuchen. Außerdem ist nur ein besonderer Googlebot in der Lage JavaScript zu rendern.

Warum ist der Googlebot wichtig?

Ohne diesen Bot könnte Google keine Seiten in seinem Index speichern. Denn dieser Helfer durchsucht alle Seiten, die er findet, und sendet den HTML Inhalt an den Index. Der Algorithmus für die Suchergebnisse untersucht die Inhalte anschließend und spielt die Webseite bei passenden Suchanfragen schließlich aus.

Wie häufig arbeitet der Googlebot?

Das ist abhängig von einigen Faktoren. So crawlt der Bot vor allem Seiten, die entweder beliebt sind oder sehr häufig aktualisiert werden. Daher kann es sein, dass manche Webseiten mehrmals am Tag gecrawlt werden und andere dagegen vielleicht nur einmal im Monat.

eo:wiki

Kontakt

Dein Kontakt
zu uns

  +49 9381 5829000