Der Googlebot scannt jede Sekunde den Inhalt unzähliger Webseiten, damit diese anschließend in den Suchergebnissen angezeigt werden können. Google hat zwei verschiede Bots im Einsatz, um Webseiten in ihrer Desktop- und mobilen Version zu überprüfen.
Vor allem in der Welt der Suchmaschinenoptimierung hat der Googlebot viele verschiedene Namen, die vor allem für Einsteiger zunächst verwirrend sein können. So ist der Bot unter anderem als Crawler bekannt. Dieser Namen stammt vom englischen Wort „to crawl“ ab. Es bedeutet so viel wie „kriechen“, da der Googlebot eine Internetseite von oben nach unten „abkriecht“. Dieser Begriff ist einer der bekannteren und wird relativ häufig verwendet.
Neben Crawler hört der Googlebot allerdings auch noch auf den Begriff Spider. So wurde der Bot vor allem in den Anfängen von SEO genannt. Ähnlich wie beim Crawler entstand die Bezeichnung Spider beim Versuch den Bot visuell darzustellen. Jedoch kriecht er nicht von oben nach unten, sondern hangelt sich wie eine Spinne an ihrem Faden nach unten, springt von Seite zu Seite und spinnt dadurch ein zusammenhängendes Netz aus Links.
Oft wird der Crawler von Google als harmloser, putziger Roboter dargestellt. Dabei ist der Bot sehr stark und kann sogar Webseiten, die nicht auf ihn vorbereitet sind, in die Knie zwingen. Denn er verfolgt jeden Link auf einer Website und untersucht die URL, die sich hinter dem Link verbirgt. Der Bot ist dabei sehr schnell und ruft mehrere URLs pro Sekunde auf. Dies kann dazu führen, dass manche Server bei der Last zusammenbrechen.
Der Crawler kann zwar viel, aber hat auch mit manchen Dingen Probleme. So kann der Googlebot Bilder noch immer nur schwer verstehen und ist deshalb auf sogenannte alt- und title-Tags angewiesen. Diese müssen vom jeweiligen Contentersteller eingepflegt werden. Das hilft nicht nur dem Googlebot, sondern auch Nutzern mit Sehschwäche, die sich so sämtliche Bildinhalte von ihrem Ausgabegerät vorlesen lassen.
Auch JavaScript, das sehr viele Seiten verwenden, kann der Bot nicht ausführen. Deshalb sollten wichtige Inhalte nicht mit JavaScript geladen werden oder sich hinter JavaScript verbergen. Denn der Crawler kann diese nicht finden. Zwar hat Google inzwischen einen Bot entwickelt, der JavaScript rendern kann, allerdings besucht dieser die Internetseite immer erst nachdem der „dümmere“ Bot die Seite untersucht hat. Es ist also riskant sich auf den „klugen“ Bot zu verlassen. Wenn der erste Crawler nämlich keine Inhalte findet, weil diese alle durch JavaScript verborgen sind, wird auch kein Signal an den „klügeren“ Crawler gesendet., da die Seite als „leer“ erachtet wird.
Es gibt viele verschiedene Wege den Bot von Google zu steuern, um so die Leistung Deiner Seite zu verbessern. Denn unter anderem kann das Ranking mit dem Googlebot stehen und fallen. Er ist schließlich für die Indexierung verantwortlich und teilt dem Algorithmus mit, welche Inhalte sich auf der Seite befinden. Kann der Crawler auf Seiten oder Inhalte nicht zugreifen, so werden diese nicht indexiert und nicht im Internet gefunden.
Da der Bot jedem Link folgt, den er auf einer Seite findet, besteht hier eine effektive Möglichkeit zu kontrollieren, welche Unterseiten zuerst gefunden werden und daher tendenziell wichtiger sind. Aus diesem Grund sind auch Verlinkungen innerhalb des Textes sehr wichtig, um den Crawler damit an zusätzliche relevante Inhalte weiterzuleiten.
Zu viele interne Links sind allerdings schädlich. Vor allem viele Links in der Navigation und im Footer können jede Seite mit einer großen Anzahl an Links aufblähen. Dies kann den Crawler verwirren, da Google häufig verlinkten Seiten eine höhere Relevanz zuordnet.
Für die direkteren Methoden, um den Googlebot zu steuern, sind ein paar Programmierkenntnisse notwendig. In der robots.txt können Seiten festgelegt werden, die der Bot nicht besuchen darf. Google hält sich daran und wird diese Seiten nicht crawlen.
Deutlich häufiger und leichter zu verwenden sind die beiden Tags nofollow und noindex. Mit deren Hilfe erhält der Crawler die Anweisungen, wie er mit Links und dem indexieren einer Seite verfahren soll. Das noindex-Tag befindet sich im Head des HTMLs und teilt dem Bot mit, dass die komplette Seite nicht in den Index fließen soll. Dadurch landen auch wirklich nur die relevanten Seiten im Index. Mit nofollow erhält der Crawler die Direktive einem Link nicht zu folgen. Das hilft dabei den Crawler zu steuern, indem er nur bestimmten Links folgen kann. Außerdem gibt man dann keinen Page Rank ab. Denn mit jedem follow Link auf eine andere Domain wird ein kleiner Teil des eigenen Page Ranks abgegeben.
Ohne den fleißigen Googlebot könnte die weltbekannte Suchmaschine nicht funktionieren. Nur durch diesen Crawler können Seiten überhaupt in die Suchergebnisse aufgenommen werden. Umso wichtiger ist es Grundkenntnisse über die Funktionsweise und Steuerungsmöglichkeiten des Googlebots Bescheid zu wissen. Mit wenigen Kniffen kann so das Ranking optimiert und dem Bot etwas Arbeit abgenommen werden.
Der Googlebot ist ein Programm, das Webseiten systematisch durchsucht und deren Inhalte im Index speichert. Es gibt einen Googlebot für Smartphones und einen für Desktop PCs. Ohne diesen Bot könnte Google keine Ergebnisse anzeigen.
Der Googlebot sieht sich immer das HTML einer Seite an und sendet es an den Index. Er folgt jedem Link auf einer Domain, um so jede Seite zu durchsuchen. Außerdem ist nur ein besonderer Googlebot in der Lage JavaScript zu rendern.
Ohne diesen Bot könnte Google keine Seiten in seinem Index speichern. Denn dieser Helfer durchsucht alle Seiten, die er findet, und sendet den HTML Inhalt an den Index. Der Algorithmus für die Suchergebnisse untersucht die Inhalte anschließend und spielt die Webseite bei passenden Suchanfragen schließlich aus.
Das ist abhängig von einigen Faktoren. So crawlt der Bot vor allem Seiten, die entweder beliebt sind oder sehr häufig aktualisiert werden. Daher kann es sein, dass manche Webseiten mehrmals am Tag gecrawlt werden und andere dagegen vielleicht nur einmal im Monat.
Low Hanging Fruits sind Aufgaben oder Produkte, die mit minimalem Aufwand einen großen Output erzeugen können. Es handelt sich dabei also um alle Maßnahmen, die einfach umgesetzt werden können. Sie zahlen auf Unternehmensziele, wie Umsatz- oder Conversionsteigerung ein. ... Weiterlesen
Backlinks stellen einen wichtigen Teil der Suchmaschinenoptimierung dar. Wie Du Backlinks richtig nutzt, erfährst Du hier! ... Weiterlesen
Die Indexierung durch Google ist eines der wichtigsten Hilfsmittel in der Suchmaschinenoptimierung. Erfahre bei uns mehr dazu! ... Weiterlesen
Du möchtest mehr über spannende Themen der Branche erfahren?