Wie man Chrome verwendet, um eine Website als Googlebot anzuzeigen

Neural Coupling und die Wirkung im Webdesign

Inhaltsverzeichnis

Einführung in das Googlebot-Spoofing

In diesem Artikel beschreibe ich, wie und warum man Google Chrome (oder Chrome Canary) verwendet, um eine Website als Googlebot anzuzeigen.

Wir werden einen Webbrowser speziell für Googlebot-Browsing einrichten. Die Verwendung einer User-Agent-Browsererweiterung ist für SEO-Audits oft ausreichend, aber es sind zusätzliche Schritte erforderlich, um der Emulation von Googlebot so nahe wie möglich zu kommen.

Warum sollte ich mir eine Website als Googlebot ansehen?

Viele Jahre lang hatten wir technischen SEOs es bei der Prüfung von Websites leicht, denn HTML und CSS waren die wichtigsten Sprachen des Webdesigns. JavaScript wurde im Allgemeinen für Verschönerungen (wie kleine Animationen auf einer Webseite) verwendet.

Zunehmend werden jedoch ganze Websites mit JavaScript erstellt.

Ursprünglich schickten Webserver komplette Websites (vollständig gerendertes HTML) an Webbrowser. Heutzutage werden viele Websites clientseitig gerendert (im Webbrowser selbst) – sei es Chrome, Safari oder der Browser, den ein Suchbot verwendet.

Aus SEO-Gesichtspunkten können einige Suchroboter JavaScript nicht darstellen, so dass sie Webseiten, die damit erstellt wurden, nicht sehen. Vor allem im Vergleich zu HTML und CSS ist das Rendern von JavaScript sehr teuer. Es beansprucht viel mehr Rechenleistung eines Geräts – was den Akku des Geräts belastet – und viel mehr Serverressourcen von Google, Bing oder einer anderen Suchmaschine.

Sogar Googlebot hat Schwierigkeiten beim Rendern von JavaScript und verzögert das Rendern von JavaScript über die anfängliche URL-Entdeckung hinaus – manchmal für Tage oder Wochen, je nach Website. Wenn ich in der Google Search Console im Abschnitt Coverage (oder Pages) für mehrere URLs die Meldung „Discovered – currently not indexed“ (Entdeckt – derzeit nicht indiziert) sehe, ist die Website in den meisten Fällen JavaScript-rendered.

Um potenzielle SEO-Probleme zu umgehen, verwenden einige Websites dynamisches Rendering, so dass jede Seite zwei Versionen hat:

  • Eine serverseitige Darstellung für Bots (wie Googlebot und bingbot).
  • Ein clientseitiges Rendering für die Benutzer der Website.

Im Allgemeinen bin ich der Meinung, dass diese Art von Website zu kompliziert ist und mehr technische SEO-Probleme verursacht als eine serverseitig gerenderte oder traditionelle HTML-Website. Ein kleiner Tadel an dieser Stelle: Es gibt Ausnahmen, aber generell halte ich clientseitig gerenderte Websites für eine schlechte Idee. Websites sollten so gestaltet werden, dass sie auf dem kleinsten gemeinsamen Nenner eines Geräts funktionieren, wobei progressive Verbesserungen (durch JavaScript) verwendet werden sollten, um das Erlebnis für Menschen zu verbessern, die Geräte verwenden, die mit Extras umgehen können. Dies werde ich noch weiter untersuchen, aber meine Erfahrungen zeigen, dass clientseitig gerenderte Websites für Menschen, die auf barrierefreie Geräte wie Bildschirmlesegeräte angewiesen sind, im Allgemeinen schwieriger zu nutzen sind. Es gibt Fälle, in denen sich technische SEO und Benutzerfreundlichkeit überschneiden.

Bei der technischen SEO geht es darum, Websites für Suchmaschinen so einfach wie möglich zu crawlen, zu rendern und zu indexieren (für die relevantesten Schlüsselwörter und Themen). Ob Sie es mögen oder nicht, die Zukunft der technischen SEO beinhaltet, zumindest im Moment, eine Menge JavaScript und verschiedene Webseiten-Renderings für Bots und Benutzer.

Wenn wir eine Website als Googlebot betrachten, können wir Diskrepanzen zwischen dem, was ein Mensch sieht, und dem, was ein Suchbot sieht, feststellen. Was Googlebot sieht, muss nicht identisch sein mit dem, was eine Person in einem Browser sieht, aber die Hauptnavigation und der Inhalt, für den Sie die Seite ranken möchten, sollten gleich sein.

Genau hier setzt dieser Artikel an. Für ein richtiges technisches SEO-Audit müssen wir sehen, was die gängigste Suchmaschine sieht. Zumindest in den meisten englischsprachigen Ländern ist das Google.

Können wir genau sehen, was Googlebot sieht?

Nein.

Googlebot selbst verwendet eine (kopflose) Version des Chrome-Browsers, um Webseiten darzustellen. Selbst mit den in diesem Artikel vorgeschlagenen Einstellungen können wir nie genau wissen, was Googlebot sieht. Es gibt zum Beispiel keine Einstellungen dafür, wie Googlebot JavaScript-Websites verarbeitet. Manchmal wird JavaScript unterbrochen, so dass Googlebot möglicherweise etwas anderes sieht als das, was beabsichtigt war.

Das Ziel ist es, die Mobile-First-Indexierung von Googlebot so genau wie möglich zu emulieren.

Bei der Überprüfung verwende ich meinen Googlebot-Browser zusammen mit dem Googlebot-Spoofing und -Rendering von Screaming Frog SEO Spider und Googles eigenen Tools wie der URL-Inspektion in Search Console (die mit SEO Spider automatisiert werden kann) sowie dem Render-Screenshot und dem Code aus dem Mobile Friendly Test.

Selbst die öffentlich zugänglichen Tools von Google zeigen nicht zu 100 % genau, was Googlebot sieht. Aber zusammen mit dem Googlebot-Browser und SEO Spider können sie auf Probleme hinweisen und bei der Fehlersuche helfen.

Warum einen separaten Browser verwenden, um Websites als Googlebot zu betrachten?

1. Bequemlichkeit

Die Verwendung eines eigenen Browsers spart Zeit. Ohne auf andere Tools angewiesen zu sein oder auf sie zu warten, kann ich mir innerhalb von Sekunden ein Bild davon machen, wie Googlebot eine Website sieht.

Bei der Prüfung einer Website, die unterschiedliche Inhalte für Browser und Googlebot bereitstellte und bei der es unter anderem zu Problemen mit inkonsistenten Serverantworten kam, musste ich häufiger als sonst zwischen dem Standard-Browser-Benutzeragenten und Googlebot wechseln. Das ständige Wechseln des User-Agents mit einer Chrome-Browsererweiterung war jedoch ineffizient.

Einige Googlebot-spezifische Chrome-Einstellungen werden nicht gespeichert oder zwischen Browser-Tabs oder Sitzungen übertragen. Einige Einstellungen wirken sich auf alle geöffneten Browser-Tabs aus. Die Deaktivierung von JavaScript kann z. B. dazu führen, dass Websites in Hintergrund-Tabs, die auf JavaScript angewiesen sind, nicht mehr funktionieren (z. B. Aufgabenverwaltung, soziale Medien oder E-Mail-Anwendungen).

Abgesehen von einem Programmierer, der eine Headless-Chrome-Lösung programmieren kann, ist die Einrichtung des „Googlebot-Browsers“ eine einfache Möglichkeit, Googlebot zu täuschen.

2. Verbesserte Genauigkeit

Browser-Erweiterungen können das Aussehen und die Leistung von Websites beeinflussen. Mit diesem Ansatz wird die Anzahl der Erweiterungen im Googlebot-Browser auf ein Minimum reduziert.

3. Vergesslichkeit

Man kann leicht vergessen, das Googlebot-Spoofing zwischen den Browsing-Sitzungen auszuschalten, was dazu führen kann, dass Websites nicht wie erwartet funktionieren. Ich wurde sogar schon von Websites wegen Googlebot-Spoofing gesperrt und musste meine IP-Adresse per E-Mail angeben, um die Sperre aufzuheben.

Für welche SEO-Audits ist ein Googlebot-Browser nützlich?

Der häufigste Anwendungsfall für SEO-Audits sind wahrscheinlich Websites, die client-seitiges Rendering oder dynamisches Rendering verwenden. Sie können leicht vergleichen, was Googlebot sieht und was ein normaler Website-Besucher sieht.

Selbst bei Websites, die kein dynamisches Rendering verwenden, weiß man nie, was man findet, wenn man Googlebot nachahmt. Nach über acht Jahren der Prüfung von E-Commerce-Websites bin ich immer noch von Problemen überrascht, auf die ich zuvor nicht gestoßen bin.

Beispielhafte Googlebot-Vergleiche für technische SEO- und Inhalts-Audits:

    Ist die Hauptnavigation anders?

    Sieht Googlebot den Inhalt, den Sie indexiert haben möchten?

    Wenn eine Website mit JavaScript gerendert wird, werden dann neue Inhalte sofort indexiert oder erst so spät, dass ihre Wirkung beeinträchtigt wird (z. B. bei bevorstehenden Veranstaltungen oder neuen Produktangeboten)?

    Geben URLs unterschiedliche Serverantworten zurück? So können beispielsweise falsche URLs 200 OK für Googlebot, aber 404 Not Found für allgemeine Website-Besucher zurückgeben.

    Unterscheidet sich das Seitenlayout von dem, was der allgemeine Website-Besucher sieht? Ich sehe zum Beispiel oft Links als blauen Text auf schwarzem Hintergrund, wenn ich den Googlebot fälsche. Während Maschinen einen solchen Text lesen können, wollen wir etwas präsentieren, das für Googlebot benutzerfreundlich aussieht. Wenn er Ihre clientseitige Website nicht darstellen kann, wie soll er es dann wissen? (Hinweis: Eine Website kann im Cache von Google wie erwartet angezeigt werden, aber das ist nicht dasselbe wie das, was Googlebot sieht).

    Werden Websites je nach Standort umgeleitet? Googlebot crawlt meist von US-amerikanischen IPs aus.

Es hängt davon ab, wie sehr Sie in die Tiefe gehen wollen, aber Chrome selbst hat viele nützliche Funktionen für technische SEO-Audits. Ich vergleiche manchmal die Daten der Konsole und der Registerkarte „Netzwerk“ für einen allgemeinen Besucher mit denen eines Googlebot-Besuchs (z. B. könnte Googlebot von Dateien ferngehalten werden, die für das Seitenlayout wichtig sind oder für die Anzeige bestimmter Inhalte benötigt werden).

Wie Sie Ihren Googlebot-Browser einrichten

Nach der Einrichtung (die etwa eine halbe Stunde dauert) ist es mit der Googlebot-Browserlösung ein Leichtes, Webseiten schnell als Googlebot zu betrachten.

Schritt 1: Chrome oder Canary herunterladen und installieren

Wenn Chrome nicht Ihr Standardbrowser ist, verwenden Sie ihn als Ihren Googlebot-Browser.

Wenn Chrome Ihr Standardbrowser ist, laden Sie Chrome Canary herunter und installieren Sie es. Canary ist eine Entwicklungsversion von Chrome, in der Google neue Funktionen testet. Sie kann unabhängig von der Standardversion von Chrome installiert und ausgeführt werden.

Benannt nach den gelben Kanarienvögeln, die zum Aufspüren giftiger Gase in Minen eingesetzt werden, ist Canary mit seinem gelben Symbol in der Windows-Taskleiste leicht zu erkennen:

Da Canary eine Entwicklungsversion von Chrome ist, warnt Google, dass Canary „instabil sein kann“. Ich habe jedoch noch keine Probleme bei der Verwendung als Googlebot-Browser gehabt.

Schritt 2: Browser-Erweiterungen installieren

Ich habe fünf Browsererweiterungen und ein Bookmarklet auf meinem Googlebot-Browser installiert. Ich werde die Erweiterungen auflisten und dann auf die Einstellungen eingehen und erklären, warum ich sie verwende.

Für die Emulation von Googlebot (die Links sind dieselben, egal ob Sie Chrome oder Canary verwenden):

    User-Agent Switcher

    Web-Entwickler

    Windscribe (oder ein VPN Ihrer Wahl, um den Standort von Googlebot zu simulieren)

Nicht erforderlich, um Googlebot zu emulieren, aber meine anderen Favoriten für die technische SEO-Überprüfung von JavaScript-Websites:

    Link Redirect Trace

    Ansicht des gerenderten Quelltextes

    NoJS Side-by-Side-Bookmarklet

User-Agent Switcher Erweiterung

User-Agent Switcher tut das, was auf dem Zettel steht: Er wechselt den User-Agent des Browsers. Chrome und Canary haben eine User-Agent-Einstellung, aber sie gilt nur für den Tab, den Sie gerade benutzen, und wird zurückgesetzt, wenn Sie den Browser schließen.

Ich entnehme die Googlebot-Benutzeragenten-Zeichenkette den Browsereinstellungen von Chrome, was zum Zeitpunkt des Schreibens die neueste Version von Chrome ist (beachten Sie, dass ich im Folgenden den Benutzeragenten von Chrome und nicht von Canary entnehme).

Um den User-Agent zu erhalten, rufen Sie die Chrome DevTools auf (drücken Sie F12 oder verwenden Sie das Hamburger-Menü oben rechts im Browser-Fenster und navigieren Sie dann zu Weitere Tools > Entwickler-Tools).

    Gehen Sie zur Registerkarte Netzwerk

    Über das Hamburger-Menü Netzwerk oben rechts: Weitere Tools > Netzwerkbedingungen

    Klicken Sie auf die Registerkarte „Netzwerkbedingungen“, die weiter unten im Fenster erscheint

    Deaktivieren Sie das Kontrollkästchen „Browser-Standard verwenden“.

    Wählen Sie „Googlebot Smartphone“ aus der Liste aus und kopieren Sie den User-Agent aus dem Feld unter der Liste in die Liste der User-Agent Switcher-Erweiterung .

 Vergessen Sie nicht, Chrome wieder auf seinen Standard-Benutzeragenten umzustellen, wenn dies Ihr Hauptbrowser ist.

        Wenn Sie Chrome (und nicht Canary) als Googlebot-Browser verwenden, können Sie zu diesem Zeitpunkt auch „Cache deaktivieren“ ankreuzen (mehr dazu später).

Um auf die Liste des User-Agent Switcher zuzugreifen, klicken Sie mit der rechten Maustaste auf das Symbol in der Browser-Symbolleiste und dann auf Optionen (siehe Screenshot unten). „Indicator Flag“ ist ein Text, der in der Browser-Symbolleiste erscheint und anzeigt, welcher Benutzer-Agent ausgewählt wurde – ich habe GS gewählt, um „Googlebot Smartphone:“ zu meinen.

Ich habe auch Googlebot Desktop und die Bingbots zu meiner Liste hinzugefügt.

Warum den Benutzeragenten von Googlebot fälschen?

Webserver erkennen anhand der User-Agent-Zeichenfolge, wer eine Website durchsucht. Der User-Agent für ein Windows 10-Gerät, das den Chrome-Browser verwendet, lautet zum Beispiel wie folgt:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/102.0.5005.115 Safari/537.36

Web Developer-Erweiterung

Web Developer ist eine unentbehrliche Browsererweiterung für technische SEOs. In meinem Googlebot-Browser wechsle ich zwischen der Deaktivierung und Aktivierung von JavaScript, um zu sehen, was Googlebot mit und ohne JavaScript sehen könnte.

Warum JavaScript deaktivieren?

Kurze Antwort: Googlebot führt kein/kein JavaScript aus, wenn er eine URL zum ersten Mal crawlt. Wir wollen eine Webseite sehen, bevor JavaScript ausgeführt wird.

Lange Antwort: Das wäre ein ganz anderer Artikel.

Windscribe (oder ein anderes VPN)

Windscribe (oder ein VPN Ihrer Wahl) wird verwendet, um den Standort von Googlebot in den USA zu täuschen. Ich verwende ein Profi-Windscribe-Konto, aber das kostenlose Konto erlaubt bis zu 2 GB Datentransfer pro Monat und schließt US-Standorte ein.

Ich glaube nicht, dass der spezifische US-Standort wichtig ist, aber ich tue so, als wäre Gotham ein echter Ort (in einer Zeit, in der Batman und Co. alle Bösewichte eliminiert haben):

Die Windscribe-Browsererweiterung zeigt den Standort New York an: Gotham, mit einem Hintergrund der Flagge der Vereinigten Staaten von Amerika hinter einem blauen Overlay

Stellen Sie sicher, dass Einstellungen, die sich auf die Anzeige von Webseiten auswirken können, deaktiviert sind – die Windscribe-Erweiterung blockiert standardmäßig Werbung. Die beiden Icons oben rechts sollten eine Null anzeigen.

Für das Googlebot-Browserszenario ziehe ich eine VPN-Browsererweiterung einer Anwendung vor, da die Erweiterung spezifisch für meinen Googlebot-Browser ist.

Warum den Standort von Googlebot fälschen?

Googlebot crawlt Websites meist von US-amerikanischen IPs aus, und es gibt viele Gründe, den primären Standort von Googlebot zu fälschen.

Einige Websites blockieren oder zeigen je nach geografischem Standort unterschiedliche Inhalte an. Wenn eine Website beispielsweise US-amerikanische IPs blockiert, sieht Googlebot die Website möglicherweise nie und kann sie daher nicht indizieren.

Ein weiteres Beispiel: Einige Websites leiten je nach Standort auf andere Websites oder URLs um. Wenn ein Unternehmen eine Website für Kunden in Asien und eine Website für Kunden in Amerika hat und alle US-IPs auf die US-Website umleitet, würde Googlebot die asiatische Version der Website nie sehen.

Weitere nützliche Chrome-Erweiterungen für die Überprüfung von JavaScript-Websites

Mit Link Redirect Trace kann ich auf einen Blick sehen, welche Serverantwort eine URL zurückgibt.

Die Erweiterung View Rendered Source ermöglicht einen einfachen Vergleich von Roh-HTML (was der Webserver an den Browser liefert) und gerendertem HTML (der Code, der im Browser auf der Client-Seite gerendert wird).

Ich habe auch das NoJS Side-by-Side-Bookmarklet zu meinem Googlebot-Browser hinzugefügt. Es vergleicht eine Webseite mit und ohne aktiviertes JavaScript im selben Browserfenster.

Schritt 3: Konfigurieren Sie die Browsereinstellungen, um Googlebot zu emulieren

Als Nächstes werden wir die Googlebot-Browsereinstellungen so konfigurieren, dass sie mit dem übereinstimmen, was Googlebot beim Crawlen einer Website nicht unterstützt.

Was unterstützt das Crawling von Googlebot nicht?

    Service Worker (da Personen, die eine Seite aus den Suchergebnissen anklicken, diese möglicherweise noch nie besucht haben, macht es keinen Sinn, Daten für spätere Besuche zwischenzuspeichern).

    Erlaubnisanfragen (z. B. Push-Benachrichtigungen, Webcam, Geolokalisierung). Wenn der Inhalt auf eine dieser Anforderungen angewiesen ist, wird Googlebot diesen Inhalt nicht sehen.

    Googlebot ist zustandslos und unterstützt daher keine Cookies, Sitzungsspeicher, lokalen Speicher oder IndexedDB. Daten können in diesen Mechanismen gespeichert werden, werden aber gelöscht, bevor Googlebot die nächste URL auf einer Website crawlt.

Schritt 3a: DevTools-Einstellungen

Um die Entwicklertools in Chrome oder Canary zu öffnen, drücken Sie F12, oder navigieren Sie über das Hamburger-Menü oben rechts zu Weitere Tools > Entwicklertools:

Das Fenster der Entwicklertools ist normalerweise im Browserfenster angedockt, aber manchmal ziehe ich es in einem separaten Fenster vor. Ändern Sie dazu die „Dock-Seite“ im zweiten Hamburger-Menü.

Cache deaktivieren

Wenn Sie den normalen Chrome als Googlebot-Browser verwenden, haben Sie dies vielleicht schon getan.

Andernfalls klicken Sie über das Hamburger-Menü von DevTools auf Weitere Tools > Netzwerkbedingungen und aktivieren Sie die Option „Cache deaktivieren“:

DevTools-Screenshot mit den oben beschriebenen Aktionen zum Deaktivieren des Cache

Service Worker blockieren

Um Service-Worker zu blockieren, gehen Sie auf die Registerkarte Anwendung > Service-Worker > aktivieren Sie die Option „Bypass für Netzwerk“:

Schritt 3b: Allgemeine Browser-Einstellungen

Navigieren Sie in Ihrem Googlebot-Browser zu Einstellungen > Datenschutz und Sicherheit > Cookies (oder besuchen Sie direkt chrome://settings/cookies) und wählen Sie die Option „Alle Cookies blockieren (nicht empfohlen)“ (macht es nicht Spaß, etwas „nicht empfohlen“ zu tun?)

Wählen Sie außerdem im Abschnitt „Datenschutz und Sicherheit“ die Option „Website-Einstellungen“ (oder besuchen Sie chrome://settings/content) und blockieren Sie individuell Standort, Kamera, Mikrofon, Benachrichtigungen und Hintergrundsynchronisierung (und wahrscheinlich alles, was in zukünftigen Versionen von Chrome dort erscheint).

Schritt 4: Emulation eines mobilen Geräts

Da unser Ziel darin besteht, das Mobile-First-Crawling von Googlebot zu emulieren, emulieren Sie ein mobiles Gerät in Ihrem Googlebot-Browser.

Klicken Sie oben links in DevTools auf den Schalter für die Gerätesymbolleiste und wählen Sie dann ein Gerät aus, das im Browser emuliert werden soll (Sie können auch andere Geräte hinzufügen):

Screenshot der Emulation eines mobilen Geräts in Chrome

Unabhängig davon, welches Gerät Sie wählen, scrollt Googlebot auf Webseiten nicht und rendert stattdessen in einem Fenster mit großer vertikaler Höhe.

Ich empfehle, Websites auch in der Desktop-Ansicht und auf echten Mobilgeräten zu testen, wenn Sie Zugang dazu haben.

Wie wäre es, eine Website als Bingbot zu betrachten?

Um einen Bingbot-Browser zu erstellen, verwenden Sie eine aktuelle Version von Microsoft Edge mit dem Bingbot-Benutzeragenten.

Bingbot ähnelt Googlebot in Bezug darauf, was er tut und was er nicht unterstützt.

Yahoo! Search, DuckDuckGo, Ecosia und andere Suchmaschinen werden entweder von der Bing-Suche angetrieben oder basieren auf ihr, so dass Bing für einen höheren Prozentsatz der Suchanfragen verantwortlich ist, als viele Menschen wissen.

Zusammenfassung und Schlussbemerkungen

So, jetzt haben Sie Ihren eigenen Googlebot-Emulator.

Die Verwendung eines vorhandenen Browsers zur Emulation von Googlebot ist die einfachste Methode, um Webseiten schnell als Googlebot zu betrachten. Außerdem ist sie kostenlos, vorausgesetzt, Sie verwenden bereits ein Desktop-Gerät, auf dem Chrome und/oder Canary installiert werden kann.

Es gibt auch andere Tools, die helfen, das zu „sehen“, was Google sieht. Ich teste gerne Googles Vision API (für Bilder) und die Natural Language API.

Die Überprüfung von JavaScript-Websites – vor allem, wenn sie dynamisch gerendert werden – kann komplex sein, und ein Googlebot-Browser ist eine Möglichkeit, den Prozess zu vereinfachen.

Teile diesen Post
Teilen auf facebook
Teilen auf linkedin
Teilen auf twitter
Teilen auf email
Weitere Artikel
de_DEGerman