Wie Du das Crawl-Budget von Google benutzt, um der SEO Deiner Webseite einen Schub zu geben

Ich habe schon hunderte von Unternehmen beraten und tausende von Fragen über die SEO beantwortet. Wenn ich mich mir einem neuen Kunden zusammensetze, frage ich diesen Kunden immer zuerst nach seinen Zielen. Ich bekomme fast immer die gleichen Antworten: “Ich will meine Inhalte für Keywords optimieren.” “Ich will besser in den Google-Ergebnissen platziert werden.” “Ich will mehr Traffic auf meine Webseite locken.” Dabei sollte sich jeder SEO-Berater zunächst mit einem anderen Thema beschäftigen. Was ist die SEO? Die Antwort auf diese Frage ist natürlich ganz klar. SEO bedeutet, dass Du Deine Webseite für die Suchmaschinen optimierst, richtig? Du musst also immer in Betracht ziehen, wie diese Suchmaschinen mit Deiner Seite interagieren. Das ist der Grundstein der Suchmaschinenoptimierung. Dennoch wird der SEO nicht so viel Aufmerksamkeit geschenkt wie den Keywords oder den Such-Ranking. Das sollte es aber. Viele Faktoren haben Einfluss darauf, wie Suchmaschinen mit Deinen Inhalten umgehen. Das Crawl-Budget ist einer dieser Faktoren. Wenn Du das Crawl-Budget verstehst, kannst Du ein paar Techniken anwenden, damit Deine Webseite effektiver durchsucht werden kann. Dann bekommst Du bessere SERP-Ergebnisse und verbesserst auch gleichzeitig Deine SEO. Keine Angst, ich will nicht mit technischen Details aufhalten. Das Wissen in diesem Artikel ist für jeden leicht verständlich und kann Dir einen ernsthaften SEO-Vorteil verschaffen.

Was ist ein Crawl-Budget?

Der Begriff “Crawl-Budget” hat in den SEO-Kreisen in den letzten Jahren seine Runden gemacht. Viele Leute fragen sich, was das genau ist, aber Google hat nie eine offizielle Erklärung veröffentlicht. Im Januar 2017 hat sich das dann geändert. Gary Illyes von Google hat einen Blog-Beitrag veröffentlicht, in dem er erklärt, was das Crawl-Budget ist. Laut Illyes, besteht das “Crawl-Budget” eigentlich aus zwei Teilen. Aus dem Crawl-Rate-Limit und der Crawl-Nachfrage. Hier ist die Erklärung von Google zum Crawl-Rate-Limit: Google will Deine Webseite nicht überlasten. Das Crawl-Rate-Limit hindert den Google-Bot daran zu viele Anfragen zu stellen, die Deine Seite langsamer machen. Wenn niemand Deine Seite besucht, dann bekommt der Google-Bot eine schnelle Antwort und crawlt Deine Seite wahrscheinlich häufiger. Verstanden? Super. Jetzt wollen wir uns die Definition für Crawl-Nachfrage anschauen: Das hat starke Auswirkungen auf die SEO. Google sagt, dass beliebte und frische Inhalte eine höhere Crawl-Nachfrage (darauf gehen wir später noch genauer ein). Google zieht also alles im Betracht, um das Crawl-Budget zu errechnen. “Wenn wir die Crawl-Rate und die Crawl-Nachfrage zusammen betrachten, erhalten wir das Crawl-Budget, die Anzahl der URLs, die Google crawlen kann und will.” Ganz einfach, oder? Du willst natürlich, dass Google alle Deine Seiten durchsucht und der Google-Bot will auch Deine gesamte Webseite durchsuchen. Wir müssen uns jetzt also der Frage widmen, die Dir bestimmt schon auf der Zunge liegt: Wie nutzt Du das Crawl-Budget aus, um Deine SEO zu verbessern? Du musst Google genau das geben, was es haben will. Google hat ein einziges Ziel: Es will seinen Nutzern die beste Sucherfahrung verschaffen. Wenn Du Google bei der Erreichung dieses Ziels unterstützt, wirst Du dafür belohnt. Jetzt schauen wir uns an, was Du machen kannst.

Die Seitengeschwindigkeit verbessern

Die Seitengeschwindigkeit ist ausschlaggebend für eine gute SEO. Das gleiche gilt auch für das Crawl-Budget. Es ist durchaus sinnvoll, Deine Webseite schneller zu machen, weil sie dann mehr Anfragen von Google-Bots und echten Besuchern gleichzeitig verarbeiten kann. Google weißt darauf am Ende des Beitrages über das Crawl-Budget hin: Wenn Du Deine Webseite schneller machen kannst, dann erhöhst Du auch Dein Crawl-Budget. Bevor Du zur Tat schreitest, solltest Du jedoch zuerst die Ladegeschwindigkeit Deiner Webseite überprüfen. Dafür benutze ich Ubersuggest.

Gib die URL Deiner Webseite ein, klick auf “Suchen”, klick anschließend in der linken Seitenleiste auf “Seiten-Audit” und scroll dann nach unten bis zum Bereich “Webseitengeschwindigkeit”.

Der Bericht enthält die Ladegeschwindigkeit Deiner mobilen Webseite und der Desktop-Version. Meine Webseite braucht auf einem Desktop-Gerät nur eine Sekunde und zwei Sekunden auf Mobilgeräten. Somit bekomme ich in beiden Fällen die Bewertung “Ausgezeichnet”. Die Ladegeschwindigkeit wird in folgende Bereiche unterteilt:

• First Contentful Paint
• Speed Index
• Time to Interactive
• First Meaningful Paint
• First CPU Idle
• Estimated Input Latency

So verschaffst Du Dir einen Überblick über die Ladegeschwindigkeit Deiner Webseite, denn die Geschwindigkeit ist extrem wichtig. Deine Webseite muss möglichst schnell laden, am besten in 500 Millisekunden und höchstens 2 Sekunden.

Wenn es länger dauert, könntest Du Minuspunkte von Google bekommen. John Mueller, Mitarbeiter bei Google, sagt, dass Webseiten, die nicht innerhalb von 2 Sekunden laden, eventuell langsamer gecrawlt werden. Zwei Sekunden ist doch schnell, oder? Anscheinend nicht schnell genug für Google. Deine Webseite sollte möglichst wenig HTTP-Anfragen an den Server stellen, denn der Googlebot kann Deine Seite schneller durchsuchen, wenn weniger Serveranfragen vorliegen. Wie viele sollten es höchstens sein? Steve Souders, Experte für Webleistung, sagte in einem Tweet, dass der Durchschnitt bei 99 Anfragen liegen sollte. Wenn Du darunter liegst, ist das super. Wenn Du bei 0-50 Anfragen liegst, ist das sogar noch besser. Du hast jetzt sicher schon verstanden, wie sehr die Ladegeschwindigkeit Deiner Webseite und das Crawl-Budget voneinander abhängen. Aber nicht jede Webseite kann blitzschnell sein. Wenn Deine Webseite so langsam ist, wie eine Schnecke, musst Du Dir trotzdem keine Sorgen machen. Du kannst ein paar Dinge unternehmen, um sie schneller zu machen. Ich kann Dir folgende Maßnahmen ans Herz legen:

1. Entrümpele Dein Design

Das ist gar nicht so einfach. Wir schreiben das Jahr 2017 und jeder will ein Design haben, das grad voll im Trend liegt. Obwohl viele Designs sicherlich toll aussehen, funktionieren sie oft nicht so gut für die Nutzer. Schau Dir zum Beispiel mal BuzzFeed an: Auf jeden Fall trendy. Aber ist das Design auch praktisch? Eher nicht. Ich lasse die Zahlen mal für sich sprechen: Die Seite liegt grad so unter der 2-Sekunden-Schmerzgrenze und hat ganze 222 Anfragen. Autsch. Ich will damit jetzt nicht sagen, dass Du kein tolles Design und trotzdem eine schnelle Webseite haben kannst. Ich will damit sagen, dass Du aufgrund eines schönen Designs nicht auf Seitengeschwindigkeit verzichten solltest. Wenn Deine Seite zu langsam ist, solltest Du versuchen, sie einfacher zu gestalten. Das Design kann trotzdem noch toll sein. In den meisten Fällen kannst Du Dein altes Design sogar behalten. Du musst nur ein paar kleine Veränderungen vornehmen. Du kannst mit der Kompression Deine Daten anfangen. Dann verbraucht Deine Webseite nicht mehr so viel Bandbreite. Gzip ist ein tolles Tool dafür. Als nächstes solltest Du die Größe Deiner Bilder verändern, oder Du kannst sie ebenfalls komprimieren. Riesige Bilder können Deinen Seite ausbremsen. Oft sind große Bilder der Grund dafür, dass eine Seite länger als zwei Sekunden braucht, um zu laden. Du solltest zuerst versuchen die Größe Deiner Dateien zu reduzieren, auch wenn die Kompression vielleicht praktischer ist. Compressor.io kann das schnell für Dich erledigen: Wenn Du unnötige Bilder auf Deiner Webseite hast, solltest Du sie ganz entfernen. Wenn Du neue Bilder hinzufügst, sollte die Datei so klein wie möglich sein.

Du kannst auch ein paar kleine Veränderungen an Deinem Quellcode vornehmen, wenn das möglich ist.

Zu viel Code kann Deine Webseite so schwer machen wie einen Elefanten. Dann ist nicht nur die Nutzererfahrung schlecht, Deine Seite braucht auch viel länger, um auf Anfragen zu antworten. Wenn Du selbst ein Programmierer bist oder einen Entwickler kennst, solltest Du Dir die Zeit nehmen, um Deinen Quellcode zu überarbeiten. Du willst zwei Dinge erreichen: 1.) das JavaScript synchronisieren und 2.) so viele CSS-Dateien wie möglich zusammenfassen. Das mag sich jetzt alles wie Chinesisch anhören, aber im Grunde genommen fasst Du nur Deinen Code zusammen. Denk also immer daran, Du brauchst einen gesunden Ausgleich zwischen einem tollen und einem funktionellen Design. Das Erscheinungsbild sollte nicht wichtiger sein als die Leistung. All das kann Dir dabei helfen, Dein Crawl-Budget zu vergrößern, damit der Google-Bot mehr Anfragen stellen kann. Dann wird Deine Webseite auch häufiger durchsucht.

2. Halte nach Crawling-Fehlern Ausschau

Hier ist ein weiterer Tipp von Google: Crawling-Fehler kommen vor, wenn der Google-Bot Deine Webseite durchsucht und ein Problem findet. Natürlich solltest Du am besten gar keinen Crawling-Fehler haben, aber wie kannst Du diese Fehler denn im Auge behalten? Du weißt das vielleicht noch nicht, aber Google gibt Dir Bescheid, wenn es auf Fehler stößt während es Deine Seite durchsucht. Das ist eine der Funktionen eines meiner Lieblingstools, der Google Search Console. Um zum Bereich der Crawling-Fehler zu gelangen, musst Du die Search Console öffnen und die Webseite, die Du analysieren willst, auswählen. Klick in der linken Seitenleiste auf “Crawl”. Klick dann auf “Crawl Errors”. Dann gelangst Du ins Crawl-Error-Dashboard: Das Diagramm zeigt Dir dann einen visuellen Überblick Deiner Fehler. Unten siehst Du eine Liste der URLs, die zu einem Fehler führen (wenn Du welche hast). Es gibt zwei Arten von häufig auftretenden Fehlern: Websitefehler und URL-Fehler. Wir wollen uns aber auf die Serverfehler konzentrieren, weil Google diese speziell in ihrem Blog-Beitrag erwähnt. Wenn Du einen Serverfehler hast, dann sieht das so aus: Hier ist noch mehr zum Thema “Serverfehler” von Google: Google stellt auf dieser Seite noch mehr Informationen zur Verfügung. Diese Fehler treten meistens auf, weil Deine Webseite zu lange braucht, um zu laden. Dann ist Dein Server überladen und zeitweise nicht zugänglich. Um diese Fehler besser zu verstehen, solltest Du den Bereich “Fetch as Google” (z. Dt. Abruf wie durch Google) in der Search Console benutzen. Klick in der linken Seitenleiste der Search Console auf “Crawl” und dann auf “Fetch as Google”. Lass die Box frei und klick auf “Fetch”. (Du solltest dann später auch “Fetch and Render” ausprobieren, um alle Eventualitäten abzudecken.) Wenn die Funktion “Fetch as Google” keine Probleme feststellen kann, dann ist mit Deiner Webseite wahrscheinlich alles in Ordnung. Das ist ein gutes Zeichen. Der Fehler verschwindet dann meistens von allein. Wenn der Fehler bestehen bleibt, oder wenn Du nicht in der Lage bist, Deine Webseite abzurufen, solltest Du versuchen, die Fehler zu beheben. Du musst eventuell mit einem Experten über das Problem sprechen, es ist die Mühe aber wert, weil Serverfehler fatal sein können.

3. Werde Deine minderwertigen URLs los

Im besagten Blog-Beitrag, weist Google auch speziell auf “low-value URLs” hin. Diese URLs “können das Crawling und die Indexierung Deiner Webseite negativ beeinflussen”. Das macht auch Sinn. Google will qualitativ hochwertige Inhalte – die Besten der Besten. Diese minderwertigen URLs werden oft nur als Füllstoff benutzt und haben einfach keine gute Qualität. Dazu gehören oft folgende Seiten: Es gibt ein paar einfache Regeln, denen Du folgen kannst, um minderwertige URLs zu vermeiden. Sorge als erstes dafür, dass alle Seiten einwandfrei funktionieren. Du willst so wenig 404-Seiten (besonders die Soft 404s) wie möglich. Außerdem solltest Du Deine Besucher nur dann weiterleiten, wenn es absolut notwendig ist. Du solltest auch duplizierte Inhalte vermeiden. Du weißt wahrscheinlich schon, dass Google Dich für duplizierte Inhalte bestrafen kann und es kann sich außerdem negativ auf Dein Crawl-Budget auswirken. Vermeide “Infinite Spaces”. Das kommt vor, wenn Links kein Ende nehmen. Google gibt einen Kalender, mit einem Link der “nächster Monat” sagt, als Beispiel an. Der Google-Bot kann diesem Link theoretisch bis in alle Ewigkeit folgen. Google sagt dazu Folgendes: “Wenn diese URLs gecrawlt werden, nimmt das unnötig viel Bandbreite in Anspruch und der Google-Bot könnte dann nicht in der Lage sein, den eigentlichen Inhalt Deiner Seite zu indexieren.” Verstehst Du jetzt, warum das so schlecht ist? Das musst Du um jeden Preis vermeiden. Sorg dafür, dass jede URL auf Deiner Seite auch ihren Sinn und Zweck erfüllt. Greif nicht auf Black-Hat-SEO oder andere unseriöse Taktiken zurück.

Erhöhe Deine Popularität

Jeder Webseite will beliebt sein. Das gehört nun mal zu jeder SEO-Strategie dazu. Wie sich herausstellt, ist Google die Popularität auch wichtig. Schau Dir mal diesen kleinen Ausschnitt von Google an: Auch wenn es auf den ersten Blick nicht sofort eindeutig ist, kann eine gute Content-Marketing-Strategie positive Auswirkungen auf Dein Crawl-Budget haben. Du willst, dass die Leute Deine Inhalte wie verrückt teilen. Je mehr Verweise auf Deine Webseite führen, desto häufiger durchsucht Google Deine Seite auch. Eine gute Backlink-Strategie kann Dir dabei helfen, beliebter zu werden. Und wenn Du dafür sorgen kannst, dass Deine Inhalte wie verrückt in den sozialen Medien geteilt werden, hast Du ausgesorgt. Google sieht Deine Webseite dann als Autorität an und weist Dir automatisch ein höheres Crawl-Budget zu. Um populär zu werden, muss Du aber zuerst…

Frische Inhalte bereitstellen

Es gibt noch einen weiteren Weg, um Dein Google-Crawl-Budget zu erweitern: frische Inhalte. Die frischen Inhalte gehen mit der Popularität Deiner Seite einher. Je frischer und ausführlicher Deine Inhalte sind, desto öfter werden sie geteilt und dann bekommst Du auch mehr Crawl-Budget. Du kannst Deine Webseite auf verschiedene Art und Weise immer auf Trab halten. Du könntest zum Beispiel immer neue Inhalte erstellen. Das ist zwar die offensichtliche Wahl, ich will es aber extra erwähnen, weil es die beste Möglichkeit ist, um Deine Webseite immer schön frisch zu halten. Aber diese Frische kann mit der Zeit auch nachlassen. Mit anderen Worten, Google wird Deiner Webseite anfänglich einen kleinen Schub verpassen, wenn die neuen Inhalte das erste Mal veröffentlicht werden, dann lässt dieser SEO-Effekt aber allmählich nach. Darum ist es so wichtig, konstant frische Inhalte zu veröffentlichen und diese Taktik zum festen Bestandteil Deiner Content-Marketing-Strategie zu machen. Du könntest auch Deine bereits bestehenden Inhalte überarbeiten. Wenn Google Veränderungen an Deinen Inhalten feststellt, wird es Deine Seite erneut durchsuchen. Wenn Du Verbesserungen an Deinen Inhalten vorgenommen hast, weist der Google-Bot Dir ein höheres Crawl-Budget zu. Du könntest Deiner Webseite auch neue Seiten hinzufügen. Google geht davon aus, dass beliebte Seiten ständig wachsen und neue Seiten sind ein sicheres Zeichen für Wachstum. Du solltest aber keine neuen Seiten hinzufügen, nur um neue Seiten hinzuzufügen. Die Qualität ist Google noch immer am wichtigsten. Du könntest auch Verweise von frischen Webseiten sammeln. Dir ist sicherlich schon bekannt, dass Backlinks immer ein bisschen Link Juice zu Deiner Webseite schicken. Wenn eine, in Googles Augen, frische Seite auf Deine Webseite verweist, kann das Dir zum Vorteil gereichen. Diese Taktik sollte ein fester Bestandteil Deiner übergreifenden Link-Building-Strategie sein. Ziel auf andere Webseiten, die ständig überarbeitet werden, ab, um ein besseres Crawl-Budget zu bekommen.

Fazit

Man spricht im Allgemeinen nicht so viel über das Crawl-Budget, es ist aber fester Bestandteil der SEO. Du denkst darüber nach, was Deine Webseite zum Internet beiträgt. Es ist eine brutal ehrliche Kennzahl. Du kannst keine Abkürzung nehmen, um Dein Crawl-Budget zu erhöhen. Du musst umwerfende Inhalte erstellen und es dann die ganze Welt wissen lassen. Google denkt eben immer zuerst an seine Nutzer. Was wollen die Google-Nutzer? Die besten und relevantesten Ergebnisse. Google will die Crawl-Budgets auch erhöhen. Google will, dass Nutzer die besten Inhalte finden. Wenn es eine Seite findet, die alles richtig macht, erhöht es darum auch das Crawl-Budget dieser Seite. Wenn Deine Webseite aber nutzlos ist, dann wird es Dir sehr schwer fallen, Dein Crawl-Budget zu erhöhen. Auch beim Crawl-Budget kommt es in erster Linie auf die Qualität an, und darum solltest Du Dich auch auf die Qualität Deiner Webseite konzentrieren. Benutze als die in diesem Artikel vorgestellten Techniken, um Dein Crawl-Budget zu erhöhen. Du musst aber immer Deinen Teil dazu beitragen. Wie willst Du Dein Crawl-Budget erhöhen? Hast Du Tipps, damit eine Webseite öfter gecrawlt wird?