Wer organischen Traffic gewinnen möchte, muss zuerst sicherstellen, dass Suchmaschinen die wichtigen Seiten einer Website finden, crawlen und in ihren Index aufnehmen können. Eine technisch erreichbare Seite ist nämlich nicht automatisch auch in den Suchergebnissen sichtbar. Mit einer systematischen Prüfung lassen sich fehlende Seiten, versehentliche Sperren und Qualitätsprobleme meist deutlich schneller erkennen.
Dieser Ratgeber zeigt, wie Sie die Indexierung einer Website überprüfen, welche Werkzeuge dafür geeignet sind und wie Sie typische Ursachen für fehlende Sichtbarkeit unterscheiden. Dabei geht es nicht nur um einzelne URLs, sondern um das Zusammenspiel aus Crawling, Indexierung, internen Verlinkungen, Inhaltsqualität und technischen Signalen.
Was bedeutet Indexierung?
Beim Crawling ruft ein Suchmaschinenbot eine URL ab und analysiert deren Inhalt. Bei der Indexierung entscheidet die Suchmaschine anschließend, ob und in welcher Form die Seite in ihren Suchindex aufgenommen wird. Erst danach kann sie für passende Suchanfragen als Ergebnis erscheinen.
Diese Schritte sind voneinander zu unterscheiden:
- Entdeckung: Die Suchmaschine erhält Kenntnis von einer URL, zum Beispiel über einen Link, eine XML-Sitemap oder bereits bekannte Daten.
- Crawling: Ein Bot ruft die URL ab und versucht, den Inhalt technisch zu verarbeiten.
- Indexierung: Die Seite wird bewertet und gegebenenfalls in den Index aufgenommen.
- Ausspielung: Die indexierte Seite kann bei geeigneten Suchanfragen sichtbar werden.
Eine Seite kann also gecrawlt, aber nicht indexiert sein. Ebenso kann sie indexiert sein, ohne für ein wichtiges Keyword eine gute Position zu erreichen. Deshalb sollte eine Indexierungsprüfung nicht mit einer einfachen Suche nach dem Domainnamen enden.
Warum die Indexierung einer Website regelmäßig überprüft werden sollte
Die Darstellung sollte zeigen, dass eine verlässliche Prüfung nicht auf einem einzigen Werkzeug beruht. Besonders wichtig ist der Abgleich zwischen URL-Status, Sitemap und technischer Website-Analyse.
Neue Websites, Relaunches und größere technische Änderungen bringen häufig unbeabsichtigte Folgen mit sich. Eine Entwicklungsumgebung kann beispielsweise eine globale Noindex-Anweisung enthalten, die beim Livegang übersehen wird. Auch Änderungen an Canonical-Tags, Weiterleitungen, URL-Strukturen oder internen Links können die Auffindbarkeit beeinflussen.
Eine regelmäßige Kontrolle hilft unter anderem dabei, folgende Probleme früh zu erkennen:
- wichtige Seiten mit einem versehentlichen
noindex-Meta-Tag, - gesperrte Verzeichnisse in der
robots.txt, - fehlerhafte oder nicht erreichbare XML-Sitemaps,
- verwaiste Seiten ohne interne Links,
- mehrere URLs mit nahezu identischem Inhalt,
- falsche Canonical-Verweise,
- Serverfehler, Weiterleitungsketten oder Soft-404-Seiten,
- Seiten, die zwar indexiert sind, aber keinen ausreichenden eigenständigen Nutzen bieten.
Die Prüfung ist besonders wichtig, wenn sich die Anzahl indexierter URLs stark verändert. Ein Rückgang muss nicht automatisch eine Strafe bedeuten; er kann durch eine technische Bereinigung, entfernte Inhalte oder eine veränderte Erfassung entstehen. Entscheidend ist, ob die betroffenen URLs absichtlich entfernt wurden und ob die wichtigen Seiten weiterhin verfügbar sind.
Die wichtigsten Werkzeuge für eine Indexierungsprüfung
Kein einzelnes Werkzeug zeigt die gesamte Situation perfekt. Aussagekräftiger wird die Analyse, wenn mehrere Datenquellen miteinander verglichen werden.
Google Search Console
Für Websites in der Google-Suche ist die Search Console eine zentrale Anlaufstelle. Im Bericht zur Indexierung lässt sich nachvollziehen, welche URLs als indexiert gelten und welche ausgeschlossen wurden. Die jeweiligen Gründe liefern wichtige Hinweise, etwa „Durch noindex ausgeschlossen“, „Duplikat“ oder „Gecrawlt – derzeit nicht indexiert“.
Mit der URL-Prüfung können Sie einzelne Seiten untersuchen. Sie erhalten unter anderem Informationen zur zuletzt bekannten Version, zur Indexierbarkeit und zum ausgewählten Canonical. Die Live-Prüfung kann zusätzlich zeigen, ob eine Seite aktuell abrufbar ist. Sie ersetzt jedoch keine vollständige Qualitäts- oder Rankinganalyse.
Bing Webmaster Tools
Wenn Sichtbarkeit in mehreren Suchmaschinen relevant ist, sollten auch die Bing Webmaster Tools berücksichtigt werden. Die Berichte können zusätzliche Hinweise zu Crawling, Sitemaps und technischen Auffälligkeiten geben. Unterschiedliche Suchmaschinen können dieselbe Website unterschiedlich verarbeiten; ein Vergleich ist daher sinnvoll.
Suchoperatoren als schneller Plausibilitätscheck
Eine Suche mit site:beispiel.de zeigt eine Auswahl von Seiten, die eine Suchmaschine der Domain zuordnet. Das ist ein schneller Hinweis, aber keine vollständige und exakte Bestandsaufnahme. Die angezeigte Anzahl kann schwanken, und nicht jede indexierte URL wird immer in der sichtbaren Trefferliste dargestellt.
Zusätzliche Suchabfragen können helfen, problematische Muster zu finden, etwa bestimmte Verzeichnisse, Parameter oder alte URL-Strukturen. Solche Abfragen sollten als Ergänzung und nicht als Ersatz für die Search Console verstanden werden.
Crawler und eigene URL-Listen
Ein Website-Crawler kann interne Links, Statuscodes, Canonical-Tags, Meta-Robots-Anweisungen, Weiterleitungen und viele weitere Merkmale erfassen. Für größere Websites ist eine solche technische Bestandsaufnahme besonders hilfreich. Die Ergebnisse sollten anschließend mit einer Liste der tatsächlich gewünschten indexierbaren Seiten verglichen werden.
Eine einfache Tabelle mit URL, Seitentyp, gewünschtem Indexierungsstatus, HTTP-Status, Canonical und Priorität schafft dabei Transparenz. So wird sichtbar, ob beispielsweise Produktseiten, Ratgeberartikel oder Kategorieseiten unterschiedlich behandelt werden müssen.
Indexierung einer Website überprüfen: Schritt-für-Schritt-Anleitung
1. Gewünschte indexierbare Seiten definieren
Bevor Sie Fehler suchen, sollten Sie festlegen, welche Seitentypen überhaupt in den Suchindex gehören. Das können beispielsweise hochwertige Leistungsseiten, Produktseiten, redaktionelle Ratgeber oder lokale Standortseiten sein. Nicht jede URL muss indexiert werden. Interne Suchergebnisse, Warenkorbseiten, persönliche Kontobereiche und viele Filterkombinationen sind häufig keine eigenständigen Suchergebnisse.
Erstellen Sie deshalb eine Zielvorstellung: Welche Seiten sollen gefunden werden, welche dürfen zugänglich bleiben, sollen aber nicht im Index erscheinen, und welche URLs können vollständig entfernt oder weitergeleitet werden? Ohne diese Unterscheidung wirkt eine hohe Zahl ausgeschlossener URLs schnell wie ein Fehler, obwohl sie beabsichtigt sein kann.
2. Die Indexierungsberichte auswerten
Beginnen Sie mit der Search Console und betrachten Sie nicht nur die Gesamtzahl, sondern vor allem die konkreten Ausschlussgründe. Prüfen Sie, ob sich die betroffenen URLs auf wichtige Seitentypen konzentrieren. Ein Ausschluss ist nicht automatisch problematisch; problematisch wird er, wenn eine wertvolle Zielseite betroffen ist.
Priorisieren Sie die Analyse nach geschäftlicher und redaktioneller Bedeutung. Eine einzelne wichtige Angebotsseite kann dringender sein als viele bewusst ausgeschlossene Parameter-URLs. Dokumentieren Sie für jeden relevanten Fall die vermutete Ursache, die gewünschte Lösung und den Zeitpunkt der erneuten Prüfung.
3. Einzelne wichtige URLs mit der URL-Prüfung kontrollieren
Wählen Sie repräsentative URLs aus: die Startseite, wichtige Kategorie- oder Leistungsseiten, neue Inhalte, stark verlinkte Artikel und Seiten mit auffälligen Zugriffsrückgängen. Prüfen Sie, ob die URL indexiert ist und ob die angezeigte Canonical-URL der eigenen Absicht entspricht.
Wenn eine Seite nicht indexiert ist, kontrollieren Sie die Live-Version zusätzlich. Eine Diskrepanz zwischen der zuletzt gespeicherten Version und dem aktuellen Zustand kann darauf hindeuten, dass Änderungen noch nicht verarbeitet wurden oder dass die technische Situation inzwischen anders ist.
4. Technische Indexierungssignale prüfen
Für jede wichtige Seite sollten mehrere Signale zusammenpassen:
- Der Server liefert einen erfolgreichen Statuscode, normalerweise
200. - Die Seite ist ohne Anmeldung erreichbar und wird nicht durch eine fehlerhafte Weiterleitung ersetzt.
- Es gibt kein unbeabsichtigtes
noindexim HTML oder in einem HTTP-Header. - Die
robots.txtblockiert den benötigten Abruf nicht. - Der Canonical verweist auf die bevorzugte, indexierbare URL.
- Die Seite enthält eigenständigen und nützlichen Inhalt.
- Sie ist über sinnvolle interne Links erreichbar.
Wichtig ist das Zusammenspiel dieser Signale. Ein Canonical-Tag kann eine Präferenz ausdrücken, ersetzt aber keine sinnvolle URL-Struktur. Eine XML-Sitemap kann eine URL bekannt machen, hebt eine Noindex-Anweisung jedoch nicht automatisch auf.
5. XML-Sitemap und interne Verlinkung abgleichen
Die XML-Sitemap sollte bevorzugt URLs enthalten, die dauerhaft erreichbar, kanonisch und tatsächlich indexierbar sind. Entfernen Sie dort nach Möglichkeit Weiterleitungen, Fehlerseiten, nicht kanonische Varianten und Seiten, die ausdrücklich nicht in den Index sollen.
Vergleichen Sie die Sitemap anschließend mit den internen Links und den Search-Console-Daten. Fehlt eine wichtige Seite in der Sitemap, kann sie trotzdem indexiert werden, sollte aber nicht unnötig schwer auffindbar sein. Umgekehrt ist ein Eintrag in der Sitemap keine Garantie für eine Indexierung.
Besonders kritisch sind verwaiste Seiten. Wenn eine URL nur in der Sitemap steht, aber von keiner relevanten Seite intern verlinkt wird, fehlen Suchmaschinen und Nutzern wichtige Kontextsignale. Ergänzen Sie passende Links in thematisch verwandten Inhalten, Navigationselementen oder Übersichtsseiten.
6. Inhalte auf eigenständigen Nutzen prüfen
Technische Erreichbarkeit allein reicht nicht immer aus. Suchmaschinen können Seiten mit sehr wenig eigenständigem Inhalt, automatisch erzeugten Varianten oder stark ähnlichen Texten nicht prominent berücksichtigen oder gar nicht indexieren. Prüfen Sie deshalb, ob eine Seite eine klar erkennbare Suchintention beantwortet und gegenüber ähnlichen URLs einen eigenen Zweck erfüllt.
Hilfreiche Fragen sind:
- Welche konkrete Frage oder Aufgabe beantwortet diese URL?
- Ist der Inhalt verständlich, aktuell und ausreichend präzise?
- Enthält die Seite Informationen, die nicht nur aus austauschbaren Standardtexten bestehen?
- Kann ein Nutzer nach dem Lesen eine sinnvolle Entscheidung treffen oder einen nächsten Schritt ausführen?
- Gibt es eine andere URL auf der Website, die dieselbe Aufgabe besser erfüllt?
Wenn mehrere URLs nahezu denselben Zweck haben, können eine Zusammenführung, eine klare Canonical-Strategie oder eine gezielte Aussonderung sinnvoller sein. Die richtige Lösung hängt vom Inhalt und von der Nutzerführung ab.
Häufige Gründe für fehlende Indexierung
Noindex-Anweisung
Ein Meta-Robots-Tag mit noindex oder ein entsprechender HTTP-Header weist Suchmaschinen an, die Seite nicht in den Index aufzunehmen. Das ist bei nicht öffentlichen oder funktionalen Seiten nützlich, wird aber bei Relaunches oder durch fehlerhafte Vorlagen manchmal versehentlich auf wichtige Inhalte übertragen.
Blockierung durch robots.txt
Die robots.txt steuert, welche Bereiche gecrawlt werden dürfen. Eine Sperre kann den Abruf einer Seite verhindern, ist aber nicht das geeignete Mittel, um eine bereits bekannte URL zuverlässig aus dem Index zu entfernen. Prüfen Sie Regeln immer im Zusammenhang mit dem gewünschten Ziel und vermeiden Sie pauschale Sperren ganzer Verzeichnisse, wenn darin wichtige Inhalte liegen.
Falsches Canonical
Verweist das Canonical einer Seite auf eine andere URL, kann die Suchmaschine diese andere Adresse als bevorzugte Version behandeln. Ein Fehler entsteht beispielsweise, wenn viele unterschiedliche Seiten auf die Startseite oder eine alte URL kanonisiert werden. Das Canonical sollte zur tatsächlichen Inhaltsstruktur passen und auf eine erreichbare, indexierbare Zielseite zeigen.
„Gecrawlt – derzeit nicht indexiert“
Dieser Status bedeutet nicht zwangsläufig einen technischen Defekt. Er kann darauf hindeuten, dass die Seite zwar abgerufen wurde, aber derzeit keinen ausreichenden eigenständigen Wert erkennen lässt, sehr ähnlich zu anderen URLs ist oder noch nicht verarbeitet wurde. Prüfen Sie Inhalt, interne Verlinkung, Seitentyp und technische Signale gemeinsam, statt die URL lediglich mehrfach zur Indexierung einzureichen.
Server- und Weiterleitungsfehler
Statuscodes wie 404 oder 410 sind bei absichtlich entfernten Inhalten normal, bei wichtigen Landingpages jedoch problematisch. Auch dauerhafte Weiterleitungen sollten möglichst direkt auf das passende Ziel führen. Ketten, Schleifen und wechselnde Weiterleitungsziele erschweren die Verarbeitung und verschlechtern die Nutzererfahrung.
JavaScript und schwer zugängliche Inhalte
Moderne Websites können Inhalte dynamisch laden. Wenn der wesentliche Text erst durch fehlerhaftes JavaScript erscheint oder wichtige Links nicht als normale, verarbeitbare Verknüpfungen vorliegen, kann die Verarbeitung erschwert werden. Prüfen Sie daher, ob der Hauptinhalt auch in einer technisch robusten Auslieferung vorhanden ist und ob zentrale Navigationswege funktionieren.
Wie Sie Indexierungsprobleme sinnvoll beheben
Beginnen Sie mit der Ursache und nicht mit dem erneuten Einreichen jeder betroffenen URL. Entfernen Sie eine unbeabsichtigte Noindex-Anweisung, korrigieren Sie den Canonical, beheben Sie den Serverfehler oder verbessern Sie die interne Verlinkung. Bei Qualitätsproblemen sollte zuerst der Inhalt überarbeitet werden.
Danach können Sie die betroffene URL in der Search Console erneut prüfen lassen oder eine Validierung des entsprechenden Problems anstoßen. Die Verarbeitung benötigt Zeit und ist keine Garantie für eine Aufnahme. Kontrollieren Sie nach angemessener Wartezeit, ob sich der Status und die Sichtbarkeit tatsächlich verändert haben.
Bei vielen URLs empfiehlt sich ein kontrolliertes Vorgehen:
- Problem und betroffene URL-Gruppe dokumentieren.
- Ursache anhand von Quellcode, Serverantwort, robots.txt, Sitemap und internen Links bestätigen.
- Änderung zunächst an repräsentativen URLs testen.
- Die technische Umsetzung auf weitere URLs ausrollen.
- Nachverfolgen, ob die wichtigen Seiten erreichbar, indexierbar und in den Berichten korrekt eingeordnet sind.
Messbare Kriterien für eine verlässliche Kontrolle
Eine gute Prüfung beschränkt sich nicht auf „indexiert“ oder „nicht indexiert“. Sinnvolle Kontrollgrößen sind unter anderem:
| Kriterium | Worauf Sie achten sollten |
|---|---|
| Indexierbare Zielseiten | Wichtige URLs sind technisch erreichbar, nicht versehentlich gesperrt und eindeutig zugeordnet. |
| Ausschlussgründe | Bewusste Ausschlüsse sind nachvollziehbar; wichtige Inhalte tauchen nicht unerwartet darin auf. |
| XML-Sitemap | Sie enthält aktuelle, kanonische und indexierbare URLs ohne unnötige Varianten. |
| Interne Verlinkung | Relevante Seiten sind über thematisch passende Links erreichbar. |
| Statuscodes | Wichtige Inhalte liefern eine passende erfolgreiche Antwort und keine Fehler- oder Umleitungskette. |
| Organische Sichtbarkeit | Indexierung und Suchleistung werden getrennt bewertet; eine indexierte Seite muss nicht automatisch gut ranken. |
Für kleine Websites reicht oft eine monatliche oder anlassbezogene Kontrolle, etwa nach einem Relaunch. Größere Websites mit häufigen Veröffentlichungen sollten technische Warnungen, Sitemap-Änderungen und wichtige URL-Gruppen enger überwachen. Der passende Rhythmus richtet sich nach Änderungsfrequenz und Risiko.
FAQ
Wie kann ich schnell prüfen, ob eine einzelne Seite indexiert ist?
Geben Sie die vollständige URL in die URL-Prüfung der Google Search Console ein. Als ergänzenden Plausibilitätscheck können Sie nach der exakten URL oder mit dem Operator site: suchen. Die Search Console liefert für die eigene bestätigte Website in der Regel die aussagekräftigere technische Einordnung.
Ist eine Website mit einer Suche nach „site:Domain“ vollständig geprüft?
Nein. Der Suchoperator zeigt keine garantiert vollständige Liste und kann eine ungenaue oder schwankende Anzahl anzeigen. Er eignet sich für einen schnellen Überblick, sollte aber mit Search-Console-Berichten, einer Sitemap und einer technischen URL-Analyse kombiniert werden.
Warum wird eine Seite trotz XML-Sitemap nicht indexiert?
Eine Sitemap macht eine URL bekannt, erzwingt aber keine Indexierung. Gründe können unter anderem eine Noindex-Anweisung, ein falsches Canonical, sehr ähnlicher Inhalt, fehlende interne Verlinkung, technische Fehler oder ein noch nicht abgeschlossener Verarbeitungsprozess sein.
Wie lange dauert es, bis eine Änderung berücksichtigt wird?
Das lässt sich nicht pauschal vorhersagen. Es hängt unter anderem von der Website, der URL, der Änderungsfrequenz und der technischen Situation ab. Nach einer Korrektur sollten Sie die Seite erneut prüfen, aber nicht aus einer kurzen Verzögerung sofort auf einen dauerhaften Fehler schließen.
Sollten alle Seiten einer Website indexiert werden?
Nein. Funktionale Seiten, interne Suchergebnisse, bestimmte Filtervarianten oder private Bereiche haben oft keinen eigenständigen Nutzen für Suchende. Entscheidend ist, dass die für Nutzer und Suchmaschinen relevanten Seiten gezielt indexierbar sind und unnötige Varianten nicht die Website-Struktur verwässern.
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling bezeichnet den Abruf und die Verarbeitung einer URL durch einen Suchmaschinenbot. Indexierung ist die anschließende Entscheidung, ob und wie diese Seite im Suchindex gespeichert wird. Eine gecrawlte Seite kann deshalb trotzdem nicht indexiert sein.
Kann eine indexierte Seite trotzdem unsichtbar wirken?
Ja. Indexierung bedeutet nur, dass eine Seite grundsätzlich im Index vorhanden sein kann. Sie kann für ein bestimmtes Keyword eine sehr niedrige Position haben, eine andere Suchintention bedienen oder in einer personalisierten beziehungsweise lokal unterschiedlichen Suche nicht prominent erscheinen. Für die Bewertung müssen Indexierung, Suchintention und Ranking getrennt betrachtet werden.
Fazit: Indexierung systematisch statt zufällig prüfen
Wer die Indexierung einer Website überprüfen möchte, sollte mehrere Ebenen verbinden: gewünschte Zielseiten, Search-Console-Daten, technische Signale, XML-Sitemap, interne Verlinkung und die Qualität der Inhalte. Eine einzelne Suchabfrage oder ein einzelner Status reicht selten für eine verlässliche Diagnose.
Am effizientesten ist ein priorisiertes Vorgehen. Definieren Sie zunächst, welche URLs sichtbar sein sollen, prüfen Sie danach deren technische Erreichbarkeit und untersuchen Sie erst anschließend größere URL-Mengen. So unterscheiden Sie bewusste Ausschlüsse von echten Fehlern und investieren Ihre Zeit dort, wo die Website und ihre Nutzer am meisten profitieren.