Inhaltsverzeichnis
Die standardmäßig im Gambio-Onlineshop enthaltene robots.txt-Datei blockiert unter anderem das Crawling des Impressums und der Hinweise zum Datenschutz. In puncto Suchmaschinenoptimierung ist das ein absoluter Super-GAU, den es zu lösen gilt, wenn Sie Ihren Shop bei Google und Co. auf den vorderen Plätzen sehen möchten.
Hintergrund
Als Shopbetreiber steht man auf rechtlichem Perma-Glatteis. Jederzeit kann ein Urteil ergehen, das eine in beliebten AGB-Vorlagen verwendete Klausel für gesetzeswidrig erklärt. Schon recherchiert Anwalt Karl A. (Name geändert – Anm. d. Red.) mittels Suchmaschine gezielt nach Websites, die besagte Klausel enthalten. Er sammelt 1.000 Adressen und sucht sich einen Mandanten, in dessen Auftrag er massenhaft Abmahnungen wegen Verstoßes gegen das UWG versenden kann.
Das Aussperren rechtlich relevanter Seiten mittels robots.txt bietet einen gewissen Schutz vor Anwalt Karl A. Es steckt also durchaus eine gute Absicht dahinter. Die Machart ist jedoch ein Graus für jeden SEO-Experten, der die Bedeutung der Vertrauenswürdigkeit verinnerlicht hat.
Das Problem
Falscher Ansatz
Der Eintrag in der robots.txt verbietet das Crawling des Inhalts, keineswegs jedoch die Indexierung. Ein Meta-Tag mit den Attributsname-/-werte-Paaren name=robots und content=noindex wäre die geeignete Lösung, um die Seite nicht im Index der Suchmaschinen erscheinen zu lassen.
Warum aber sollte Google den Inhalt der Seite nicht lesen dürfen? Auch unser findiger Anwalt A. bräuchte nur eine Suchmaschine verwenden, die sich nicht an die Disallow-Angaben in der robots.txt hält. Die standardmäßigen Einstellungen sind daher einfach nur schädlich für Sie als Shopbetreiber und sonst gar nichts.
Keine Vertrauenswürdigkeit
Würden Sie in einem Onlineshop einkaufen, der über keine Anbieterkennzeichnung verfügt und keinerlei Informationen darüber bereitstellt, wie er mit Ihren persönlichen Daten verfährt? Vermutlich nicht. Aber genau so stellt sich Ihr Shop für die Suchmaschinen dar, sofern Sie Ihr Impressum nicht auf einer anderen als der in Gambio dafür vorgesehenen Seite platziert haben.
Google ist deshalb die mit Abstand beliebteste Suchmaschine, weil sie die beste Benutzererfahrung bietet. Das gilt zum einen für die Suche und Präsentation der Suchergebnisse selbst, insbesondere aber auch für die Erfahrung der Nutzer nach Klick auf ein Suchergebnis. Ein Onlineshop ohne Impressum und Privacy Policy verspricht keine allzu positive Benutzererfahrung und wirkt ganz bestimmt nicht vertrauenswürdig. Warum also sollte Google einen Shop prominent platzieren, in dem niemand einkaufen möchte?
Ich bin ganz nah dran, mich zu einem Statement zur Bedeutung der Vertrauenswürdigkeit einer Website für das Ranking hinreißen zu lassen. Nicht umsonst gibt es bei moz.com einen MozTrust-Score. Stattdessen verweise ich auf die Phrase „appropriate amount of contact information“. Geben Sie diesen Begriff (inkl. Anführungszeichen) in eine Suchmaschine Ihrer Wahl ein, erklären Ihnen tausende SEO-Gurus, wie wichtig ein Impressum, Kontaktdaten, aber auch Hinweise zum Datenschutz und Nutzungs- oder Geschäftsbedingungen für die Vertrauenswürdigkeit und das Ranking sind.
Schlechtes Ranking
Google hat vollkommen recht. Ein Webshop ohne hinreichende Kontaktinformationen und rechtlich erforderliche Inhalte hat auf den vorderen Plätzen der Suchergebnisseite nichts verloren.
Die Lösung
Korrektur der robots.txt
Suchmaschinen von rechtlich relevanten und vertrauensbildenden Inhalten auszuschließen, ist also eine ganz blöde Idee, wenn man gefunden werden möchte. Die Lösung ist aber zum Glück ganz einfach: Löschen Sie die schädlichen Einträge aus der robots.txt. Die Datei finden Sie im Hauptverzeichnis Ihrer Gambio-Installation.
Davon ausgehend, dass Sie Ihre AGB, Hinweise zum Datenschutz und Pflichtangaben im Impressum ordnungsgemäß hinterlegt haben, sind all diese Zeilen aus der Datei zu löschen:
Disallow: /shop_content.php?coID=2 Disallow: /info/privacy-notice.html Disallow: /en/info/privacy-notice.html Disallow: /de/info/privacy-notice.html Disallow: /info/privatsphaere-und-datenschutz.html Disallow: /en/info/privatsphaere-und-datenschutz.html Disallow: /de/info/privatsphaere-und-datenschutz.html Disallow: /popup_content.php?coID=2 Disallow: /shop_content.php?coID=3 Disallow: /info/conditions-of-use.html Disallow: /en/info/conditions-of-use.html Disallow: /de/info/conditions-of-use.html Disallow: /info/allgemeine-geschaeftsbedingungen.html Disallow: /en/info/allgemeine-geschaeftsbedingungen.html Disallow: /de/info/allgemeine-geschaeftsbedingungen.html Disallow: /popup_content.php?coID=3 Disallow: /shop_content.php?coID=4 Disallow: /info/imprint.html Disallow: /en/info/imprint.html Disallow: /de/info/imprint.html Disallow: /info/impressum.html Disallow: /en/info/impressum.html Disallow: /de/info/impressum.html Disallow: /popup_content.php?coID=4 Disallow: /shop_content.php?coID=9 Disallow: /popup_content.php?coID=9 Disallow: /shop_content.php?coID=3889891 Disallow: /info/Shipping-and-payment-conditions.html Disallow: /en/info/Shipping-and-payment-conditions.html Disallow: /de/info/Shipping-and-payment-conditions.html Disallow: /info/Versand-und-Zahlungsbedingungen.html Disallow: /en/info/Versand-und-Zahlungsbedingungen.html Disallow: /de/info/Versand-und-Zahlungsbedingungen.html Disallow: /popup_content.php?coID=3889891 Disallow: /shop_content.php?coID=3889895 Disallow: /info/Right-of-Withdrawal--Model-Withdrawal-Form.html Disallow: /en/info/Right-of-Withdrawal--Model-Withdrawal-Form.html Disallow: /de/info/Right-of-Withdrawal--Model-Withdrawal-Form.html Disallow: /info/Widerrufsrecht-und-Muster-Widerrufsformular.html Disallow: /en/info/Widerrufsrecht-und-Muster-Widerrufsformular.html Disallow: /de/info/Widerrufsrecht-und-Muster-Widerrufsformular.html Disallow: /popup_content.php?coID=3889895
Wenn Sie lieber eine halbe Stunde statt 3 Minuten mit der nötigen Korrektur verbringen möchten, können Sie die Seiten auch einzeln im Gambio-Admin durchgehen. Deaktivieren Sie die Option Eintrag in robots.txt (disallow), speichern Sie die Seite und versuchen Sie, ob sich die robots.txt unter Shop Einstellungen SEO neu generieren lässt.
Bei der Gelegenheit können Sie auch gleich überlegen, ob es sinnvoll ist, eine Webseite in die Sitemap aufzunehmen und gleichzeitig den Zugriff darauf via robots.txt zu verbieten. Auch das ist nämlich die Standardeinstellung des Gambio-Onlineshops im Auslieferungszustand.
Die Liste der zu entfernenden Einträge ist übrigens keineswegs abschließend. Es spricht wenig dagegen, eine robots.txt ganz einfach so aussehen zu lassen:
User-agent: * Allow: /
Denn, nochmal in Form einer Liste:
- Ein Disallow-Eintrag in der robots.txt verhindert nicht die Indexierung.
- Zum Aussperren unerwünschter Bots gibt es geeignetere Methoden als die robots.txt.
- Um die Indexierung einzelner Seiten zu verhindern, verwendet man das Meta-Tag robots oder den HTTP-Header X-Robots-Tag.
Das Noindex-Modul (kostenlos)
Warum genau sollte nun Ihr Impressum nicht gefunden werden? Ich gebe aber unumwunden zu, dass das schon von Gesetzes wegen hässliche Muster-Widerrufsformular auf Werbe-Markt.de auch einen noindex-Status genießt. Allerdings geht das mit Yoast SEO in WordPress entschieden einfacher als mit Gambio. Genauer gesagt, sehe ich in Gambio überhaupt keine Möglichkeit, die wirkungsvollen zwei Buchstaben „no“ in jene Seiten einzufügen, die Suchmaschinen nicht indexieren sollen.
Nun wäre der X-Robots-Tag im HTTP-Header die deutlich einfachere Lösung gegenüber der Meta-Angabe im Dokument. Da Gambio das Meta-Tag robots mit dem Wert index aber fest eingebunden hat, würden wir durch schlichtes Senden des HTTP-Headers mit der Anweisung noindex widersprüchliche Wünsche äußern. Der Bot würde uns folglich für noch schizophrener halten, als er es durch das Sitemap-robots.txt-Paradoxon ohnehin schon tut.
Wir konzentrieren uns also auf das Meta-Tag im Dokument und da sich ja sonst niemand drum kümmert, gebe ich Ihnen das Noindex-Modul für Gambio kostenlos an die Hand. Viel Spaß damit!
Besseres Ranking
Wir haben Gambios üblen Fauxpas ausgemerzt und uns somit überhaupt erstmal die Chance eröffnet, im Ranking nach vorne zu kommen. SEO-Experten sind sich einig, dass Vertrauenswürdigkeit eine ganz gewichtige Rolle im Google-Algorithmus einnimmt.
Dazu gehört beleibe nicht nur die Bereitstellung von Kontaktinformationen, AGB und Hinweisen zum Datenschutz. Auch die Übereinstimmung der Kontaktdaten auf der Website mit deren WHOIS-Angaben, der Steuerstatus des Shopbetreibers und natürlich dessen (Marken-)Bekanntheit werden immer wieder als (mögliche) Rankingfaktoren genannt.
In der Hoffnung, Ihren Shop vorangebracht zu haben, freue ich mich auf Kritik, Fragen oder Anregungen zur Suchmaschinenoptimierung Ihres Gambio-Shops, Vorschläge für neue Module und darüber hinaus.
Danke für die Kritik und Stellungnahme dazu
Wir bei Gambio haben deinen Artikel gefunden und ihn aufmerksam gelesen. Wir freuen uns immer über Kritik und Input, und für SEO Themen sind wir aufgrund unseres Fokusses auf gute Suchmaschinenoptimierung ganz besonders offen. Wir wollen unsere Sache gut machen, darum haben wir die hier aufgezeigte Fragestellung bereits begonnen intern zu diskutieren. Wir glauben, nach jetzigem ersten Stand, unsere bisherige Umsetzung ist für den angedachten Zweck nicht falsch, durch richtige Anwendung der hier aufgezeigten Punkte aber an einigen Stellen verbesserbar. Reden wir darüber!
Zum Stand der Bewertung:
Wir glauben, dass die bisherige Funktionalität grundsätzlich ihre Funktion erfüllt: Wer Contentmanagereinträge inhaltlich indizieren lassen möchte, um die hier im Artikel angesprochenen Vertrauenssteigerungsüberlegungen umzusetzen, kann genau das auch heute per Knopfdruck bekommen. Wer seine Rechtstexte nicht in Suchmaschinen finden möchte, bekommt auch genau das geliefert, die Inhalte sind über reguläre Suchmaschinen nicht nach eventuell fraglichen rechtlichen Formulierungen zu filtern.
Eine sehr gute Frage ist, ob die jetzige Implementierung SEO-technisch betrachtet optimal ist, und die Standardeinstellungen für Rechtstextecontents optimal sind. Eine Aufnahme von Contents, die nicht indiziert werden sollen, gleichzeitig per Default in der XML-Sitemap zu haben, scheint eine bislang von uns übersehene Widersinnigkeit. Dies ist zwar leicht zu ändern, besser wäre dennoch natürlich eine ideale Vorauswahl durch uns entsprechend unserer Empfehlungen. Wir werden den Default hier voraussichtlich auf eine Exklusion von Rechtstextcontents in der Sitemap ändern.
Stand der Überlegung ist auch weiterhin: Wir raten weiterhin aus vielen Gründen der Risikovermeidung davon ab, die eigenen Rechtstexte von Google und anderen Suchmaschinen inhaltlich indizieren zu lassen. Wir bewerten die Schutzwürdigkeit hier klar höher als mögliche Vertrauensprobleme, die wir mehr hypothetischer Natur einstufen. Bei Suchmaschinen, die sich irregulär verhalten und absolute Standardoptionen nicht umsetzen, können wir wenig tun, die sich regulär verhaltenden Suchmaschinen aber durch die hier im Artikel genannten noindex Header in betroffenen Seiten vermutlich wirklich besser und zielführender aussteuern.
Aktuell tendieren wir dazu die Ausspielung von noindex Headern an die vorhandenen robots-disallow Einträge zu koppeln. Der klare Vorteil einer solchen Lösung ist hier, dass keine weitere dem Laien undurchdringbare Option im Shop auftaucht, das SEO Signal klar ist, und dass nach einem Update nicht alle Contentmanager-Einträge im Shop durch den Betreiber kontrolliert werden müssen. Nicht abdecken würde diese Lösung, wenn noindex Header gesetzt werden sollen, aber kein robots.txt Disallow Eintrag erzeugt werden soll. Wir halten diesen Fall im Moment für kaum relevant, haben uns aber Rückmeldungen zum Thema von mit uns kooperierenden weiteren SEO Experten erbeten, um hier eine gute Lösung zu finden.
Anmerken möchten wir auch Standpunkte zum Text, wo wir klar und ausdrücklich das Gegenteil der vorgeschlagenen Maßnahmen empfehlen:
Zunächst einmal raten wir jedem nicht einfach Einträge aus der fertig erzeugten Robots.txt im Hauptverzeichnis zu entfernen. Ein einfacher Klick auf den Erzeugungsbutton im Shopbackend tauscht die Datei aus, die Einträge wären sofort wieder in der Datei, die Änderungen verloren, damit ist das nicht nachhaltig. Auch die weitere Pflege der Datei würde erschwert. Wir raten hier ganz strikt dazu, die betroffenen Contents, wenn man Änderungen möchte, trotz scheinbar erstmal höherem Aufwand passend nach eigenen Wünschen durchzupflegen.
Wir raten ebenfalls strikt dazu, die robots.txt Datei nicht auf das vorgeschlagene „Mininalmaß“ reduziert zu speichern! Suchmaschinen würden hier beginnen völlig unerwünschten Pfaden zu folgen, zum Beispiel Kombinationen gesetzter Artikelfilter, bis zu unter Umständen ebenfalls gesetzten Sessionparametern, Mengenangabenparametern, etc. In Folge wären unzählige „Duplicate Content“ Probleme entstehen, die Fehlermenge bei der Seitenindizierung also schnell gewaltig steigt. Eine anschließend nötige Bereinigung des Suchmaschinen Indexes ist eine absolut unschöne und hakelige Aufgabe, es sind somit also lange nicht alle Einträge der Robots-Datei verzichtbar.
Der Stand der Dinge auf unserer Seite zu den oben genannten von uns als valide bewerteten Kritikpunkten lässt sich in diesen beiden Bugtickets verfolgen:
Setzen von noindex Headern:
https://tracker.gambio-server.net/issues/54947
Bessere Sitemap Defaults für Rechtstext Contents:
https://tracker.gambio-server.net/issues/54975
Beste Grüße aus Bremen vom Gambio Team!
stellvertretend, Wilken Haase
Danke für die Rückmeldung
Vielen Dank für das ausführliche Feedback, die Verdeutlichung der „offiziellen Gambio-Sichtweise“ und die sinnvollen Ergänzungen!
Damit sollten wir die wichtigsten Aspekte der Problematik genannt haben und jeder Leser kann selbst entscheiden, für wie gewichtig er welchen Aspekt hält und wie er ihn konkret umsetzt.
Noch kurz zum technischen, verbunden mit dem Lob, dass Ihr das gleich angehen wollt:
https://tracker.gambio-server.net/issues/54947
„noindex Header“ verstehe ich als den HTTP-Header „X-Robots-Tag“ und frage mich natürlich, was dann aus dem Meta-Tag wird. In jedem Fall spricht aus meiner Sicht nichts dagegen, gemäß robots.txt blockierte Seiten auf welche Weise auch immer gleichzeitig mit einem noindex-Tag zu versehen.
Naturgemäß gibt es in einer Shopsoftware Einstellungsmöglichkeiten, die beileibe nicht jeder Shopbetreiber benötigt. Ein zusätzliches Häkchen für „noindex“ hielte ich aber für sehr sinnvoll 😉
Frohes Schaffen und liebe Grüße nach Bremen!