Zum Inhalt springen

Dokumentation / Domains

Suchmaschinen-Crawling

Testsysteme und Plattform-Domains aus Google und anderen Suchmaschinen heraushalten.

Nicht jede Odoo-Instanz gehört in den Google-Index. Testsysteme, Staging-Kopien, Preview-Deployments und die automatische Plattform-Domain eines Produktivsystems sind zwar aus dem Internet erreichbar, sollen aber meist nicht indexiert werden — sonst drohen Duplicate Content, Kunden, die in einem Staging-Shop landen, oder interne URLs in den Suchergebnissen.

Mit calmo.cloud kannst du das Crawling durch Suchmaschinen pro Hostname blockieren. Derselbe Odoo-Dienst kann so unter shop.firma.de indexierbar und unter erp.production.acme.calmo.cloud verborgen sein.

Wie es funktioniert #

Ist das Crawling für einen Hostnamen blockiert, konfiguriert calmo.cloud Traefik so, dass jede Antwort auf diesem Hostnamen den Header

X-Robots-Tag: noindex, nofollow, noarchive

erhält. Suchmaschinen wie Google und Bing beachten diesen Header bei allen Inhaltstypen (HTML-Seiten, PDFs, Bilder) und entfernen die betroffenen URLs aus ihrem Index — auch Seiten, die die robots.txt von Odoo eigentlich erlauben würde. Anfragen an Hostnamen ohne die Einstellung werden unverändert ausgeliefert.

Da der Header vom Reverse Proxy vor Odoo gesetzt wird, funktioniert das mit jeder Odoo-Version und erfordert keine Änderung in Odoo selbst. Die Sperre gilt pro Domain: Ein Hostname, der sich die Odoo-Datenbank mit einem öffentlichen Shop teilt, bleibt verborgen, während der Shop sichtbar bleibt.

Der Header ist ein Signal an seriöse Crawler, keine Zugriffsbeschränkung. Wer die URL kennt, kann die Seite weiterhin öffnen. Nutze die Einstellung, um Systeme aus Suchergebnissen herauszuhalten — nicht, um vertrauliche Daten zu schützen.

Nur Live-Dienste können indexiert werden #

Test-, Demo-, Kopie-, Preview- und Sandbox-Dienste sind immer auf allen ihren Hostnamen gesperrt — eigene Domains genauso wie die Plattform-Domain. Dafür muss nichts konfiguriert werden; die unten beschriebenen Schalter werden dort gesperrt angezeigt. Nur Dienste vom Typ Live entscheiden pro Hostname, ob Suchmaschinen sie indexieren dürfen.

Diensttyp Suchmaschinen-Crawling
Live Auf eigenen Domains standardmäßig erlaubt; pro Hostname und für die Plattform-Domain konfigurierbar
Test, Demo Immer auf allen Hostnamen gesperrt
Copy, Preview, Sandbox Immer auf allen Hostnamen gesperrt

Eigene Domains (Live-Dienste) #

Die Sperre ist eine Einstellung am jeweiligen Hostnamen:

  1. Navigiere zu deinem Odoo-Dienst
  2. Klicke auf den Hostnamen-Tab
  3. Klicke bei dem Hostnamen auf Bearbeiten
  4. Aktiviere Prevent search engine crawling
  5. Speichern und den Dienst neu deployen

Die Spalte No index in der Hostnamen-Tabelle zeigt, welche Hostnamen aktuell blockiert sind.

Weiterleitungs-Hostnamen (siehe Weiterleitungen) leiten nie an Odoo weiter, deshalb wird die Einstellung dort nicht angezeigt — ob das Ziel indexierbar ist, entscheidet der Ziel-Hostname.

Plattform-Domain (Systemdomain, Live-Dienste) #

Die Plattform-Domain {service}.{server}.{team}.calmo.cloud ist kein normaler Hostname-Eintrag und hat deshalb einen eigenen Schalter direkt am Dienst:

  1. Öffne den Odoo-Dienst und klicke auf Bearbeiten
  2. Aktiviere Prevent system domain crawling
  3. Speichern und den Dienst neu deployen

Bei neuen Diensten, die in der Oberfläche angelegt werden, ist die Option standardmäßig aktiv. Kopien übernehmen die Einstellung vom Quelldienst (sie greift erst, wenn eine Kopie zu einem Live-Dienst wird).

Standard für provisionierte Dienste #

Wenn du Server über eine Provisionierungs-Vorlage bereitstellst, entscheidet der Schalter Prevent system domain crawling der Vorlage (im Abschnitt Dienst-Konfiguration, standardmäßig aktiv), ob daraus erstellte Dienste das Crawling ihrer Plattform-Domain blockieren. Deaktiviere ihn, wenn die Plattform-Domain provisionierter Systeme öffentlich sein soll.

Änderung anwenden #

Wie Hostname- und Weiterleitungsänderungen ist die Crawler-Sperre Teil der Routing-Konfiguration des Dienstes und wird beim nächsten Redeploy wirksam. Der Dienst zeigt den gewohnten Hinweis Redeploy erforderlich, und im Panel Änderungen anzeigen stehen die betroffenen Hostnamen unter Crawling blockiert.

Nach dem Redeploy zeigt curl -I https://dein-hostname/ bei einem blockierten Hostnamen den Header X-Robots-Tag: noindex, nofollow, noarchive — bei einem indexierbaren Hostnamen fehlt er.

Fehlerbehebung #

Die Seite taucht weiterhin bei Google auf
  • Suchmaschinen entfernen Seiten erst beim nächsten Crawl; das kann einige Tage bis mehrere Wochen dauern. Mit dem Tool zum Entfernen von URLs in der Google Search Console geht es schneller.
  • Stelle sicher, dass der Dienst nach dem Aktivieren des Schalters neu deployed wurde.
  • Google sieht den Header nur, wenn es die Seite abrufen kann. Sperrst du Crawler zusätzlich per robots.txt in Odoo, behält Google den alten Eintrag, ohne das noindex je zu sehen.
Mein öffentlicher Shop ist aus den Suchergebnissen verschwunden
  • Prüfe, dass die Sperre nur auf den Hostnamen gesetzt ist, die verborgen sein sollen. Die Sperre gilt pro Hostname; der Schalter für die Systemdomain betrifft nur die *.calmo.cloud-Domain, nicht deine eigenen Domains.
Weiterleitungen Verfügbarkeitsüberwachung