Google und Microsoft haben am 30. Oktober 2026 angekündigt, einen gemeinsamen Widerspruch gegen KI-Training in der robots.txt zu beachten. Website-Betreiber tragen dafür den neuen Bezeichner __usage_ai-training in die Zeile User-Agent ein und sperren darunter die Pfade, deren Inhalte nicht in das Training generativer KI-Modelle fließen sollen. Microsoft berücksichtigt die neuen Angaben laut Bing-Blog ab dem 1. Februar 2027 beim Crawlen.
Google nennt im Search Central Blog das Jahr 2027 als Ziel, die Crawler-Dokumentation spricht von Anfang 2027. OpenAI will den Eintrag laut SiliconANGLE in den kommenden Monaten ebenfalls beachten. Eingereicht hat den Entwurf bei der Internet Engineering Task Force (IETF) Kevin Kelley von Anthropic. Die IETF führt das Papier als Entwurf einer Einzelperson ohne offiziellen Status.
Wie sieht der Eintrag in der robots.txt aus?
Gegen das Training mit allen Inhalten deiner Website reichen zwei Zeilen:
User-Agent: __usage_ai-training
Disallow: /
Einzelne Ordner gibst du mit Allow wieder frei. Als Training gilt nach dem Entwurf jede Änderung an den gelernten Parametern eines generativen KI-Modells; Modelle, die Inhalte nur einordnen oder sortieren, fallen nicht darunter. Eine Regel unter User-Agent: * zählt ausdrücklich nicht als Widerspruch.
Abrufen dürfen Crawler deine Seiten trotzdem, denn der Bezeichner regelt die Nutzung der Inhalte, nicht den Zugriff. Microsoft sichert zu, dass die neuen Angaben die Bing-Suche nicht berühren.
Was ändert sich bei Google und Microsoft?
Google baut auf Google-Extended auf, dem eigenen Bezeichner gegen KI-Training seit 2023. Sperrt eine Website das Training über den gemeinsamen Eintrag und nennt Google-Extended nicht gesondert, wertet Google den Eintrag wie ein Verbot für Google-Extended. Eine eigene Regel für Google-Extended geht vor. Google-Extended steuert nach Googles Dokumentation zwei Dinge gemeinsam: das Training künftiger Gemini-Modelle und das Grounding in den Gemini-Apps, also Antworten mit Inhalten aus dem Suchindex.
Ab wann der Eintrag wirkt
Gemeinsamer Widerspruch gegen KI-Training per robots.txt, Zeitplan von Microsoft und Google
- 30. Oktober 2026Ankündigung und Entwurf bei der IETF
- 1. Februar 2027Microsoft berücksichtigt die neuen Angaben beim Crawlen
- 1. März 2027NoArchive und NoCache gelten bei Bing nicht mehr als Widerspruch
- AngekündigtGoogle will den Eintrag Anfang 2027 auslesen, ohne festes Datum
Der Standard ist ein Entwurf, die Anbieter beachten den Eintrag freiwillig
Quellen: Bing Blogs, Google Search Central, IETF Datatracker
Microsoft trennt Training und Grounding, also das Abrufen einer Seite, um eine Antwort in Bing, Copilot oder Microsoft 365 mit Quellenlinks zu belegen. Das Training sperrst du per robots.txt oder seitenweise mit dem Meta-Tag <meta name="Bingbot" content="ai-training:disallow">. Für das Grounding bleibt nur die seitenweise Angabe ai-grounding:disallow im Meta-Tag oder im HTTP-Header X-Robots-Tag.
Bisher galten bei Bing die Angaben NoArchive und NoCache zugleich als Widerspruch gegen die Nutzung in Copilot. Nach dem 1. März 2027 wertet Microsoft beide dafür nicht mehr aus. Übergangsweise lässt sich ab dem 15. Dezember 2026 in den Bing Webmaster Tools festlegen, ob Bing deine Inhalte für das Grounding nutzen darf, befristet bis zum 30. September 2027.
Was das für dich bedeutet
Bei Google steckt für deine Website ein Zielkonflikt im Eintrag. Sperrst du das Training nur über den gemeinsamen Eintrag, schließt du nach Googles Regel auch das Grounding in Gemini aus und tauchst dort wohl nicht mehr als Quelle auf. Eine eigene Freigabe für Google-Extended hält dich sichtbar, erlaubt Google aber zugleich das Training. Welche Rolle KI-Antworten für deine Besucherzahlen spielen, zeigt der Kurs zur Sichtbarkeit in ChatGPT, Claude und Gemini.
Setzt du heute NoArchive oder NoCache gegen Copilot ein, notier dir den 1. März 2027. Bis dahin brauchst du die neuen Meta-Angaben von Microsoft, sonst gilt für das Grounding wieder die Freigabe.
WordPress erzeugt die robots.txt virtuell, solange keine echte Datei im Hauptverzeichnis liegt. Mit dem Datei-Editor von Yoast SEO legst du die Datei an und ergänzt dort die zwei Zeilen; wie du das Plug-in einrichtest, zeigt die Lektion Yoast SEO konfigurieren.
Bindend ist der Eintrag für niemanden. Anbieter, die nicht mitmachen, lesen ihn nicht, und Meta unterstützt die Idee laut SiliconANGLE, ohne die Umsetzung zuzusagen. Deine bisherigen Regeln für einzelne Crawler lässt du deshalb am besten stehen.
Google und Microsoft haben ihre Pläne am 30. Oktober 2026 veröffentlicht.
Quellen
