Cloudflare fördert das agentische Internet mit einer einfachen Philosophie: Ihre Inhalte, Ihre Regeln

Neue Klassifizierungen, verbesserte Analysen und branchenprägende Partnerschaften sollen Betreiber von Websites und transparente KI-Unternehmen dabei unterstützen, gemeinsam ein erfolgreiches agentisches Internet aufzubauen

SAN FRANCISCO--(BUSINESS WIRE)--Cloudflare, Inc. (NYSE: NET), das führende Cloud-Unternehmen für Konnektivität, hat heute neue Klassifizierungen, verbesserte Analysen und branchenprägende kommerzielle Partnerschaften bekannt gegeben, die Website-Betreiber und transparente KI-Unternehmen zusammenbringen, um die Entwicklung des agentischen Internets zu beschleunigen. Die neuen Tools und Integrationen von Cloudflare helfen Website-Betreibern und KI-Unternehmen dabei, ihre Auffindbarkeit, Effizienz und Monetarisierung zu optimieren. Mit diesen neuen Rahmenbedingungen trägt Cloudflare dazu bei, den Grundstein für eine nachhaltige und kooperative agentische Wirtschaft zu legen, von der Website-Betreiber, KI-Unternehmen und die Gesellschaft insgesamt profitieren.

Die Struktur des Internetverkehrs hat sich grundlegend verändert. Heute entfällt mehr als die Hälfte aller Webanfragen auf automatisierte Agenten und Bots. KI entwickelt sich zur neuen Schnittstelle für den Zugriff auf Informationen und für den Onlinehandel und verändert die Regeln, nach denen Inhalte entdeckt werden. Die meisten Website-Betreiber wollen, dass ihre Inhalte in KI-Systemen auffindbar sind. Für Unternehmen, deren Geschäftsmodell auf Werbung oder Abonnements basiert, stellt dies jedoch eine Bedrohung dar, da KI-Systeme ohne Vergütung mit ihren Inhalten trainiert werden. Wenn Sie als Unternehmen möchten, dass Ihre Inhalte von KI-Systemen verarbeitet werden, möchten wir dies für Sie so einfach und effizient wie möglich gestalten. Wenn Sie dies jedoch nicht wünschen, sollten Sie über die entsprechenden Werkzeuge verfügen, um den Zugriff der KI einzuschränken. Auf diese Herausforderung reagiert Cloudflare mit der Erprobung neuer Standardklassifizierungen, die Kunden tiefere Einblicke bieten, die KI-Suche beschleunigen und dafür sorgen, dass Creator eine Vergütung erhalten, wenn ihre Inhalte als Grundlage für eine Antwort dienen. Das Ergebnis sind faire Wettbewerbsbedingungen: Crawling wird effizienter, geistiges Eigentum geschützt, und sowohl Creator als auch KI-Anbieter können in der agentischen Wirtschaft erfolgreich sein.

„Im vergangenen Jahr haben wir Website-Betreibern Transparenz und Kontrolle darüber gegeben, welche Bots auf ihre Inhalte zugreifen, und wir freuen uns über die Vorteile, die dies für das Ökosystem gebracht hat“, berichtet Matthew Prince, Mitbegründer und CEO von Cloudflare. „Da der Internetverkehr inzwischen mehrheitlich nicht mehr von Menschen stammt, müssen wir schneller und entschlossener handeln, damit ein nachhaltiges Ökosystem entstehen kann. Die neuen Tools und Partnerschaften von Cloudflare bieten Website-Betreibern mehr Einblick und neue Monetarisierungsmöglichkeiten und sind für KI-Unternehmen von Vorteil, deren Bots klare und transparente Absichten verfolgen. Wir hoffen, dass unsere vorgeschlagenen Änderungen an den Standardeinstellungen dazu beitragen, dass gemischt genutzte Crawler künftig klar zwischen Suche, Agentennutzung und Training unterscheiden.“

Eine Frist, um den Freifahrtschein für Mixed-Use-Crawler abzuschaffen

Nach Tausenden Gesprächen mit KI-Unternehmen und Website-Betreibern ist eines klar: Die meisten Website-Betreiber möchten in KI auffindbar sein. Für Anbieter, die sich über Werbung oder Abonnements finanzieren, darf eine maximale Auffindbarkeit jedoch nicht bedeuten, geistiges Eigentum kostenlos abzugeben. Transparente KI-Unternehmen haben hier bereits die Grundlage geschaffen, indem sie ihre Bots klar nach Verwendungszweck trennen und kennzeichnen. Mixed-Use-Crawler benachteiligen jedoch sowohl Website-Betreiber als auch transparente KI-Unternehmen, indem sie Suche, Agentennutzung und Training vermischen. Dadurch werden Inhalteanbieter gezwungen, sich zwischen Auffindbarkeit im agentischen Zeitalter und der kostenlosen Preisgabe ihrer wertvollsten Inhalte zu entscheiden. Heute hat die größte Suchmaschine Zugriff auf etwa doppelt so viele Informationen wie führende KI-Unternehmen, weil sie es Kunden schwer macht, auffindbar zu bleiben, ohne zugleich für KI-Zwecke genutzt zu werden.

In den nächsten zwei Monaten wird Cloudflare den Dialog mit dem Ökosystem suchen, Feedback einholen und Tests durchführen, um bis zum 15. September 2026 neue Standardeinstellungen und Klassifizierungen festzulegen.

Für Neukunden und neue Websites bestehender Kunden werden die Standardeinstellungen am 15. September 2026 dafür sorgen, dass Suche erlaubt, Training und Agentennutzung auf Seiten mit Werbung jedoch blockiert werden. Mixed-Use-Crawler, die Website-Betreibern keine Wahl zwischen Suche, Agentennutzung und Training ermöglichen, werden auf allen Seiten mit Werbung blockiert. Diese Einstellungen können von den Kunden jederzeit in ihrem Dashboard geändert werden.

Am 15. September 2026 werden diese Änderungen auch für alle bestehenden Free-Kunden umgesetzt, die ihre Einstellungen bis dahin nicht in ihrem Dashboard geändert haben. Ziel dieser Änderungen ist es, faire Wettbewerbsbedingungen zwischen KI-Unternehmen, die Auffindbarkeit im agentischen Zeitalter auf faire und transparente Weise neu definieren, und etablierten Suchmaschinenanbietern zu schaffen.

Verbesserte Analysen für mehr Sichtbarkeit und die Monetarisierung von Inhalten

Der Markt für monetarisierte Inhalte ist da: Publisher und KI-Plattformen haben allein im vergangenen Jahr mehr als 50 große Lizenzvereinbarungen für Inhalte geschlossen. Um solche Vereinbarungen zu beschleunigen, führt Cloudflare das neue Dashboard Attribution Business Insights ein. Es beseitigt die Datenasymmetrie, durch die Inhalteanbieter lange im Unklaren verhandeln mussten. Erstmals erhalten kommerzielle Entscheider – und nicht nur Sicherheits- und IT-Teams – klare Einblicke darin, wie KI-Bots ihre Inhalte nutzen, und können nachverfolgen, wie viel menschlichen Traffic bestimmte KI-Unternehmen tatsächlich zurückleiten.

Doch zu verstehen, wie KI Inhalte nutzt, ist nur der erste Schritt. Da sich Auffindbarkeit von Suchmaschinen zu Antwortmaschinen verlagert, müssen Kunden eine neue Disziplin beherrschen: Answer Engine Optimization (AEO). Bei AEO geht es darum, nicht nur zu verstehen, wer Inhalte crawlt, sondern auch, wie oft, wie prominent und in welchen Modellen die eigenen Inhalte in KI-generierten Antworten zitiert werden. So wie Webanalyse in der Suchmaschinenära zur unverzichtbaren Infrastruktur wurde, will Cloudflare die maßgebliche Mess- und Optimierungsebene für die KI-Ära bereitstellen.

Intelligentere Suche und faire Vergütung

Ausgehandelte Vereinbarungen können für die größten Publisher funktionieren, lassen sich aber nicht auf den Rest des Webs skalieren. Cloudflare arbeitet an zwei Ansätzen, die für Creator und KI-Unternehmen gleichermaßen von Vorteil sind: KI-Suche effizienter zu gestalten und Creator automatisch zu vergüten, wenn ihre Werke genutzt werden. Heute crawlen KI-Modelle und Suchmaschinen immer wieder Millionen unveränderter Webseiten, um nach aktuellen Daten für die Beantwortung von Nutzeranfragen zu suchen. Daten von Cloudflare deuten darauf hin, dass KI-Crawler mehr als 50 Prozent ihres Crawl-Traffics darauf verwenden, unveränderte Seiten erneut abzurufen. Das Ergebnis: verschwendete Bandbreite für Publisher, verschwendete Rechenleistung für KI-Unternehmen – und keine besseren Antworten. Da Cloudflare erkennen kann, was sich tatsächlich geändert hat, kann das Unternehmen signalisieren, wann es sich lohnt, eine Seite erneut abzurufen, und wann nicht. So lassen sich unnötige Crawls reduzieren und zugleich bessere Ergebnisse liefern. Cloudflare testet diese Signale mit führenden KI-Unternehmen, um zu messen, in welchem Umfang sie die Aktualität verbessern und überflüssiges Crawling verringern, und plant, sie noch in diesem Jahr allgemein verfügbar zu machen.

Vor einem Jahr, am ersten Content Independence Day, führte Cloudflare die erste Version von Pay Per Crawl ein, damit Publisher KI-Unternehmen für das Crawlen ihrer Inhalte Gebühren berechnen können. Heute entwickelt Cloudflare Pay Per Crawl zu Pay Per Use weiter, sodass Publisher vergütet werden, wenn ihre Inhalte tatsächlich Wert schaffen – und nicht schon dann, wenn sie lediglich abgerufen werden. Das Unternehmen arbeitet mit führenden Partnern wie Ceramic.ai und You.com zusammen, um dieses Prinzip in einen funktionierenden Markt umzusetzen. Bei Ceramic.ai werden Publisher, die sich dafür entscheiden, jedes Mal vergütet, wenn ihre Inhalte in den KI-Suchergebnissen von Ceramic erscheinen. Zudem erhalten sie Informationen zu Suchanfragen, Zitierungen und Rankings. Andere KI-Unternehmen können das Modell einbringen, das zu ihrer Arbeitsweise passt: You.com etwa wird es einem Agenten ermöglichen, bei Bedarf für einen bestimmten Premium-Inhalt zu bezahlen, den er benötigt, während Cloudflare die gemeinsame Grundlage für alle Modelle bereitstellt.

Ein Jahr „Content Independence“: Was wurde bisher eingeführt?

Beim Content Independence Day im vergangenen Jahr ging es im Kern um Verteidigung: Publishern Werkzeuge an die Hand zu geben, mit denen sie die Kontrolle über ihre Daten zurückgewinnen können. In den vergangenen zwölf Monaten hat Cloudflare intensiv an der Infrastruktur gearbeitet, die erforderlich ist, um von reinem Schutz zu aktiver Unterstützung überzugehen. Die heutigen Ankündigungen sind das Ergebnis dieser Grundlage und stützen sich auf drei Säulen für ein nachhaltiges Ökosystem: Kontrolle, Transparenz und Monetarisierung. Im vergangenen Jahr führte Cloudflare „AI Crawl Control“ ein und etablierte damit ein berechtigungsbasiertes Modell für das Crawling durch KI. Um diesen Schutz breiter zugänglich zu machen, arbeitete Cloudflare mit Plattformen wie beehiiv zusammen und stellte detaillierte Dashboards für unabhängige Creator und große Medienhäuser bereit, mit denen sie bestimmte KI-Modelle einfach verfolgen, blockieren oder gezielt zulassen können. Um Interaktionen mit Agenten grundlegend abzusichern, trieb Cloudflare außerdem Web Bot Auth voran – ein offenes Framework, mit dem KI-Bots und autonome Shopping-Agenten gegenüber Publishern und Händlern ihre Identität und Authentizität nachweisen können. Zudem arbeitet Cloudflare mit führenden Zahlungsanbietern zusammen, um die notwendige Zahlungsinfrastruktur für die aufstrebende „Agentic Commerce“-Wirtschaft zu schaffen. Mit Web Bot Auth als Grundlage unterstützt Cloudflare diese Anbieter dabei, sichere Transaktionen für KI-Einkaufsagenten bei Millionen von Händlern weltweit zu gewährleisten, ohne dass dabei unverschlüsselte Anmeldedaten offengelegt werden. Letztlich tragen diese Initiativen dazu bei, das Rückgrat einer nachhaltigen agentischen Wirtschaft bereitzustellen und sicherzustellen, dass die nächste Ära des Internets auf Transparenz, Auffindbarkeit und fairer Vergütung aufbaut.

Führende Publisher und KI-Unternehmen unterstützen das agentische Internet

• beehiiv: „Wir treten in eine neue Ära ein, in der Auffindbarkeit von Inhalten völlig neu definiert wird. Unabhängige Creator sollten bei diesem Wandel ganz vorne stehen. In Zukunft geht es darum, ihnen Kontrolle über ihre Inhalte und ihre Zielgruppe zu geben. Wir wollen Autoren das Steuer in die Hand geben, damit sie sich einfach für das neue agentische Internet entscheiden, ihre Sichtbarkeit in Antwortmaschinen der nächsten Generation maximieren und ihre Zielgruppen aktiv nach ihren eigenen Regeln ausbauen können.“ – Tyler Denk, CEO
• Ceramic.ai: „Um die Zukunft der KI-Suche skalieren zu können, brauchen wir einen Partner mit enormer Reichweite und einem gemeinsamen Bekenntnis zu Transparenz und fairer Vergütung. Cloudflare hilft uns, unsere Betriebsabläufe einfach und programmatisch zu skalieren. Indem wir unser Pay-per-Query-Modell in das Netzwerk von Cloudflare einbringen, stellen wir sicher, dass Millionen von Inhalteanbietern sich nahtlos dafür entscheiden können, jedes Mal vergütet zu werden, wenn ihre Inhalte in unseren Suchergebnissen erscheinen.“ – Anna Patterson, Gründerin und CEO
• Condé Nast: „Im vergangenen Jahr hat Cloudflare Premium-Publisher wie Condé Nast weiterhin unterstützt und sich dafür eingesetzt, dass wir für unsere Inhalte als wichtige Beiträge zum KI-Ökosystem vergütet werden. Cloudflare bietet marktführende technische Infrastruktur und ist für uns weiterhin ein wichtiger Sparringspartner für die kommenden Entwicklungen.“ – Geoff Campbell, SVP Strategy and Business Development
• Patreon: „Da KI-Agenten immer leistungsfähiger und beliebter werden, sollten Creator ein echtes Mitspracherecht dabei haben, wie ihre Inhalte von KI-Unternehmen genutzt werden. In weiten Teilen des Internets müssen Creator akzeptieren, dass ihre Inhalte für KI-Training genutzt werden, nur um eine Zielgruppe zu erreichen und zu vergrößern. Patreon verfolgt eine andere Vision: Creator sollten ihre Zielgruppe erweitern und zugleich kontrollieren können, wie ihre Werke genutzt werden. Deshalb bauen wir auf unserer bestehenden Zusammenarbeit mit Cloudflare auf, um bekannte KI-Training-Crawler netzwerkweit bei Patreon zu blockieren, während Crawler, die Creator dabei unterstützen, entdeckt zu werden und Wachstum zu erzielen, weiterhin zugelassen werden.“ – Drew Rowny, SVP of Product

Weitere Informationen zur Vision von Cloudflare bieten folgende Ressourcen:

• Blog: Content Independence Day, one year on: building the business model for the agentic Internet
• Blog: Your site, your rules: new AI traffic options for all customers
• Blog: Unmasking the crawls with Attribution Business Insights
• Blog: Making AI Search smarter

Über Cloudflare

Cloudflare, Inc. (NYSE: NET) ist das führende Cloud-Unternehmen für Konnektivität. Es befähigt Unternehmen, ihren Beschäftigten, Anwendungen und Netzwerken überall mehr Schnelligkeit und Sicherheit zu verleihen und gleichzeitig Komplexität und Kosten zu reduzieren. Die Connectivity Cloud von Cloudflare bietet die umfassendste, einheitliche Plattform mit cloudnativen Produkten und Entwickler-Tools, sodass jedes Unternehmen die Kontrolle erhält, die es zum Betreiben, Entwickeln und Beschleunigen seines Geschäfts benötigt.

Cloudflare wird von einem der größten und am besten verknüpften Netzwerke der Welt unterstützt und blockiert für seine Kunden jeden Tag Milliarden von Online-Bedrohungen. Mehrere Millionen Organisationen vertrauen auf Cloudflare - von den größten Marken über Unternehmer und kleine Geschäfte bis hin zu gemeinnützigen Organisationen, humanitären Gruppen und Regierungen auf der ganzen Welt.

Erfahren Sie mehr über die Connectivity Cloud von Cloudflare unter cloudflare.com/connectivity-cloud. Erfahren Sie mehr über die neuesten Internet-Trends und Einblicke unter radar.cloudflare.com.

Folgen Sie uns: Blog | X | LinkedIn | Facebook | Instagram

Zukunftsgerichtete Aussagen

Diese Pressemitteilung enthält zukunftsgerichtete Aussagen im Sinne von Abschnitt 27A des US-amerikanischen Securities Act von 1933 in der geänderten Fassung und Abschnitt 21E des Securities Exchange Act von 1934 in der geänderten Fassung, die erhebliche Risiken und Unwägbarkeiten beinhalten. In einigen Fällen lassen sich zukunftsgerichtete Aussagen daran erkennen, dass sie Wörter wie „könnte“, „wird“, „sollte“, „erwartet“, „prüft“, „plant“, „geht davon aus“, „beabsichtigt“, „strebt an“, „prognostiziert“, „erwägt“, „glaubt“, „schätzt“, „potenziell“ oder „fortsetzen“ oder die Verneinung dieser Wörter sowie andere ähnliche Begriffe oder Ausdrücke enthalten, die sich auf die Erwartungen, Strategien, Pläne oder Absichten von Cloudflare beziehen. Allerdings enthalten nicht alle zukunftsgerichteten Aussagen diese kennzeichnenden Wörter. Zu den in dieser Pressemitteilung ausdrücklich oder implizit enthaltenen zukunftsgerichteten Aussagen gehören unter anderem Aussagen über die Funktionen und Wirksamkeit von Bot Defaults, Attribution Business Insights-Dashboard, Pay Per Use und anderen Produkten und Technologien von Cloudflare, die Vorteile für die Kunden von Cloudflare durch die Nutzung von Bot Defaults, Attribution Business Insights-Dashboard, Pay Per Use sowie anderer Produkte und Technologien von Cloudflare und durch die Integration von Ceramic.ai und You.com sowie anderer Produkte und Technologien von Cloudflare mit Produkten von Ceramic.ai und You.com, die Möglichkeit für Cloudflare, zusätzliche Kunden zu gewinnen und den Umsatz mit bestehenden Kunden durch die Produktintegrationen von Cloudflare mit Ceramic.ai und You.com zu steigern, den Zeitpunkt, zu dem Bot Defaults, Attribution Business Insights-Dashboard, Pay Per Use oder damit verbundene Funktionen für alle aktuellen und potenziellen Cloudflare-Kunden allgemein verfügbar sein werden, den Zeitpunkt, zu dem Bot Defaults, Attribution Business Insights-Dashboard, Pay Per Use oder damit verbundene Funktionen entwickelt und als Beta-Version oder allgemein für alle aktuellen und potenziellen Cloudflare-Kunden verfügbar sein werden, die technologische Entwicklung, den künftigen Geschäftsbetrieb, das Wachstum, die Initiativen oder Strategien von Cloudflare sowie Äußerungen des CEO von Cloudflare und anderer Personen. Die tatsächlichen Ergebnisse können aufgrund einer Reihe von Faktoren erheblich von den in zukunftsgerichteten Aussagen ausdrücklich oder implizit erwarteten Ergebnissen abweichen, darunter insbesondere Risiken, die in den von Cloudflare bei der Securities and Exchange Commission (SEC) eingereichten Unterlagen aufgeführt sind, einschließlich des Quartalsberichts auf Form 10-Q, eingereicht am 8. Mai 2026, sowie anderer Unterlagen, die Cloudflare von Zeit zu Zeit bei der SEC einreicht.

Die in dieser Pressemitteilung dargelegten zukunftsgerichteten Aussagen beziehen sich nur auf Ereignisse zu dem Zeitpunkt, an dem die Aussagen gemacht werden. Cloudflare übernimmt keine Verpflichtung, zukunftsgerichtete Aussagen in dieser Pressemitteilung zu aktualisieren, um Ereignisse oder Umstände nach dem Datum dieser Pressemitteilung oder neue Informationen oder das Eintreten unvorhergesehener Ereignisse widerzuspiegeln, es sei denn, dies ist gesetzlich vorgeschrieben. Cloudflare wird die in den zukunftsgerichteten Aussagen offengelegten Pläne, Absichten oder Erwartungen möglicherweise nicht verwirklichen, und die Leser sollten sich nicht über Gebühr auf die zukunftsgerichteten Aussagen von Cloudflare verlassen.

© 2026 Cloudflare, Inc. Alle Rechte vorbehalten. Cloudflare, das Cloudflare-Logo und andere Cloudflare-Marken sind Marken und/oder eingetragene Marken von Cloudflare, Inc. in den USA und anderen Ländern. Alle anderen hier genannten Marken und Namen sind möglicherweise Marken ihrer jeweiligen Eigentümer.

Die Ausgangssprache, in der der Originaltext veröffentlicht wird, ist die offizielle und autorisierte Version. Übersetzungen werden zur besseren Verständigung mitgeliefert. Nur die Sprachversion, die im Original veröffentlicht wurde, ist rechtsgültig. Gleichen Sie deshalb Übersetzungen mit der originalen Sprachversion der Veröffentlichung ab.