Cloudflare obliga a la IA a pagar por el contenido que raspa

En pocas palabras: Cloudflare lanzó pay-per-crawl: desde el 15 de septiembre de 2026 bloquea por defecto a los bots de IA y les responde con un HTTP 402 Payment Required. El publisher fija el precio y el crawler paga con stablecoins vía el protocolo x402 para acceder al contenido.

Cloudflare activó pay-per-crawl y desde el 15 de septiembre de 2026 empieza a bloquear por defecto a los bots de IA que raspan contenido sin compensar a nadie. La jugada de monetización de contenido para publishers que empuja Cloudflare usa el código HTTP 402 y micropagos para que OpenAI, Anthropic o Google paguen por cada acceso, según el anuncio oficial de Cloudflare.

El pay-per-crawl de Cloudflare es un sistema que responde a los bots de IA con un HTTP 402 Payment Required en vez de servir el contenido gratis. El dueño del sitio fija un precio, el crawler paga con stablecoins vía el protocolo x402 y recién ahí accede. No hace falta API key ni contrato previo. Lo maneja Cloudflare como intermediario técnico entre el publisher y la empresa de IA.

¿Por qué Cloudflare está forzando a las empresas de IA a pagar por contenido?

El número que rompió el equilibrio es feo. Matthew Prince mostró que algunos crawlers de IA accedían entre 250 y 1500 veces por cada visita que después devolvían al sitio original. Traducido: te vacían la despensa y no te mandan ni un cliente.

Antes el trato era otro. Googlebot rastreaba tu nota, la indexaba y a cambio te mandaba tráfico. Vos ponías el contenido, Google ponía las visitas, todos contentos. Con los AI Overviews ese trato se rompió porque el resumen aparece arriba de todo y el usuario ya tiene la respuesta sin hacer clic. Complementá con nuestra guía en seguridad empresarial.

Los reportes que cita Search Engine Journal hablan de caídas de clics en búsqueda del orden del 47%, y en algunos casos puntuales de entre 58% y 89%. Ojo con esto: no es que la gente busque menos. Es que la IA extrae tu contenido y no te paga el peaje. Cloudflare, que ya pasa por delante de una porción enorme de la web, decidió cobrar ese peaje.

¿Cómo funciona el modelo pay-per-crawl de Cloudflare?

El mecanismo es más simple de lo que parece. Ponele que ClaudeBot quiere leer tu artículo.

• El bot pide la página: hace el request normal, como cualquier crawler.
• Recibe un HTTP 402: el famoso “Payment Required” que estuvo dormido en el estándar HTTP desde siempre, ahora despierta.
• Paga: usa el protocolo x402 con stablecoins para liquidar el micropago del acceso.
• Reintenta con la prueba de pago: vuelve a pedir la página, esta vez con el comprobante, y ahí sí Cloudflare le sirve el contenido.

Nada de negociar contratos ni intercambiar credenciales. Todo pasa a nivel protocolo. Cloudflare distingue además entre dos bichos distintos: el crawler de entrenamiento (el que se lleva tu contenido para alimentar un modelo) y el de búsqueda en tiempo real (el que consulta para responderle a un usuario ahora mismo). No es lo mismo, y el sistema los trata diferente.

Pay-per-crawl vs pay-per-use: ¿cuál conviene?

Acá viene el debate de fondo. Cobrar por crawl tiene un problema histórico: pagás una vez por el acceso, pero ese contenido después se reutiliza miles de veces adentro del modelo. Cobrás el vaso de agua y el otro se lleva la canilla. Ya lo cubrimos antes en nuestra guía de ChatGPT.

Criterio	Pay-per-crawl	Pay-per-use
Cuándo cobrás	Cuando el bot accede al contenido	Cuando tu contenido genera valor (aparece en una respuesta o cita)
Quién lo impulsa	Cloudflare, Stack Overflow	Ceramic, You.com, ProRata
Riesgo para el publisher	Cobrás una vez, el modelo reutiliza infinito	Depende de que te citen, tráfico incierto
Tecnología	HTTP 402 + x402 + stablecoins	Micropagos por query + reparto de ingresos
Sostenibilidad	Buena para crawlers de entrenamiento	Mejor alineada con el valor real generado

El pay-per-use, en cambio, te paga cuando tu contenido efectivamente aparece en una respuesta de IA o te citan. Es más justo en teoría. El problema es que dependés de que el sistema decida usar tu nota, algo que no controlás. Los dos modelos van a convivir: crawl para el entrenamiento, use para la búsqueda en vivo.

¿Quién paga a los publishers y cuánto? Los casos de Ceramic, You.com y ProRata

Cloudflare no está solo en esto. Hay un ecosistema armándose alrededor de la idea de pagarle al que produce el contenido.

Ceramic + You.com: pago por query

Ceramic junto a You.com paga cuando tu contenido aparece en los resultados de una consulta. Modelo pay-per-use puro: si tu nota resuelve la búsqueda de alguien, cobrás ese micropago.

ProRata AI: reparto del 50% con 500+ medios

ProRata AI es el caso más agresivo en reparto. Cerró acuerdos con más de 500 medios, incluidos The Atlantic, TIME, The Guardian, la agencia EFE y PRISA Media. Comparte el 50% de sus ingresos publicitarios con esos publishers, contra el 25% que ofrecen otros esquemas. Su producto Gist.ai es el buscador donde se muestra todo esto. El doble de reparto no es detalle menor cuando estás peleando cada centavo.

Stack Overflow: el early adopter

Stack Overflow ya venía coqueteando con esto. Según su propio blog, se sumó temprano al pay-per-crawl de Cloudflare. Tiene sentido: es de los sitios más raspados del planeta para entrenar modelos de código, y hasta ahora no veía un mango por eso.

¿Cómo impacta en el tráfico y los ingresos de los publishers?

La pregunta incómoda: ¿alcanza con monetizar si perdés el tráfico? Los números de los AI Overviews de Google no son alentadores para el que vive de las visitas. Más contexto en los grandes modelos de lenguaje.

• Publishers chicos: caídas de tráfico cercanas al 60%, los más golpeados.
• Publishers medianos: alrededor del 47% menos de clics.
• Publishers grandes: con marca fuerte y acuerdos directos, aguantan mejor.
• Presencia del resumen: los reportes ubican al AI Overview en torno al 13% de las queries, con el CTR cayendo a cerca del 8% frente al 15% habitual cuando no hay resumen.

Cobrarle a la IA por el crawl te da un ingreso, sí. Pero si al mismo tiempo perdés la mitad del tráfico que monetizabas con publicidad propia, el saldo puede seguir en rojo. Por eso en 2026 la estrategia de supervivencia pasa por diversificar: newsletters, comunidad, producto propio y no depender de una sola canilla. El que apostó todo al tráfico orgánico de Google la está pasando mal.

¿Desde cuándo entra en vigencia? Los cambios de septiembre 2026

Anotá la fecha: 15 de septiembre de 2026. Ahí Cloudflare cambia los valores por defecto. Los sitios con publicidad van a bloquear automáticamente a los crawlers “mixed-use”, esos que sirven para varias cosas a la vez. La lógica del nuevo default:

• Permite: los crawlers de búsqueda en tiempo real, para que tu contenido siga apareciendo en respuestas.
• Bloquea: los crawlers de entrenamiento y los agentes de IA que raspan sin devolver nada.

El cambio de opt-out a opt-in es lo picante. Hasta ahora tenías que salir a bloquear bot por bot. Desde septiembre, el bloqueo viene puesto de fábrica y sos vos el que decide abrir la puerta (y cobrar) si querés. Si tenés un sitio en Cloudflare, ese es tu deadline para revisar la configuración antes de que el default te cambie las reglas sin que lo notes. Relacionado: el enfoque de Google.

¿Cómo configuro pay-per-crawl en mi sitio para monetizar?

Si tu sitio pasa por Cloudflare, los pasos gruesos son estos:

• Activá pay-per-crawl: en el panel de Cloudflare, en la sección de gestión de bots.
• Fijá tu precio: vos decidís cuánto vale el acceso. No hay tarifa impuesta.
• Identificá los bots: GPTBot (OpenAI), ClaudeBot (Anthropic), Googlebot y PerplexityBot son los que más te van a golpear la puerta.
• Definí la política por bot: a cuál bloqueás del todo, a cuál le cobrás, a cuál dejás pasar gratis.
• Cuidá tu robots.txt y evaluá llms.txt: son señales complementarias, no reemplazan al bloqueo real que hace Cloudflare a nivel de red.

Si además estás pensando dónde alojar el sitio que vas a proteger y monetizar, para hosting y dominios en Argentina te conviene mirar donweb.com y después sumar la capa de CDN arriba. La infraestructura de origen y la capa de bots son dos decisiones separadas, y las dos importan.

Qué está confirmado y qué no

• Confirmado: Cloudflare anunció pay-per-crawl con HTTP 402 y x402, según su blog oficial.
• Confirmado: el nuevo default de bloqueo para sitios con ads arranca el 15 de septiembre de 2026.
• Confirmado: ProRata declaró acuerdos con más de 500 medios y reparto del 50%.
• Pendiente: cuánta plata real termina llegando a un publisher chico. Los micropagos por crawl todavía no tienen cifras públicas consolidadas.
• Pendiente: si OpenAI, Anthropic y Google aceptan pagar de forma masiva o buscan la vuelta. Todo indica que negociarán caso por caso.

Errores comunes al activar esto

• Bloquear Googlebot sin querer: si metés a Googlebot en la misma bolsa que los crawlers de entrenamiento, te podés borrar del índice tradicional. Distinguí búsqueda de entrenamiento antes de apretar el botón.
• Creer que robots.txt alcanza: el robots.txt es una sugerencia que un bot educado respeta. El que no te hace caso lo ignora. El bloqueo de Cloudflare opera a nivel de red, ese sí frena.
• Poner un precio absurdo: si cobrás carísimo el crawl, la empresa de IA no paga y tampoco te cita. Te quedás sin la plata y sin la visibilidad. Hay que calibrar.
• Olvidarse del cambio de default: Cloudflare ya avisó que aplica el bloqueo por defecto. Si no revisás la config antes de septiembre, el sistema decide por vos y te podés cortar tráfico legítimo.

Preguntas Frecuentes

¿Cloudflare obliga a la IA a pagar por contenido?

Cloudflare habilitó pay-per-crawl, un sistema donde los bots de IA reciben un HTTP 402 y deben pagar un micropago para acceder al contenido. No obliga por ley, pero al bloquear por defecto a los crawlers desde el 15 de septiembre de 2026, deja a las empresas de IA con dos opciones: pagar o quedarse sin el contenido.

¿Cuánto dinero paga la IA por mi contenido?

Depende del modelo. En pay-per-crawl vos fijás el precio del acceso en Cloudflare, así que no hay tarifa fija. En pay-per-use, ProRata reparte el 50% de sus ingresos publicitarios con más de 500 medios asociados, el doble del 25% habitual en otros esquemas.

¿Qué diferencia hay entre pay-per-crawl y pay-per-use?

Pay-per-crawl cobra cuando el bot accede al contenido, sin importar cuántas veces se reutilice después. Pay-per-use cobra cuando tu contenido genera valor real, o sea cuando aparece en una respuesta o te citan. El primero conviene para crawlers de entrenamiento, el segundo para búsqueda en tiempo real.

¿Desde cuándo aplica el bloqueo por defecto de Cloudflare?

Desde el 15 de septiembre de 2026. En esa fecha Cloudflare cambia los valores por defecto y bloquea a los crawlers “mixed-use” en sitios con publicidad, permitiendo búsqueda pero cortando entrenamiento y agentes de IA. Antes de esa fecha conviene revisar la configuración para no cortar tráfico legítimo.

¿Qué bots de IA tengo que identificar en mi sitio?

Los principales son GPTBot de OpenAI, ClaudeBot de Anthropic, PerplexityBot de Perplexity y Googlebot de Google. Cada uno cumple una función distinta: unos entrenan modelos, otros consultan en tiempo real. Distinguirlos es clave para decidir a cuál bloqueás, a cuál le cobrás y a cuál dejás pasar.

Conclusión

Lo que cambió es el trato de fondo entre la web y la IA. Durante veinte años el crawler era bienvenido porque devolvía tráfico. Ahora que la IA se lleva el contenido y no manda visitas, Cloudflare puso un peaje con HTTP 402 y micropagos, y desde septiembre de 2026 el bloqueo viene puesto de fábrica.

Si tenés un sitio, hacé tres cosas antes de septiembre: revisá tu configuración de bots en Cloudflare, decidí a quién cobrás y a quién dejás pasar, y no dependas solo del tráfico orgánico porque los AI Overviews ya se comieron entre el 47% y el 60% de los clics en muchos casos. Monetizar el crawl ayuda, pero el que diversifique ingresos es el que va a quedar parado cuando pase la ola. La discusión recién arranca, y tomá los números de reparto con pinzas hasta que haya cifras públicas por publisher.

Fuentes

• Cloudflare – Introducing pay-per-crawl (anuncio oficial)
• Cloudflare – Making AI search smarter
• TechCrunch – La nueva política de Cloudflare empuja a las empresas de IA a pagar
• ProRata AI – Reparto de ingresos con medios
• Search Engine Journal – Impacto de los AI Overviews en publishers