Empresa que aloja el 20 % de las páginas web del mundo decidió bloquear las IA

Cloudflare, la empresa que provee infraestructura y seguridad para aproximadamente el 20% de las páginas web del mundo, ha decidido bloquear por defecto los rastreadores de inteligencia artificial (IA) que recopilan datos sin autorización. Este cambio, busca proteger el contenido original de los sitios web y establecer un nuevo modelo económico para los creadores, permitiéndoles decidir si desean o no que sus datos sean utilizados por empresas de IA, y bajo qué condiciones.

Un modelo de acceso con pago: la respuesta de Cloudflare

La medida responde a una preocupación creciente entre los propietarios de sitios web: los bots de IA, utilizados por compañías como OpenAI, Google, Anthropic o ByteDance, recopilan masivamente información de la web para entrenar modelos de inteligencia artificial, a menudo sin el consentimiento de los creadores ni ofreciendo compensación alguna. Estos rastreadores, que no siempre respetan el archivo robots.txt (un estándar que indica qué partes de un sitio pueden ser exploradas), han generado tensiones entre los desarrolladores de IA y los editores de contenido, quienes ven reducido el tráfico hacia sus plataformas debido a las respuestas directas generadas por modelos de IA.

Cloudflare, conocida por sus servicios de optimización de rendimiento, protección contra ciberataques y gestión de tráfico web, ha dado un paso audaz al activar un filtro automático que bloquea a los bots de IA conocidos en todos los nuevos sitios que se registren en su plataforma. Este enfoque no solo protege a los creadores, sino que también introduce una herramienta innovadora: el programa "Pay Per Crawl". Este sistema, que se encuentra en fase beta, permite a los propietarios de sitios web establecer tarifas para que los rastreadores de IA accedan a su contenido, transformando el acceso a datos en una transacción económica regulada. 

Un nuevo equilibrio entre creadores y desarrolladores de IA

El impacto de esta decisión es significativo, dado que Cloudflare gestiona una porción considerable de la infraestructura de internet, incluyendo servicios de CDN (redes de distribución de contenido), DNS y protección contra ataques DDoS. Según Matthew Prince, CEO de Cloudflare, el objetivo es restablecer un equilibrio en el ecosistema digital, donde los creadores de contenido puedan beneficiarse del uso de sus datos por parte de empresas de IA, en lugar de ver cómo estas los extraen sin retribución alguna.

Además, Cloudflare ha implementado sistemas avanzados para identificar a los rastreadores de IA, utilizando tecnologías de aprendizaje automático y análisis de comportamiento para distinguirlos de otros bots legítimos, como los utilizados por motores de búsqueda tradicionales. También está colaborando con empresas de IA para que estas identifiquen claramente el propósito de sus rastreadores, ya sea para entrenamiento de modelos o generación de respuestas, permitiendo a los propietarios de sitios tomar decisiones informadas sobre qué bots permitir y cuáles bloquear.

La iniciativa ha recibido el respaldo de organizaciones como The Associated Press, que han expresado su preocupación por la disminución de visitas a sus sitios debido a la proliferación de chatbots y resúmenes generados por IA. Sin embargo, el sistema no está exento de desafíos. Algunos expertos advierten que los desarrolladores de bots podrían buscar formas de eludir estas restricciones, como ya ocurre con ciertas técnicas para ignorar el archivo robots.txt. Cloudflare, consciente de esto, ha introducido herramientas como el "AI Labyrinth", una función que redirige a los bots a rutas sin contenido útil, desincentivando el scraping no autorizado.

Esta decisión marca un punto de inflexión en la relación entre los creadores de contenido y las empresas de IA, planteando preguntas sobre el futuro de la economía digital. Por ahora, Cloudflare ha dado un paso firme hacia un internet más equitativo, donde el valor del contenido original sea reconocido y protegido.

Para más contenido de calidad SUSCRÍBETE A EXPRESO