Los publishers refuerzan el control sobre el acceso de la IA a sus contenidos
Cloudflare ha anunciado nuevos controles para los denominados mixed-use crawlers, aquellos bots que pueden utilizarse tanto para indexación en buscadores como para entrenamiento de modelos de inteligencia artificial o tareas de agentes de IA. La compañía aplicará, a partir del 15 de septiembre, una configuración predeterminada que permitirá el rastreo para búsqueda, pero bloqueará el uso del contenido con fines de entrenamiento de IA y agentes en las páginas con publicidad.
La medida llega un año después de que Cloudflare facilitara a los publishers bloquear rastreadores de inteligencia artificial por defecto y refleja la evolución del ecosistema de acceso automatizado a contenidos, donde conviven bots declarados, rastreadores de uso mixto y una creciente actividad de scraping difícil de controlar.
Separar la búsqueda del entrenamiento de IA
Según explicó Stephanie Cohen, Chief Strategy Officer de Cloudflare, el objetivo es evitar que los propietarios de sitios web tengan que elegir entre mantener su visibilidad en los motores de búsqueda o permitir que su contenido sea utilizado gratuitamente para entrenar sistemas de inteligencia artificial.
La compañía reconoce que todavía trabaja con algunos de los principales operadores de búsqueda para encontrar mecanismos que permitan mantener la indexación sin autorizar automáticamente otros usos relacionados con la IA. Cloudflare evita confirmar que este sistema pueda aplicarse de inmediato a rastreadores como Googlebot, aunque sostiene que el modelo actual resulta insostenible para el ecosistema de contenidos.
El problema del scraping continúa
Aunque las nuevas configuraciones afectan a los rastreadores que se identifican correctamente, varios expertos consultados por Digiday consideran que el principal desafío sigue siendo el denominado mercado gris del scraping. Chris Dicker, CEO de Candr Media, sostiene que los players mejor financiados pueden evitar las restricciones mediante proxies residenciales o adquiriendo datos recopilados previamente por terceros. En su opinión, el impacto de la iniciativa dependerá en gran medida de que una parte significativa de los sites protegidos por Cloudflare mantengan la configuración predeterminada, reduciendo así el volumen de contenido disponible para ser recopilado gratuitamente.
Por su parte, Frederick Jahn asegura que una parte relevante del tráfico automatizado en grandes medios corresponde a rastreadores que imitan el comportamiento humano y no se identifican como bots. Según sus estimaciones, mientras entre el 20 % y el 30 % del tráfico corresponde a rastreadores identificados, aproximadamente una cuarta parte del tráfico total estaría generado por sistemas de scraping encubiertos. Jahn considera que los publishers deberían reforzar sus medidas de protección mediante verificaciones de usuario, bloqueo sistemático de rastreadores no esenciales y herramientas de detección más avanzadas, con el objetivo de aumentar el coste técnico y económico del scraping masivo.
Un modelo alternativo basado en el pago por uso
Frente al modelo actual de recopilación de contenidos, Cloudflare también participa en una iniciativa junto a Ceramic, una empresa de búsqueda para inteligencia artificial fundada por la exvicepresidenta de ingeniería de Google Anna Patterson.
La propuesta consiste en ofrecer una API de búsqueda que permita a los modelos de IA acceder a fragmentos de contenido previamente rastreados, registrando qué publicaciones son utilizadas en cada consulta. En lugar de remunerar únicamente cuando un contenido aparece citado en la respuesta final, Ceramic plantea compensar a los publishers cada vez que uno de sus fragmentos sea enviado al modelo de IA para generar una respuesta.
Según Patterson, este enfoque podría reducir los costes de acceso a información para las empresas de inteligencia artificial, disminuir la necesidad de realizar nuevos rastreos continuos y crear una fuente de ingresos recurrente para los medios basada en el uso efectivo de sus contenidos.
El proyecto se encuentra actualmente en fase piloto, aunque sus responsables consideran que este tipo de acuerdos podría ofrecer una alternativa al actual mercado de scraping no autorizado y favorecer modelos de licencia más transparentes entre las compañías de IA y los publishers.