Google adoptará un control unificado de entrenamiento IA en robots.txt.

El 30 de octubre de 2026, Google publicó en su blog para desarrolladores una noticia que afecta directamente a cualquier persona que gestione un sitio web: la compañía se compromete a adoptar un control unificado de entrenamiento de IA dentro del archivo robots.txt.

La idea es sencilla pero con implicaciones importantes: en lugar de tener que bloquear rastreador por rastreador de cada proveedor de IA, los propietarios de sitios podrán expresar sus preferencias de entrenamiento una sola vez y que sean respetadas por múltiples agentes IA a la vez.

De dónde viene esta iniciativa

El trabajo no parte de Google en solitado. La propuesta nace del grupo de trabajo AIPREF, dentro del Internet Engineering Task Force (IETF), el organismo que lleva décadas coordinando los estándares técnicos de internet.

Que una iniciativa de este tipo pase por el IETF es relevante: significa que no estamos ante una solución propietaria de un solo actor, sino ante un intento de crear un estándar abierto que otros proveedores puedan adoptar. El objetivo declarado es que un webmaster configure su posición una vez y que esa señal sea legible para el ecosistema completo.

Qué cambia respecto a lo que ya existía

Google lleva desde 2023 ofreciendo su propia directiva, Google-Extended, que permitía bloquear específicamente el uso de contenido para entrenar sus modelos de lenguaje. Fue un paso adelante en su momento, pero tenía una limitación evidente: solo cubría a Google.

Con la proliferación de modelos de lenguaje y agentes IA de distintos orígenes, gestionar el acceso rastreador a rastreador se ha vuelto inviable para la mayoría de los equipos web. La nueva directiva compartida busca resolver exactamente ese problema.

Lo que esto significa en la práctica

• Un único bloque en robots.txt podría bastar para indicar que el sitio no autoriza el uso de su contenido en entrenamiento de IA, independientemente del proveedor.
• Los sitios que sí quieran permitir ese uso no tendrían que hacer nada: el comportamiento por defecto seguiría siendo el acceso abierto, igual que hoy.
• La efectividad real dependerá de cuántos proveedores de IA adopten el estándar. Google se suma, pero el valor del mecanismo crece con cada actor que se adhiera.

Por qué nos parece un movimiento en la dirección correcta

Hemos visto cómo el debate sobre el uso de contenido web para entrenar modelos de lenguaje ha generado tensión entre editores, creadores y empresas tecnológicas. La respuesta técnica hasta ahora ha sido fragmentada: cada proveedor con su propia directiva, cada sitio negociando de forma individual.

Un estándar común no resuelve el debate de fondo —quién tiene derecho a usar qué contenido y en qué condiciones—, pero sí reduce la fricción operativa para quienes quieren ejercer control. Eso es valioso.

También creemos que la participación del IETF añade credibilidad al proceso. No es una promesa unilateral de una empresa; es un intento de construir infraestructura compartida, con todas las lentitudes y garantías que eso implica.

Qué deberías hacer ahora

Por el momento, Google no ha publicado la sintaxis definitiva de la nueva directiva. Lo que sí recomendamos es preparar el terreno:

1. Revisa tu robots.txt actual. Comprueba si ya tienes directivas relacionadas con rastreadores de IA y documenta qué decisiones tomaste y por qué.
2. Define tu posición editorial. ¿Quieres que tu contenido pueda usarse para entrenar modelos de lenguaje? ¿Con qué condiciones? Tener esa respuesta clara facilita implementar cualquier control técnico cuando esté disponible.
3. Sigue la documentación de Google Search Central. Cuando la directiva compartida esté lista para implementarse, la referencia oficial será el primer lugar donde aparecerá la sintaxis correcta.

Un apunte sobre expectativas

Conviene no sobrevender esto. Un archivo robots.txt es una convención, no un mecanismo de cumplimiento legal. Los rastreadores bien comportados lo respetan; los que no quieren hacerlo, no lo harán. La efectividad del control depende de la buena fe de los actores del ecosistema y, en última instancia, del marco regulatorio que cada jurisdicción vaya construyendo.

Dicho esto, contar con un estándar claro es mejor que no tenerlo. Y que Google se comprometa a adoptarlo —siendo el actor con mayor presencia en el rastreo web— tiene peso real.

Fuente original

Google Search Central Blog: Supporting a shared AI training control for websites