La inteligencia artificial ha cambiado la forma en que accedemos a la información y también cómo se utilizan los contenidos publicados en Internet. Artículos, imágenes, textos corporativos y otros recursos disponibles en las páginas web pueden ser recopilados por diferentes sistemas de inteligencia artificial para entrenar modelos o generar respuestas.
Esta situación ha hecho que cada vez más empresas y creadores de contenidos se pregunten: ¿quién puede utilizar la información que publicamos en nuestra página web y tenemos alguna forma de controlar su uso?
El 30 de octubre de 2026, Google, OpenAI y Microsoft anunciaron su apoyo a una nueva iniciativa que pretende facilitar este control. La propuesta permitirá a los propietarios de páginas web expresar sus preferencias sobre el uso de sus contenidos para entrenar modelos de inteligencia artificial mediante un sistema compartido.
Se trata de un paso importante hacia una gestión más transparente de los contenidos digitales que las empresas deberían empezar a conocer.
¿Cómo utiliza la inteligencia artificial los contenidos de las páginas web?
Para entender esta novedad, primero hay que saber de dónde obtienen la información los sistemas de inteligencia artificial.
Muchos modelos de IA generativa se entrenan con grandes cantidades de información procedente de diferentes fuentes, entre las que se encuentran contenidos disponibles públicamente en Internet. Este proceso permite que los modelos aprendan patrones del lenguaje, relaciones entre conceptos y otras características que después utilizan para generar respuestas.
Para recopilar esta información, los desarrolladores de IA pueden utilizar programas automatizados conocidos como crawlers o rastreadores web.
Estos robots visitan páginas web, analizan su contenido y pueden recopilar información como:
-
- Textos y artículos publicados en blogs.
- Información sobre productos y servicios.
- Imágenes y otros recursos multimedia.
- Documentación técnica.
- Información corporativa y contenidos informativos.
Sin embargo, es importante diferenciar los distintos usos que se pueden hacer de esta información. Que un robot visite una página web no significa necesariamente que su contenido se utilice para entrenar un modelo de IA.
Entrenar una IA, rastrear una web y generar respuestas: ¿es lo mismo?
No. Aunque son procesos relacionados, tienen finalidades diferentes.
1. Rastrear una página web
Consiste en visitar una página mediante un robot automatizado para descubrir su contenido. Es una práctica habitual en los buscadores, como Google o Bing, y también en algunos servicios de inteligencia artificial.
2. Indexar contenidos
Es el proceso mediante el cual un buscador analiza, organiza y almacena información sobre las páginas web para poder mostrarlas en los resultados de búsqueda.
3. Entrenar un modelo de inteligencia artificial
Consiste en utilizar contenidos para modificar los parámetros aprendidos de un modelo generativo. De esta manera, el modelo incorpora patrones y conocimientos que le permiten generar contenido nuevo.
4. Utilizar contenidos para generar respuestas (AI Grounding)
Algunos sistemas de IA consultan información disponible en Internet para elaborar respuestas más actualizadas y contextualizadas. Este proceso se conoce como grounding y no implica necesariamente que la información se utilice para entrenar el modelo.
Esta distinción es especialmente importante, porque una empresa puede querer permitir que sus contenidos aparezcan en los resultados de búsqueda o ayuden a generar respuestas de IA, pero no necesariamente querer que se utilicen para entrenar modelos.
¿Qué es el archivo robots.txt y qué papel tiene en este control?
El archivo robots.txt es un documento de texto que se encuentra habitualmente en la raíz de un sitio web y que permite indicar a los robots automatizados qué partes de la página pueden rastrear y cuáles no.
Por ejemplo, si una empresa quiere evitar que determinados robots accedan a una sección de su web, puede establecer instrucciones específicas mediante este archivo.
Un ejemplo sencillo sería:
User-agent: *
Disallow: /privado/
Esta instrucción indica a los robots que respeten las reglas establecidas y que no rastreen el directorio /privado/.
Hasta ahora, diferentes empresas desarrolladoras de inteligencia artificial disponían de mecanismos propios para gestionar las preferencias de los propietarios de páginas web. Esto obligaba, en muchos casos, a configurar instrucciones específicas para cada proveedor.
La nueva iniciativa pretende simplificar este proceso mediante un sistema compartido.
Google, OpenAI y Microsoft anuncian un nuevo sistema de control compartido
El 30 de octubre de 2026, Google anunció que dará soporte a un nuevo mecanismo de control dentro del archivo robots.txt, basado en los trabajos del grupo AIPREF (AI Preferences) de la Internet Engineering Task Force (IETF).
El objetivo es que los propietarios de páginas web puedan expresar sus preferencias sobre el uso de los contenidos para entrenar modelos de IA mediante una única instrucción compartida entre varios proveedores participantes.
Esta iniciativa también cuenta con el apoyo anunciado de OpenAI y Microsoft, entre otros participantes.
¿Cómo funcionará?
La propuesta introduce un identificador o policy token compartido que permitirá a los proveedores participantes interpretar las preferencias indicadas por los propietarios de las webs.
Por ejemplo, el documento técnico de la propuesta incluye esta estructura:
User-Agent: __usage_ai-training
Disallow: /
Este ejemplo expresa una preferencia contraria al uso de los contenidos del sitio web para entrenar modelos de IA generativa.
También se pueden establecer excepciones para determinados directorios, si se quiere permitir este uso en algunas secciones concretas.
Hay que tener en cuenta que este es un ejemplo de la propuesta técnica de la IETF, no una instrucción que todas las plataformas ya estén aplicando. Antes de incorporarla a una página web, conviene comprobar la documentación y las fechas de implementación de cada proveedor.
¿Cuándo estará disponible?
Las empresas han anunciado diferentes calendarios de adopción:
-
- Google: prevé dar soporte al nuevo control durante 2027
- OpenAI: tiene previsto implementar la señal compartida durante los próximos meses.
- Microsoft: empezará a respetar la nueva preferencia de entrenamiento a partir del 1 de febrero de 2027, a medida que rastree los contenidos.
La propuesta se está desarrollando en el marco de la IETF, la organización que trabaja en la elaboración de estándares técnicos de Internet. Por tanto, todavía es un mecanismo en evolución y su adopción dependerá de la implementación efectiva por parte de los diferentes proveedores.
¿Se podrá decidir si una IA puede utilizar los contenidos de una web?
La iniciativa representa un avance en la capacidad de los propietarios de webs para expresar sus preferencias, pero es importante entender qué permite y qué no.
El nuevo mecanismo está orientado principalmente a comunicar preferencias sobre el entrenamiento de modelos de inteligencia artificial generativa.
Esto no significa que permita controlar cualquier uso que se pueda hacer de la información publicada en Internet. Por ejemplo, no:
-
- Impide que una persona acceda manualmente a los contenidos de una página web.
- Elimina automáticamente los contenidos que ya se hayan recopilado anteriormente.
- Garantiza que todos los robots o proveedores de IA respeten las instrucciones.
- Bloquea necesariamente la indexación de la página en los buscadores.
- Controla por sí mismo todos los usos de los contenidos para generar respuestas de inteligencia artificial.
Además, el archivo robots.txt funciona como un sistema de comunicación de preferencias, no como una barrera de seguridad. Un robot que no respete las instrucciones todavía podría acceder a los contenidos.
Por eso, es importante no confundir este mecanismo con una protección técnica absoluta o con una garantía legal sobre los derechos de los contenidos publicados.

¿Qué pueden hacer actualmente las empresas para controlar el uso de sus contenidos?
Aunque el nuevo sistema compartido todavía está en proceso de implementación, ya existen mecanismos que permiten gestionar algunos de estos usos.
1. Revisar el archivo robots.txt
Es recomendable comprobar qué instrucciones contiene este archivo y qué robots tienen permiso para rastrear las diferentes secciones de la web.
Una configuración incorrecta puede afectar tanto a los rastreadores de los buscadores como a otros servicios automatizados.
2. Conocer los controles específicos de cada proveedor
Algunas plataformas ya disponen de mecanismos propios.
Por ejemplo, Google ofrece Google-Extended, un control que permite a los propietarios de webs gestionar determinados usos de sus contenidos para el entrenamiento y la fundamentación de respuestas de sus sistemas de IA.
OpenAI también dispone de controles específicos para sus rastreadores, como GPTBot, mediante las instrucciones de robots.txt.
3. Diferenciar entre entrenamiento y aparición en respuestas de IA
No todas las empresas querrán restringir los mismos usos.
Una empresa puede querer evitar que sus contenidos se utilicen para entrenar modelos, pero al mismo tiempo querer que su información sea accesible para los sistemas que consultan Internet para generar respuestas.
Microsoft, por ejemplo, ha anunciado controles diferenciados para el entrenamiento y para el uso de los contenidos en respuestas generadas por IA (AI Grounding).
4. Mantener actualizada la configuración técnica de la web
Es conveniente revisar periódicamente las instrucciones de los rastreadores, los permisos de acceso y la configuración técnica del sitio web para adaptarlos a los cambios que vayan introduciendo los diferentes proveedores.
¿Qué significa esta novedad para las empresas?
La posibilidad de expresar preferencias sobre el uso de los contenidos por parte de la inteligencia artificial es una cuestión que cada vez tendrá más importancia.
Las páginas web no son solo un escaparate digital donde las empresas presentan sus productos y servicios. También son una fuente de información que puede ser consultada, analizada y utilizada por diferentes plataformas tecnológicas.
Por este motivo, es importante que las empresas conozcan cómo funcionan los rastreadores web, qué instrucciones tienen configuradas y qué opciones ofrecen los diferentes proveedores de IA.
La nueva iniciativa de Google, OpenAI y Microsoft es un paso hacia una gestión más unificada de estas preferencias. Durante 2027 habrá que seguir su evolución y comprobar cómo se incorpora a los sistemas de cada plataforma.
En definitiva, tener una página web actualizada ya no consiste únicamente en revisar su diseño, sus contenidos o su posicionamiento en Google. También implica entender cómo interactúa con los nuevos sistemas de inteligencia artificial y qué controles técnicos tenemos a nuestro alcance para gestionar esta relación.
En Tepsis ayudamos a las empresas a mantener sus páginas web actualizadas y a adaptarlas a las nuevas necesidades tecnológicas, teniendo en cuenta aspectos como el desarrollo web, el mantenimiento, el SEO y la configuración técnica.
Maria Lorente Vilà
Tepsis – Disseny i comunicació