La intel·ligència artificial ha canviat la manera com accedim a la informació i també com s’usen els continguts publicats a Internet. Articles, imatges, textos corporatius i altres recursos disponibles a les pàgines web poden ser recopilats per diferents sistemes d’intel·ligència artificial per entrenar models o generar respostes.

Aquesta situació ha fet que cada vegada més empreses i creadors de continguts es preguntin: qui pot fer servir la informació que publiquem a la nostra pàgina web i tenim alguna manera de controlar-ne l’ús?

El 30 d’octubre de 2026, Google, OpenAI i Microsoft van anunciar el seu suport a una nova iniciativa que vol facilitar aquest control. La proposta permetrà als propietaris de pàgines web expressar les seves preferències sobre l’ús dels seus continguts per entrenar models d’intel·ligència artificial mitjançant un sistema compartit.

Es tracta d’un pas important cap a una gestió més transparent dels continguts digitals i que les empreses haurien de començar a conèixer.

Com utilitza la intel·ligència artificial els continguts de les pàgines web?

Per entendre aquesta novetat, primer cal saber d’on obtenen la informació els sistemes d’intel·ligència artificial.

Molts models d’IA generativa s’entrenen amb grans quantitats d’informació procedent de diferents fonts, entre les quals hi ha continguts disponibles públicament a Internet. Aquest procés permet que els models aprenguin patrons del llenguatge, relacions entre conceptes i altres característiques que després utilitzen per generar respostes.

Per recopilar aquesta informació, els desenvolupadors d’IA poden usar programes automatitzats coneguts com a crawlers o rastrejadors web.

Aquests robots visiten pàgines web, n’analitzen el contingut i poden recopilar informació com ara:

    • Textos i articles publicats en blogs.
    • Informació sobre productes i serveis.
    • Imatges i altres recursos multimèdia.
    • Documentació tècnica.
    • Informació corporativa i continguts informatius.

No obstant això, és important diferenciar els diferents usos que es poden fer d’aquesta informació. Que un robot visiti una pàgina web no significa necessàriament que el seu contingut s’utilitzi per entrenar un model d’IA.

Entrenar una IA, rastrejar una web i generar respostes: són el mateix?

No. Tot i que són processos relacionats, tenen finalitats diferents.

1. Rastrejar una pàgina web

Consisteix a visitar una pàgina mitjançant un robot automatitzat per descobrir-ne el contingut. És una pràctica habitual en els cercadors, com Google o Bing, i també en alguns serveis d’intel·ligència artificial.

2. Indexar continguts

És el procés mitjançant el qual un cercador analitza, organitza i emmagatzema informació sobre les pàgines web per poder mostrar-les en els resultats de cerca.

3. Entrenar un model d’intel·ligència artificial

Consisteix a utilitzar continguts per modificar els paràmetres apresos d’un model generatiu. D’aquesta manera, el model incorpora patrons i coneixements que li permeten generar contingut nou.

4. Utilitzar continguts per generar respostes (AI Grounding)

Alguns sistemes d’IA consulten informació disponible a Internet per elaborar respostes més actualitzades i contextualitzades. Aquest procés es coneix com a grounding i no implica necessàriament que la informació es faci servir per entrenar el model.

Aquesta distinció és especialment important, perquè una empresa pot voler permetre que els seus continguts apareguin en els resultats de cerca o ajudin a generar respostes d’IA, però no necessàriament voler que s’usin per entrenar models.

Què és el fitxer robots.txt i quin paper té en aquest control?

El fitxer robots.txt és un document de text que es troba habitualment a l’arrel d’un lloc web i que permet indicar als robots automatitzats quines parts de la pàgina poden rastrejar i quines no. Per exemple, si una empresa vol evitar que determinats robots accedeixin a una secció de la seva web, pot establir instruccions específiques mitjançant aquest fitxer.

Un exemple senzill seria:
User-agent: *
Disallow: /privat/

Aquesta instrucció indica als robots que respectin les regles establertes que no han de rastrejar el directori /privat/. Fins ara, diferents empreses desenvolupadores d’intel·ligència artificial disposaven de mecanismes propis per gestionar les preferències dels propietaris de pàgines web. Això obligava, en molts casos, a configurar instruccions específiques per a cada proveïdor. La nova iniciativa vol simplificar aquest procés mitjançant un sistema compartit.

Google, OpenAI i Microsoft anuncien un nou sistema de control compartit

El 30 d’octubre de 2026, Google va anunciar que donarà suport a un nou mecanisme de control dins del fitxer robots.txt, basat en els treballs del grup AIPREF (AI Preferences) de l’Internet Engineering Task Force (IETF).

L’objectiu és que els propietaris de pàgines web puguin expressar les seves preferències sobre l’ús dels continguts per entrenar models d’IA mitjançant una única instrucció compartida entre diversos proveïdors participants.

Aquesta iniciativa també compta amb el suport anunciat d’OpenAI i Microsoft, entre altres participants.

Com funcionarà?

La proposta introdueix un identificador o policy token compartit que permetrà als proveïdors participants interpretar les preferències indicades pels propietaris de les webs.
Per exemple, el document tècnic de la proposta inclou aquesta estructura:
User-Agent: __usage_ai-training
Disallow: /
Aquest exemple expressa una preferència contrària a l’ús dels continguts del lloc web per entrenar models d’IA generativa. També es poden establir excepcions per a determinats directoris, si es vol permetre aquest ús en algunes seccions concretes.

Cal tenir present que aquest és un exemple de la proposta tècnica de l’IETF, no una instrucció que totes les plataformes ja estiguin aplicant. Abans d’incorporar-la a una pàgina web, convé comprovar la documentació i les dates d’implementació de cada proveïdor.

Quan estarà disponible?

Les empreses han anunciat diferents calendaris d’adopció:

    • Google: preveu donar suport al nou control durant el 2027.
    • OpenAI: té previst implementar el senyal compartit durant els pròxims mesos.
    • Microsoft: començarà a respectar la nova preferència d’entrenament a partir de l’1 de febrer de 2027, a mesura que rastregi els continguts.
    • La proposta s’està desenvolupant en el marc de l’IETF, l’organització que treballa en l’elaboració d’estàndards tècnics d’Internet. Per tant, encara és un mecanisme en evolució i la seva adopció dependrà de la implementació efectiva per part dels diferents proveïdors.

Es podrà decidir si una IA pot utilitzar els continguts d’una web?

La iniciativa representa un avenç en la capacitat dels propietaris de webs per expressar les seves preferències, però és important entendre què permet i què no. El nou mecanisme està orientat principalment a comunicar preferències sobre l’entrenament de models d’intel·ligència artificial generativa.

Això no significa que permeti controlar qualsevol ús que es pugui fer de la informació publicada a Internet. Per exemple No:

    • Impedeix que una persona accedeixi manualment als continguts d’una pàgina web.
    • Elimina automàticament els continguts que ja s’hagin recopilat anteriorment.
    • Garanteix que tots els robots o proveïdors d’IA respectin les instruccions.
    • Bloqueja necessàriament la indexació de la pàgina als cercadors.
    • Controla per si mateix tots els usos dels continguts per generar respostes d’intel·ligència artificial.

A més, el fitxer robots.txt funciona com un sistema de comunicació de preferències, no com una barrera de seguretat. Un robot que no respecti les instruccions encara podria accedir als continguts. Per això, és important no confondre aquest mecanisme amb una protecció tècnica absoluta o amb una garantia legal sobre els drets dels continguts publicats.

Què poden fer actualment les empreses per controlar l’ús dels seus continguts?

Tot i que el nou sistema compartit encara està en procés d’implementació, ja existeixen mecanismes que permeten gestionar alguns d’aquests usos.

1. Revisar el fitxer robots.txt

És recomanable comprovar quines instruccions conté aquest fitxer i quins robots tenen permís per rastrejar les diferents seccions de la web.
Una configuració incorrecta pot afectar tant els rastrejadors dels cercadors com altres serveis automatitzats.

2. Conèixer els controls específics de cada proveïdor

Algunes plataformes ja disposen de mecanismes propis.
Per exemple, Google ofereix Google-Extended, un control que permet als propietaris de webs gestionar determinats usos dels seus continguts per a l’entrenament i la fonamentació de respostes dels seus sistemes d’IA.
OpenAI també disposa de controls específics per als seus rastrejadors, com ara GPTBot, mitjançant les instruccions de robots.txt.

3. Diferenciar entre entrenament i aparició en respostes d’IA

No totes les empreses voldran restringir els mateixos usos.
Una empresa pot voler evitar que els seus continguts s’utilitzin per entrenar models, però alhora voler que la seva informació sigui accessible als sistemes que consulten Internet per generar respostes.
Microsoft, per exemple, ha anunciat controls diferenciats per a l’entrenament i per a l’ús dels continguts en respostes generades per IA (AI Grounding).

4. Mantenir actualitzada la configuració tècnica de la web

És convenient revisar periòdicament les instruccions dels rastrejadors, els permisos d’accés i la configuració tècnica del lloc web per adaptar-los als canvis que vagin introduint els diferents proveïdors.

Què significa aquesta novetat per a les empreses?

La possibilitat d’expressar preferències sobre l’ús dels continguts per part de la intel·ligència artificial és una qüestió que cada vegada tindrà més importància.

Les pàgines web no són només un aparador digital on les empreses presenten els seus productes i serveis. També són una font d’informació que pot ser consultada, analitzada i utilitzada per diferents plataformes tecnològiques.

Per aquest motiu, és important que les empreses coneguin com funcionen els rastrejadors web, quines instruccions tenen configurades i quines opcions ofereixen els diferents proveïdors d’IA.

La nova iniciativa de Google, OpenAI i Microsoft és un pas cap a una gestió més unificada d’aquestes preferències. Durant el 2027 caldrà seguir-ne l’evolució i comprovar com s’incorpora als sistemes de cada plataforma.

En definitiva, tenir una pàgina web actualitzada ja no consisteix únicament a revisar-ne el disseny, els continguts o el posicionament a Google. També implica entendre com interactua amb els nous sistemes d’intel·ligència artificial i quins controls tècnics tenim a l’abast per gestionar aquesta relació.

A Tepsis ajudem les empreses a mantenir les seves pàgines web actualitzades i a adaptar-les a les noves necessitats tecnològiques, tenint en compte aspectes com el desenvolupament web, el manteniment, el SEO i la configuració tècnica.

Maria Lorente Vilà
Tepsis – Disseny i comunicació