La IA educada ve menos: el precio de respetar robots.txt

Cuando le dije al agente de Sledovna.cz que respetara robots.txt, le cerré la puerta a fuentes de calidad. Las que quedaron abiertas incluían también las manipuladas. Notas de la operación de un pequeño proyecto cívico.

Cuando escribí para Sledovna.cz las reglas del agente que comenta los proyectos de ley de la Cámara de Diputados checa (en checo, tisky, es decir, los documentos parlamentarios numerados), añadí una frase que me pareció una simple formalidad: antes de cargar una página de un dominio nuevo, lee su robots.txt. Unos días después descubrí que con ella había influido de forma decisiva en la calidad de mi propio proyecto.

Este artículo no es un consejo jurídico ni una queja contra los editores. Son notas de la operación: qué pasa cuando la IA respeta honestamente las reglas que han fijado los sitios web. Y también qué queda abierto cuando se descuentan las puertas cerradas.

Sledovna es un pequeño servicio que cada día descarga los nuevos proyectos de la Cámara de Diputados, hace que una IA escriba un comentario comprensible (qué cambia, quién lo presenta, qué dice la exposición de motivos, quién lo critica, cómo se resuelve el mismo problema en otros países y cómo votaría la IA) y lo publica como sitio estático. No es un negocio. La publicidad, en todo caso, debería cubrir parte de los tokens, nada más.


1. La frase que cierra las puertas

La regla completa dice así:

Comprueba el robots.txt de la fuente y atente a él.

No es una ley. Es mi regla. Y es una regla que me cuesta calidad.

Basta con mirar cómo es el robots.txt de las fuentes checas que serían más valiosas para analizar leyes. Por ejemplo, irozhlas.cz (el sitio de noticias de la Radio Checa):

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

Algo parecido hace iDnes, que bloquea ClaudeBot, anthropic-ai y Claude-Web. Y, sorprendentemente, también zakonyprolidi.cz, la página que miles de personas consultan a diario para ver el texto consolidado de las leyes:

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference

User-agent: ClaudeBot
Disallow: /

Esto último es especialmente interesante. El texto de la ley en sí no está protegido por derechos de autor (en el derecho checo se trata de las llamadas “obras oficiales”, según el § 3 de la ley checa de derechos de autor). Pero la elaboración concreta, la redacción editorial y las bases de datos sí pueden estar protegidas. Así que cuando quiero comprobar rápidamente qué dice hoy el § 41 a, la fuente más cómoda me manda a paseo y tengo que acudir a otra más oficial y más engorrosa.

Y luego está psp.cz, es decir, la propia Cámara de Diputados (en checo, Sněmovna). Su robots.txt prohíbe, entre otras, la ruta /sqw/text/orig2.sqw, donde cuelgan los PDF y DOCX con los textos completos de los proyectos. La recopilación automática queda así limitada, de modo que los textos completos los descargo yo a mano y se los paso al agente. Es justo la situación en la que una persona puede más que su herramienta, y volveré sobre ello.

2. Qué le hace esto a la respuesta

En ese momento la IA no es más tonta. Simplemente está aislada de una parte del mundo sobre la que tiene que hablar. Pero el resultado es difícil de distinguir de la tontería:

Un ejemplo concreto de Sledovna: en un documento parlamentario sobre sustancias adictivas tuve que escribir en el artículo que las páginas oficiales de varios países (por ejemplo, la DEA estadounidense o el Federal Register) bloquean la lectura automatizada y que la Agencia de la Unión Europea sobre Drogas (EUDA) prohíbe expresamente el uso de su contenido para IA, de modo que la situación en cada país está documentada solo parcialmente y a partir de fuentes más generales. Ese es el precio. No es que la IA no sepa buscar. Es que alguien le ha cerrado una parte del mundo y ella tiene que reconocerlo.

Así se ve esa admisión en la práctica. En un proyecto de ley del Senado que haría imprescriptible el asesinato, Sledovna tuvo que añadir una actualización tras la publicación: la versión anterior del artículo atribuía a la postura del Gobierno objeciones concretas que no pudieron verificarse con las fuentes disponibles, así que se eliminaron y el artículo lo dice abiertamente. (La captura está en checo.)

Sledovna.cz: actualización de un artículo sobre un proyecto de ley del Senado, que explica que se eliminaron objeciones del Gobierno no verificadas

3. No es solo robots.txt

robots.txt es una capa. En realidad, las restricciones se suman:

CapaEjemploQué provoca
Jurídicarobots.txt, condiciones comerciales, reserva TDM según el art. 4 de la Directiva 2019/790el agente ni siquiera carga la fuente
Comercialpaywall, acuerdos de licencia, precio de la APIla fuente existe, pero solo a cambio de un dinero que no tengo
TécnicaCAPTCHA, rate limit, geobloqueo, Cloudflareel agente choca con un muro, o se frena tanto que no da abasto
De productoel modelo se niega, falta una herramienta, se agota el contextoel modelo dice “no puedo”, aunque la fuente exista

Por separado, cada una tiene sentido. Juntas, sin embargo, producen algo que parece “la IA es tonta”, cuando en realidad es una IA a la que hemos ido cerrando casi todas las puertas, y luego nos extraña que solo vea el pasillo.

Hay además una asimetría que no tengo cómo medir. Yo le prohíbo al agente leer irozhlas.cz. Pero el modelo sobre el que corre el agente pudo haber aprendido en la web en una época en que esa prohibición no existía o no se respetaba. La lectura en vivo la vigilo yo, pero lo que el modelo “sabe” por su entrenamiento no puedo vigilarlo, y a menudo ni siquiera noto de dónde viene en la respuesta. Mi corrección solo afecta a una parte de la forma en que la IA usa el contenido, y esa es una de las razones por las que más abajo planteo la exigencia de que cada afirmación tenga una fuente localizable.

4. El otro lado: qué queda abierto

Aquí llego a algo que me sorprendió más que el bloqueo en sí. Las puertas cerradas son solo la mitad del problema. La otra mitad es qué queda abierto.

Los editores que viven de un trabajo de calidad (redacción, verificación, archivos) tienen motivos para cerrar su web a los robots. En cambio, lo que permanece abierto es sobre todo el contenido de quienes buscan ante todo alcance:

Una persona nota quién está detrás de una fuente. Mira el dominio, el autor, el tono, de qué vive. El agente, en una ejecución automática, a menudo solo ve texto. Y un texto manipulado por un lobista parece tan seguro de sí mismo como el de un periodista.

Surge así una asimetría incómoda. Cuando la educación cierra fuentes, desaparece la calidad. Cuando las fuentes permanecen abiertas, permanece también lo que está abierto por motivos equivocados. La IA educada no lee entonces “menos de lo mismo”. Lee una selección distinta, sesgada a favor de quienes tienen interés en que alguien los lea.

La consecuencia es peor que un “no se puede verificar”. Ante un “no se puede verificar”, el lector tropieza y sabe que debe ser prudente. Una fuente manipulada, en cambio, conduce a una conclusión segura y equivocada. El agente escribe que los críticos califican la propuesta de peligrosa, cuando en realidad cita a una sola organización de intereses. O escribe que la experiencia extranjera es positiva, cuando en realidad reproduce un artículo pagado.

A esto se suma otra cosa: el contenido cerrado en el original suele llegar al agente por un rodeo. La noticia bloqueada aparece como reproducción, en un teletipo de agencia, en un agregador o en un comentario de blog. La prohibición formalmente se cumple y el contenido llega igualmente, pero recortado, sin contexto y a menudo con la opinión añadida de quien lo ha reproducido. Además, el agente por lo general no distingue que está leyendo una copia y no el original. Así que la prohibición en la fuente no garantiza que el contenido no acabe en el resultado. Solo garantiza que no llegue en su mejor versión.

Qué se puede hacer al respecto lo desarrollo en la última parte. La base es sencilla: no confundir “abierto” con “fiable”.

5. Qué dice el derecho y qué no

robots.txt no es una ley. Es un acuerdo descrito en la RFC 9309: con él, el sitio web dice qué no quiere que hagan los robots. Si lo ignoras, no necesariamente infringes la ley, pero es mala fe, y eso le viene bien a la otra parte en un litigio. En muchos sitios, además, robots.txt es solo la parte legible por máquina de las condiciones comerciales, cuyo incumplimiento sí puede tener consecuencias jurídicas.

En Europa se añade el art. 4 de la Directiva 2019/790 sobre derechos de autor en el mercado único digital. Esta permite la llamada minería de textos y datos (text and data mining), pero solo mientras el titular de los derechos no se los haya reservado “de manera adecuada, como medios de lectura mecánica en el caso de contenidos que se hayan puesto a disposición del público en línea”. Si Content-Signal constituye exactamente una reserva así se interpreta de formas distintas. Pero la dirección está clara: un “no” legible por máquina tiene peso jurídico, no es solo un ruego.

La ley checa de derechos de autor, por su parte, excluye de la protección en el § 3 las obras oficiales (normas jurídicas, resoluciones, documentos públicos). El texto de la ley es, pues, libre. Pero el comentario, la información periodística y las bases de datos que lo rodean no lo son. Y son justamente eso lo que se necesita para entender una ley. La ley es gratis. El debate sobre ella, no.

No soy jurista y esto no es un consejo jurídico. Pero incluso sin formación jurídica se ve un desequilibrio.

6. La persona puede más que su herramienta

Yo puedo abrir iDnes, leer un artículo y usarlo como fuente. Mi agente no. No porque sea menos capaz, sino porque robots.txt habla de robots, no de personas.

Imagina una biblioteca que te dijera: este libro puedes leerlo, pero no con gafas.

Cuando una persona lee algo y luego se lo dicta al agente, sigue siendo una persona la que lee. Quizá esté bien, quizá no, porque las condiciones pueden prohibir incluso introducir el contenido en una IA. En cualquier caso, no escala. Sledovna tiene proyectos nuevos cada día, no uno solo. Si tuviera que leer a mano cinco artículos por cada uno y reescribírselos al agente, el proyecto acabaría en mis apuntes, en casa.

Y aquí está la rareza: mismo texto, mismo propósito, misma persona. Una vez con IA y otra sin ella. Y las reglas difieren. Eso no es neutralidad tecnológica. Es un cambio silencioso de quién puede entender el mundo.

¿El agente es un robot o un navegador?

robots.txt nació para los crawlers, es decir, programas que recorren la web de forma masiva. Un agente que abre una sola página porque yo se lo pedí se comporta más bien como un navegador con unas gafas notablemente mejores. La diferencia entre que una página la abra un automatismo por su cuenta o una persona concreta que acaba de preguntar algo no la resuelven hoy los estándares. Algunos proveedores de IA distinguen por eso entre un crawler para entrenamiento, un crawler para búsqueda y un agente que actúa a petición del usuario, y cada uno tiene su propia identificación y sus propias reglas. Los sitios web reaccionan de formas distintas y el resultado es difícil de predecir.

Desde este punto de vista, Sledovna es un caso sencillo: el agente corre automáticamente cada día, así que se comporta como un robot y le son aplicables las reglas para robots. Pero cuantas más herramientas actúen por encargo de las personas, menos claro estará dónde acaba el “robot” y empieza la “persona con un ayudante”.

7. Cuatro caminos que se ofrecen

Cuando te topas con este muro, tienes básicamente cuatro opciones:

CaminoQué significaQué te cuesta
Mentirafirmar que lo hizo una persona, o que la IA no usó la fuentela verdad sobre el método y, con ella, la credibilidad de todo el proyecto
Eludir y arriesgarleer la fuente con otra identidad y esperar a ver si alguien reclamadinero, tiempo y tranquilidad; incluso un litigio ganado puede acabar con un proyecto pequeño
Comprar una licenciallegar a un acuerdo con el editora menudo inaccesible para un particular, los costes de transacción superan el valor
Ser peorrespetar las reglas y conformarse con menos fuentescalidad del resultado y más tokens

Yo elegí la última opción. No porque sea un santo, sino porque Sledovna se sostiene en que se puede rastrear de dónde sale cada afirmación. Si miento sobre el método, ¿por qué iba nadie a creerme el contenido?

Alguien dirá: “Pues no lo hagas con IA, hazlo con una persona”. Pero una persona que cada día lee cinco proyectos, tres exposiciones de motivos, la comparación internacional y la crítica no es una persona. Es una redacción. Y una redacción es más cara que los tokens. Un proyecto que quiere ser gratuito y útil no puede permitírsela.

8. Quién paga por esto

Las consecuencias no se limitan a un artículo, son sistémicas:

Y una consecuencia difícil de medir: cuando la educación se convierte en desventaja competitiva, la gente deja de practicarla. No porque sea malvada, sino porque de otro modo no tiene éxito. Quedan reglas que solo cumplen quienes no pueden permitirse infringirlas.

9. Lo que ya hemos pagado

Un grupo de fuentes merece una mención especial: el que financiamos entre todos. Lo que producen la Cámara de Diputados, la Televisión Checa y la Radio Checa (con cánones y presupuesto estatal) y, en el extranjero, por ejemplo, los parlamentos, los organismos públicos de radiodifusión o los diarios oficiales. Tienen una función pública y su contenido se crea con dinero público.

Creo que aquí debería regir otro valor por defecto: lo que se paga con impuestos o tasas similares no debería estar cerrado a los robots. Al menos para leer, buscar y citar indicando la fuente, y al menos para un uso sin ánimo de lucro y cívico. Un editor que vive de la publicidad o de las suscripciones tiene derecho a proteger su modelo de negocio. Una institución que vive de mi cuota debería alegrarse de que su trabajo llegue a la gente incluso a través de la IA.

Y no se trata de todo o nada. Incluso los archivos públicos contienen derechos de terceros y los servidores tienen una capacidad limitada, así que las reglas razonables (rate limit, identificación clara del robot, exigencia de atribución) tienen sentido. Pero un Disallow: / generalizado sobre contenido financiado con fondos públicos es lo contrario de aquello para lo que sirven las instituciones públicas.

10. Qué se puede hacer

No creo que la respuesta correcta sea “la IA puede todo”. Los editores tienen razón en que los resúmenes de IA les quitan clics e ingresos. El problema es que hoy las opciones suelen ser binarias: todo o nada. Y en ese “nada” acaban también los proyectos que no copian el contenido, solo lo leen y lo citan. Se puede abordar desde tres lados.

Por parte de quien construye la herramienta de IA:

Por parte de los editores y las fuentes:

  1. Distinguir la finalidad. Entrenamiento, búsqueda, RAG, cita y reproducción no son lo mismo. Content-Signal ya hoy entiende search, ai-input, ai-train. Es la dirección correcta: no “sí/no a todo”, sino “esto puedes, aquello no”.
  2. Niveles de licencia legibles por máquina. Los proyectos sin ánimo de lucro y de interés público deberían tener un régimen distinto al de las empresas comerciales de IA. No gratis para todos, pero con reglas claras y un precio justo.
  3. Una excepción para la IA cívica: leer, citar, indicar la fuente, sin derecho a reproducir el texto completo.
  4. Datos abiertos para el debate público. Las leyes, las exposiciones de motivos y los análisis parlamentarios deberían estar disponibles también para las máquinas. Si la ley es pública, también debería serlo su forma legible por máquina.

Por parte de las reglas y los estándares:

  1. Rastro hasta la fuente. Cada afirmación debería tener un origen localizable. No “el modelo lo sabe”, sino “este es el documento del que sale”. Eso ayuda tanto contra la lectura a ciegas como contra la manipulación.
  2. Transparencia. Debería verse qué crawlers están bloqueados y dónde. La calidad de una herramienta cívica no debería depender de qué proveedor de modelo se use en ese momento.

11. Conclusión

No se trata de que la IA no pueda leer. Se trata de que la IA educada lee menos, y de que lo que lee no tiene por qué ser lo mejor, sino solo lo que ha quedado abierto. Lo cerrado suele ser lo de calidad; lo abierto es a veces lo manipulado. Y un agente que no ve quién está detrás de un texto no distingue entre ambos.

Sledovna es un pequeño experimento, pero muestra algo general. Si la educación se convierte en desventaja competitiva, ganará quien pueda permitirse abogados, o quien mienta sobre el método. Y lo que más necesitamos entender son justamente las partes del mundo que están cerradas.

No quiero eludir las reglas. Quiero que cumplirlas no sea un castigo en calidad, y que abierto no signifique automáticamente fiable.

Una pregunta para ti: ¿dónde pondrías el límite en tu propia herramienta de IA? ¿Respetar más que los demás, o solo lo obligatorio?