Slušná AI vidí méně: daň za dodržování robots.txt

Když jsem agentovi pro Sledovna.cz napsal, ať respektuje robots.txt, zavřel jsem mu dveře ke kvalitním zdrojům. Otevřené zůstaly i ty zmanipulované. Poznámky z provozu malého občanského projektu.

Když jsem pro Sledovna.cz psal pravidla agentovi, který komentuje sněmovní tisky, přidal jsem větu, která mi připadala jako formalita: než načteš stránku z nové domény, přečti si její robots.txt. O pár dní později jsem zjistil, že jsem tím zásadně ovlivnil kvalitu vlastního projektu.

Tenhle článek není právní rada ani stížnost na vydavatele. Jsou to poznámky z provozu: co se stane, když AI poctivě dodržuje pravidla, která si weby nastavily. A taky to, co zůstane otevřené, když zavřené dveře spočítáte.

Sledovna je malá služba, která každý den stáhne nové tisky z Poslanecké sněmovny, nechá AI napsat srozumitelný komentář (co se mění, kdo to předložil, co říká důvodová zpráva, kdo to kritizuje, jak se stejný problém řeší jinde a jak by AI hlasovala) a publikuje ho jako statický web. Není to byznys. Reklama má případně pokrýt část tokenů, nic víc.


1. Věta, která zavírá dveře

Pravidlo zní celé takto:

Zkontroluj u zdroje robots.txt a řiď se jím.

To není zákon. Je to moje pravidlo. A je to pravidlo, které mě stojí kvalitu.

Stačí se podívat, jak vypadá robots.txt u českých zdrojů, které by byly pro analýzu zákonů nejcennější. Například irozhlas.cz:

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

Podobně iDnes blokuje ClaudeBot, anthropic-ai i Claude-Web. A překvapivě i zakonyprolidi.cz, tedy stránka, na kterou se denně dívají tisíce lidí kvůli konsolidovaným zněním:

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference

User-agent: ClaudeBot
Disallow: /

To poslední je obzvlášť zajímavé. Text zákona sám autorským právem chráněný není (v českém právu jde o takzvané úřední dílo podle § 3 autorského zákona). Ale konkrétní zpracování, redakce a databáze chráněné být mohou. Takže když chci rychle ověřit, jak zní dnešní § 41 a, nejpohodlnější zdroj mě pošle pryč a já musím k oficiálnějšímu a těžkopádnějšímu.

A pak je tu psp.cz, tedy samotná Sněmovna. Její robots.txt zakazuje mimo jiné /sqw/text/orig2.sqw, adresu, na které visí PDF a DOCX plných textů tisků. Automatický sběr je tím pádem omezený, takže plné texty stahuji ručně já a předávám je agentovi. Je to přesně ta situace, kdy člověk smí víc než jeho nástroj, a k tomu se ještě vrátím.

2. Co to udělá s odpovědí

AI v tu chvíli není hloupější. Je jen odříznutá od části světa, o kterém má mluvit. Výsledek se ale od hlouposti dá těžko odlišit:

Konkrétní příklad ze Sledovny: u tisku o návykových látkách jsem musel do článku napsat, že úřední stránky řady států (například americký DEA nebo Federal Register) automatizované čtení blokují a Evropská agentura pro drogy (EUDA) výslovně zakazuje využití obsahu pro AI, takže stav v jednotlivých zemích je doložený jen částečně a z obecnějších zdrojů. Přesně to je ta daň. Ne že by AI neuměla hledat. Ale část světa jí někdo zavřel a ona to musí přiznat.

Takhle vypadá přiznání v praxi. U senátního návrhu o nepromlčitelnosti vraždy musel Sledovna po vydání doplnit aktualizaci: předchozí verze článku připisovala stanovisku vlády konkrétní výhrady, které se z dostupných zdrojů nepodařilo ověřit, a proto je odstranila a otevřeně to napsala.

Sledovna.cz: aktualizace článku k senátnímu návrhu, která vysvětluje, že neověřené výhrady vlády byly odstraněny

3. Není to jen robots.txt

robots.txt je jedna vrstva. Ve skutečnosti se omezení sčítají:

VrstvaPříkladCo to udělá
Právnírobots.txt, obchodní podmínky, výhrada TDM podle čl. 4 směrnice 2019/790agent zdroj vůbec nenačte
Obchodnípaywall, licenční dohody, cena APIzdroj existuje, ale jen za peníze, které nemám
TechnickáCAPTCHA, rate limit, geo-blokace, Cloudflareagent narazí na zeď, nebo zpomalí tak, že to nestíhá
Produktovámodel odmítne, chybí nástroj, dojde kontextmodel řekne „nemohu“, i když zdroj existuje

Samostatně každá z nich dává smysl. Dohromady z toho ale vzniká něco, co se tváří jako „AI je hloupá“, a přitom jde o AI, které jsme postupně zavřeli skoro všechny dveře a pak se divíme, že vidí jen chodbu.

Je tu navíc jedna asymetrie, kterou nemám jak změřit. Já zakážu agentovi číst irozhlas.cz. Jenže model, na kterém agent běží, se mohl učit na webu v době, kdy takový zákaz neplatil nebo se nerespektoval. Živé čtení tedy hlídám já, ale co model „ví“ z tréninku, hlídat neumím a z odpovědi často ani nepoznám, odkud to pochází. Moje slušnost se tím týká jen části toho, jak AI obsah využívá, a to je jeden z důvodů, proč níže zmiňuji požadavek na dohledatelný zdroj každého tvrzení.

4. Druhá strana: co zůstane otevřené

Tady se dostávám k věci, která mě překvapila víc než samotné blokování. Zavřené dveře jsou jen půlka problému. Druhá půlka je, co zůstane otevřené.

Vydavatelé, kteří žijí z kvalitní práce (redakce, ověřování, archivy), mají důvod web před roboty zavírat. Naopak otevřený zůstává hlavně obsah těch, kterým jde především o dosah:

Člověk si u zdroje všimne, kdo za ním stojí. Podívá se na doménu, autora, tón, čím se živí. Agent v automatickém běhu často vidí jen text. A text zmanipulovaný lobbistou vypadá stejně sebejistě jako text novináře.

Vzniká tak nepříjemná asymetrie. Když zdroje zavírá slušnost, mizí kvalita. Když zdroje zůstávají otevřené, zůstává i to, co je otevřené z nesprávných důvodů. Slušná AI pak nečte „méně toho samého“. Čte jiný výběr, vychýlený ve prospěch těch, kdo mají zájem, aby ji někdo přečetl.

Důsledek je horší než „nelze ověřit“. Na „nelze ověřit“ čtenář narazí a ví, že má být opatrný. Zmanipulovaný zdroj ale vede ke sebejistému a špatnému závěru. Agent napíše, že kritici návrh označují za nebezpečný, a ve skutečnosti cituje jednu zájmovou organizaci. Nebo napíše, že zahraniční zkušenost je pozitivní, a ve skutečnosti přebírá placený článek.

K tomu se přidává ještě jedna věc: obsah zavřený u originálu se často dostane k agentovi oklikou. Zablokovaná zpráva se objeví jako přetisk, v agenturní depeši, na agregátoru nebo v komentáři na blogu. Zákaz tak formálně platí a obsah stejně doputuje, jen zkrácený, bez kontextu a často s přidaným názorem toho, kdo ho přebral. Agent navíc zpravidla nepozná, že čte kopii, a ne originál. Zákaz u zdroje tak nezaručuje, že se obsah nedostane do výstupu. Zaručuje jen, že se k němu nedostane v nejlepší podobě.

Co se s tím dá dělat, rozepisuji v poslední části. Základ je jednoduchý: nezaměňovat „otevřené“ se „spolehlivé“.

5. Co říká právo a co už ne

robots.txt není zákon. Je to dohoda popsaná v RFC 9309: web tím říká, co si nepřeje, aby roboti dělali. Když ji ignorujete, nemusíte hned porušit zákon, ale je to špatná víra, která se hodí protistraně ve sporu. U řady webů je navíc robots.txt jen strojově čitelná část obchodních podmínek, jejichž porušení už právní důsledky mít může.

V Evropě k tomu přistupuje čl. 4 směrnice 2019/790 o autorském právu na jednotném digitálním trhu. Ten umožňuje takzvaný text and data mining, ale jen dokud si nositel práv nevyhradí práva „vhodným způsobem, například strojově čitelnými prostředky u online obsahu“. Zda přesně Content-Signal takovou výhradou je, se vykládá různě. Ale směr je jasný: strojově čitelné „ne“ má právní váhu, nejde jen o prosbu.

Český autorský zákon přitom v § 3 vyjímá z ochrany úřední díla (právní předpisy, rozhodnutí, veřejné listiny). Text zákona je tedy svobodný. Jenže komentář, zpravodajství a databáze kolem něj svobodné nejsou. A právě ony jsou to, co potřebujete k pochopení zákona. Zákon je zdarma. Debata o něm ne.

Nejsem právník a tohle není právní rada. Ale i bez právnického vzdělání je vidět jeden nepoměr.

6. Člověk smí víc než jeho nástroj

Já si můžu otevřít iDnes, přečíst článek a použít ho jako zdroj. Můj agent ne. Ne proto, že by byl méně schopný, ale protože robots.txt mluví o robotech, ne o lidech.

Představte si knihovnu, která vám řekne: tuhle knihu si smíte přečíst, ale ne brýlemi.

Když to člověk přečte a pak agentovi nadiktuje, je to pořád člověk, kdo čte. Možná to je v pořádku, možná ne, protože podmínky mohou zakazovat i vkládání obsahu do AI. Každopádně to neškáluje. Sledovna má denně nové tisky, ne jeden. Kdybych u každého měl ručně číst pět článků a přepisovat je agentovi, projekt skončí u mě doma v poznámkách.

A tady je ta podivnost: stejný text, stejný účel, stejný člověk. Jednou s AI a jednou bez. A pravidla se liší. To není technologická neutralita. To je tichá změna toho, kdo smí rozumět světu.

Je agent robot, nebo prohlížeč?

robots.txt vznikl pro crawlery, tedy programy, které plošně procházejí web. Agent, který na můj dotaz otevře jednu stránku, se chová spíš jako prohlížeč s výrazně lepšími brýlemi. Rozdíl mezi tím, jestli stránku otevřel automat sám od sebe, nebo konkrétní člověk, který se zrovna ptal, dnes standardy neřeší. Někteří provozovatelé AI proto rozlišují crawler pro trénink, crawler pro vyhledávání a agenta, který jedná na žádost uživatele, a každý z nich má vlastní identifikaci a vlastní pravidla. Weby na to reagují různě a výsledek je těžko předvídatelný.

Sledovna je z tohoto pohledu jednoduchý případ: agent běží automaticky každý den, takže se chová jako robot a pravidla pro roboty se na něj vztahují. Jenže čím víc nástrojů bude jednat za lidi na jejich zadání, tím méně bude zřejmé, kde končí „robot“ a začíná „člověk s pomocníkem“.

7. Čtyři cesty, které se nabízejí

Když narazíte na tuhle zeď, máte v zásadě čtyři možnosti:

CestaCo to znamenáCo vás to stojí
Lháttvrdit, že to dělal člověk, nebo že AI zdroj nepoužilapravdu o metodě, a tím důvěryhodnost celého projektu
Obejít a riskovatzdroj přečíst jinou identitou a čekat, jestli se někdo ozvepeníze, čas a klid; i vyhraný spor může malý projekt zlikvidovat
Koupit licencidohodnout se s vydavatelempro jednotlivce často nedostupné, transakční náklady převýší hodnotu
Být horšídodržet pravidla a smířit se s méně zdrojikvalitu výstupu a víc tokenů

Vybral jsem si poslední možnost. Ne proto, že jsem světec, ale protože Sledovna stojí na tom, že se dá dohledat, odkud každé tvrzení je. Když budu lhát o metodě, proč by mi měl někdo věřit obsah?

Někdo řekne: „Tak to nedělej s AI, udělej to s člověkem.“ Jenže člověk, který denně přečte pět tisků, tři důvodové zprávy, zahraniční srovnání a kritiku, není jeden člověk. Je to redakce. A redakce je dražší než tokeny. Projekt, který má být zdarma a užitečný, si ji nemůže dovolit.

8. Kdo za to platí

Důsledky nejsou jen v jednom článku, jsou systémové:

A jeden důsledek, který se špatně měří: když se slušnost stane konkurenční nevýhodou, lidé ji přestanou praktikovat. Ne proto, že by byli zlí, ale protože jinak neuspějí. Zbydou pravidla, která dodržují jen ti, kdo si nemohou dovolit je porušit.

9. Za co už jsme zaplatili

Jedna skupina zdrojů si zaslouží zvláštní zmínku: ta, kterou financujeme všichni. Výstupy Poslanecké sněmovny, Česká televize a Český rozhlas (z poplatků a státního rozpočtu), v zahraničí třeba parlamenty, veřejnoprávní vysílatelé nebo úřední věstníky. Mají veřejnou funkci a jejich obsah vzniká za veřejné peníze.

Myslím, že by tu měla platit jiná výchozí hodnota: co je placeno z daní nebo obdobných poplatků, nemá být před roboty zavřené. Alespoň pro čtení, vyhledávání a citaci s uvedením zdroje, a alespoň pro neziskové a občanské využití. Vydavatel, který žije z reklamy nebo předplatného, má právo si obchodní model chránit. Instituce, která žije z mého poplatku, by měla být ráda, že se k lidem její práce dostane i přes AI.

Přitom to není všechno, nebo nic. I veřejnoprávní archivy obsahují cizí práva a servery mají omezenou kapacitu, takže rozumná pravidla (rate limit, jasná identifikace robota, požadavek na atribuci) dávají smysl. Ale plošné Disallow: / u veřejně financovaného obsahu je opak toho, k čemu veřejné instituce slouží.

10. Co se s tím dá dělat

Nemyslím si, že správná odpověď je „AI smí všechno“. Vydavatelé mají pravdu, že AI souhrny jim berou kliknutí a příjmy. Problém je, že možnosti jsou dnes často binární: všechno, nebo nic. A v tom „nic“ skončí i projekty, které obsah nekopírují, jen ho čtou a citují. Dá se to řešit ze tří stran.

Na straně toho, kdo AI nástroj staví:

Na straně vydavatelů a zdrojů:

  1. Rozlišovat účel. Trénink, vyhledávání, RAG, citace a přetisk nejsou totéž. Content-Signal už dnes umí search, ai-input, ai-train. To je správný směr: ne „ano/ne všemu“, ale „tohle smíš, tamto ne“.
  2. Strojově čitelné licenční úrovně. Neziskové a veřejně prospěšné projekty by měly mít jiný režim než komerční AI firmy. Ne zadarmo pro všechny, ale s jasnými pravidly a férovou cenou.
  3. Výjimku pro občanskou AI: přečíst, citovat, uvést zdroj, bez práva přetiskovat celý text.
  4. Otevřená data pro veřejnou debatu. Zákony, důvodové zprávy a parlamentní analýzy by měly být dostupné i strojově. Když je zákon veřejný, měla by být veřejná i jeho strojová podoba.

Na straně pravidel a standardů:

  1. Stopu ke zdroji. Každé tvrzení by mělo mít dohledatelný původ. Ne „model to ví“, ale „tady je dokument, ze kterého to je“. To pomáhá proti slepému čtení i proti manipulaci.
  2. Transparentnost. Které crawlery jsou kde blokované, má být vidět. Kvalita občanského nástroje by neměla záviset na tom, kterého dodavatele modelu zrovna používá.

11. Závěr

Nejde o to, že AI nesmí číst. Jde o to, že slušná AI přečte méně, a že to, co přečte, nemusí být to nejlepší, jen to, co zůstalo otevřené. Zavřené je často to kvalitní, otevřené je někdy to zmanipulované. A agent, který nevidí, kdo za textem stojí, mezi nimi nepozná.

Sledovna je malý experiment, ale ukazuje něco obecného. Pokud se slušnost stane konkurenční nevýhodou, vyhraje ten, kdo si může dovolit právníky, nebo ten, kdo o metodě lže. A nejvíc potřebujeme rozumět právě těm částem světa, které jsou zavřené.

Nechci obcházet pravidla. Chci, aby jejich dodržování nebylo trestem za kvalitu, a aby otevřené neznamenalo automaticky důvěryhodné.

Otázka na vás: kde byste nastavili hranici u vlastního AI nástroje? Dodržovat víc než ostatní, nebo jen to, co je povinné?