Tři shodná čtení nejsou tři důkazy

Nasazení velkých jazykových modelů a specializovaných agentů na čtení historických textů vyvolává u mnoha badatelů nadšení. Nahrát sken kurentu (novodobého rukopisného písma) a dostat zpět čitelný text se zdá jako kouzlo. Jenže chyba AI nemusí být na první pohled zřejmá. Omyly často vypadají jako pečlivá práce a jeden z chytáků se skrývá ve zdánlivě neprůstřelné logice ověřování.

Iluze shody

Při transkripci problematických slov pomáhá najít stejné slovo na stejném dokumentu nebo od stejného písaře a porovnat je. Narazili jsme na zápis, kde bylo jedno velmi špatně čitelné příjmení uvedeno třikrát. Nechali jsme umělou inteligenci přečíst první výskyt. Model vrátil „Jan Chrastil“ (jméno je pro účely tohoto článku smyšlené). Nebyli jsme si jistí, a tak jsme postupně předložili k přečtení i zbylé dva výskyty téhož slova na stránce. Oba byly rovněž přečteny jako „Chrastil“.

Máme tedy tři shodná čtení téhož jména v rámci jednoho zápisu. Mohou působit jako trojí ověření, ale nejsou nezávislá: model se ve všech případech setkává s týmž rukopisem a týmž typem tvaru. Shoda proto může znamenat, že model čte písařův zvyk stále stejným, i chybným způsobem.

Ústřední zjištění, ke kterému jsme dospěli, zní: „Tři shodná čtení od jednoho písaře nejsou tři nezávislé důkazy - jsou to tři instance jednoho grafického návyku."

Písař vytváří určitá písmena podobnými tahy. Pokud tento tvar připomíná modelu jiné písmeno, může jej podobně přečíst při prvním, druhém i třetím výskytu. Shoda zde není důkazem správnosti, ale potvrzením konzistence písařova rukopisu a případně i konzistence chyby modelu.

Krutá čísla z praxe

V konkrétním případu, který jsme řešili, byla shoda iluzorní. Ověření jsme hledali mimo opakované čtení téhož modelu: týž zápis byl přepsán člověkem do veřejného indexu. Tento přepis vznikl v jiné době a jinou rukou u devíti různých záznamů tohoto rodu, proto poskytl jiný podklad pro porovnání.

A výsledek srovnání AI a člověka u tohoto sporného příjmení? U sporného příjmení jsme měli pět čtení od AI a všechna byla špatně. Proběhla ve dvou různých pokusech, se dvěma modely a také v čisté relaci bez předchozího kontextu. Tento případ nedává procento chybovosti AI, ukazuje ale, proč pět shodných výstupů není samo o sobě pět důkazů.

Na druhé straně stál starší lidský přepis a nezávislý pohled druhého čtenáře. Oba se shodli na jiném tvaru; příjmení v tomto příkladu zapisujeme jako „Havlen“, aby neoznačovalo skutečnou osobu. Neznamená to, že člověk je vždy přesnější než stroj. Znamená to, že nezávislý pramen a čtenář mohou upozornit na chybu, kterou opakování téhož postupu neodhalí.

Srovnávání vyvrací, ale nedokazuje

Z této zkušenosti plyne pravidlo pro práci s AI při luštění textů: srovnání s týmž písmenem může vyvracet, ale samo nedokazuje.

Jak tomu rozumět? Pokud najdete jiné slovo, o kterém máte doloženo, že obsahuje hledané písmeno, můžete tvar porovnat. Liší-li se tvary zřetelně, je to důvod čtení zpochybnit. Můžete říct: „Tohle nejspíš není H, protože doložené H v téže ruce vypadá jinak.“

Naopak podobné tvary samy o sobě správné čtení nepotvrzují. Dvě různá písmena od jednoho písaře si mohou být podobnější než dvě vyhotovení téhož písmene. Písař mohl použít zkratku, jinak namočit brk nebo psát rychleji. Shoda tvarů je proto vodítko, které potřebuje další nezávislou oporu.

Proto nepovažujte výstup stroje za jistý jen proto, že jej zopakuje pětkrát. Když narazíte na sporný text a agentické nástroje vám vracejí stále totéž, hledejte doložený srovnávací vzorek nebo jiný nezávislý pramen. Pomůže i věta, kterou případ nakonec vystihla:

„každé písmeno vypadá trochu jinak."