Na otázku „který model je nejlepší na právo“ odpovídá internet žebříčky. Většinou v angličtině a nad americkým právem. Nás zajímalo něco užšího: který model napíše nejlepší stížnostní dopis podle českého spotřebitelského práva. V září a říjnu 2026 jsme to změřili.
Čekali jsme, že nejlepší dopis napíše nejdražší model.
Vzali jsme 11 skutečných českých spotřebitelských stížností z vývojové části sady 200 veřejně publikovaných stížností podaných po 6. lednu 2023, kdy začala platit novela spotřebitelského práva (zákon č. 374/2022 Sb.). Každý model napsal k případu jeden dopis. Obory se lišily: e-shopy a předplatné, energie, telekomunikace, pojištění, doprava. Osobní údaje jsme z textů předem odstranili a fakta sjednotili.
Každý model psal dopis přes celý Legamik, tedy se stejnou databází zákonů, stejnými podklady a stejným zadáním. Měnil se jen model, který píše. Byly to GPT-5.6 Sol, GPT-6 Sol, GPT-6 Astra (OpenAI), Claude Opus 5, Claude Opus 5.5 a Claude Fable 5.1 (Anthropic). Později jsme ještě porovnali GPT-6 Sol s novějším GPT-6.1 Sol.
Dopisy hodnotily tři různé modely, Grok, Claude Fable a GPT-6 Astra, naslepo a bez informace, kdo je napsal. Žádný model nehodnotil sám sebe. Každý hodnotitel dostal plné znění citovaných paragrafů a hodnotil práci se zákonem, fakta, argumentaci, požadavky a čitelnost na stupnici 1 až 5. Zvlášť počítal kritické právní chyby, kvůli nimž by firma mohla dopis oprávněně odmítnout, a vymyšlená fakta, tedy cokoli, co spotřebitel nenapsal.
Nejdražší model nevyhrál
V prvním kole vyšlo pořadí podle jediného hodnotitele, který viděl všechny čtyři tehdejší modely: GPT-6 Astra 3,64, GPT-5.6 Sol 3,09, Claude Fable 5.1 3,00, Claude Opus 5 2,91.
Claude Fable je přitom ze všech zkoušených modelů nejdražší a nejpomalejší. Dopis mu trval v průměru 165 sekund. Psal hluboké, dlouhé argumenty, jenže si v nich častěji domýšlel. U hodnotitelů Grok a Fable měly modely Claude vymyšlená fakta v 6 až 8 dopisech z 11, modely GPT v 0 až 2. Nejpřísnější hodnotitel Astra našel u Fable vymyšlená fakta v 10 dopisech z 11.
Při čtení dvojic dopisů vedle sebe to tak nevypadalo. Ve všech deseti dvojicích vyhrál delší dopis od Claude Fable. Působil přesvědčivěji. To čtení ale dělal sám Claude Fable 5.1 v samostatné relaci, ne člověk. Hodnotil tedy i své vlastní dopisy.
Slepí hodnotitelé, kteří znali přesné znění zákona, to viděli jinak. U kratších dopisů GPT Sol se mezi sebou shodovali mnohem víc (rozdíl mezi jejich hodnoceními 0,18 bodu) než u dlouhých dopisů Claude Opus (1,18 bodu). Vliv samotné délky jsme od modelu neoddělili, delší text ale dává víc prostoru pro roztaženou citaci nebo domyšlenou okolnost. Firma nečte esej. Hledá, jestli má nárok oporu ve faktech a v zákoně, a každé tvrzení, které spotřebitel nenapsal, je slabé místo.
Po vyladění stačil levnější model
GPT-6 Sol je levnější a rychlejší sourozenec modelu Astra. Po dvou kolech ladění zadání dosáhl u tří hodnotitelů skóre 3,73, 3,64 a 3,64. U obou hodnotitelů, kteří mohli posoudit oba modely, vyšel lépe než Astra, a ve 33 hodnoceních měl jedinou kritickou chybu. Stál přitom zhruba pětinu a dopis napsal asi za polovinu času.
Vymyšlený paragraf jsme nenašli
V hlavních kolech měření hodnotitelé nenašli ani jednu citaci paragrafu, který neexistuje. Odpovídá to tomu, že model píše z textů zákona, které dostane, a ne z paměti. Chyby, které zbývají, jsou jiného druhu: existující paragraf použitý na situaci, na kterou nedopadá. To je těžší problém.
Dnes dopisy v Legamiku píše GPT-6.1 Sol. Proti GPT-6 Sol píše obsahově bohatší dopisy a to, co přidává, je ve prospěch spotřebitele. Do zadání jsme k němu přidali výslovný zákaz domýšlet si přílohy a okolnosti. Modely Claude jsme vyřadili: byly pomalejší, dražší a kvalitou nepřesvědčily. Proto teď stavíme na modelech GPT. S novou verzí kteréhokoli modelu se to může změnit, a proto měříme znovu. Od září jsme model, který dopisy píše, měnili třikrát, vždy podle měření.
Když píšete stížnost s obecným chatbotem
Na co si dát pozor, rozebíráme v článku Stížnost přes ChatGPT: proč to zdarma nemusí stačit.
- Nehodnoťte dopis podle délky a sebevědomí. Dopis, který drží jen vaše fakta, je silnější než delší dopis s domýšlením.
- Zkontrolujte, jestli citovaný paragraf na vaši situaci opravdu dopadá. Že paragraf existuje, nestačí.
Limity měření
Jedenáct případů je malý vzorek. Rozdíly pod 0,1 bodu považujeme za šum.
Skóre a kritické chyby určovaly jazykové modely. Dopisy jsem četl i já, Jaroslav Škrabálek, zakladatel Legamiku. Mám vystudovaná práva, ale nejsem praktikující advokát a nemám jeho každodenní praxi.
Výsledky platí pro konkrétní verze modelů a pro české spotřebitelské právo. Modely se mění každých pár měsíců a měření proto opakujeme.
Co dělat dál
Legamik připraví návrh stížnostního dopisu z vašeho popisu, nad databází zákonů a obchodních podmínek, s modelem, který vybíráme podle měření. Dopis si přečtete, upravíte a odešlete sami.
Legamik není advokátní kancelář a neposkytuje právní poradenství. V případě složitých sporů doporučujeme konzultaci s advokátem.