На запитання «яка модель найкраща для права» інтернет відповідає рейтингами. Здебільшого англійською і щодо американського права. Нас цікавило щось вужче: яка модель напише найкращий лист-скаргу за чеським споживчим правом. У вересні та жовтні 2026 року ми це виміряли.
Ми очікували, що найкращий лист напише найдорожча модель.
Ми взяли 11 справжніх чеських споживчих скарг із розробницької частини набору з 200 публічно опублікованих скарг, поданих після 6 січня 2023 року, коли набрала чинності новела споживчого права (закон № 374/2022 Sb.). Кожна модель написала до справи один лист. Галузі різнилися: інтернет-магазини та передплати, енергетика, телекомунікації, страхування, транспорт. Особисті дані ми з текстів заздалегідь видалили, а факти уніфікували.
Кожна модель писала лист через увесь Legamik, тобто з тією самою базою законів, тими самими матеріалами й тим самим завданням. Змінювалася лише модель, яка пише. Це були GPT-5.6 Sol, GPT-6 Sol, GPT-6 Astra (OpenAI), Claude Opus 5, Claude Opus 5.5 і Claude Fable 5.1 (Anthropic). Пізніше ми ще порівняли GPT-6 Sol із новішим GPT-6.1 Sol.
Листи оцінювали три різні моделі, Grok, Claude Fable і GPT-6 Astra, наосліп і без інформації, хто їх написав. Жодна модель не оцінювала сама себе. Кожен оцінювач отримав повний текст цитованих параграфів і оцінював роботу із законом, факти, аргументацію, вимоги та читабельність за шкалою від 1 до 5. Окремо рахував критичні правові помилки, через які компанія могла б обґрунтовано відхилити лист, і вигадані факти, тобто усе, чого споживач не написав.
Найдорожча модель не перемогла
У першому колі вийшов порядок за єдиним оцінювачем, який бачив усі чотири тодішні моделі: GPT-6 Astra 3,64, GPT-5.6 Sol 3,09, Claude Fable 5.1 3,00, Claude Opus 5 2,91.
Claude Fable при цьому з усіх випробуваних моделей найдорожчий і найповільніший. Лист він писав у середньому 165 секунд. Він писав глибокі, довгі аргументи, але частіше домислював у них. За оцінками Grok і Fable моделі Claude мали вигадані факти у 6–8 листах з 11, моделі GPT — у 0–2. Найсуворіший оцінювач Astra знайшов у Fable вигадані факти в 10 листах з 11.
Під час читання пар листів поруч це так не виглядало. В усіх десяти парах переміг довший лист від Claude Fable. Виглядав переконливіше. Але це читання робив сам Claude Fable 5.1 в окремій сесії, не людина. Отже, він оцінював і власні листи.
Сліпі оцінювачі, які знали точне формулювання закону, бачили це інакше. Щодо коротших листів GPT Sol вони збігалися між собою набагато більше (різниця між їхніми оцінками 0,18 бала), ніж щодо довгих листів Claude Opus (1,18 бала). Вплив самої довжини ми від моделі не відокремили, але довший текст дає більше простору для розтягнутої цитати чи домисленої обставини. Компанія не читає есе. Шукає, чи спирається претензія на факти й на закон, і кожне твердження, якого споживач не написав, є слабким місцем.
Після налаштування вистачило дешевшої моделі
GPT-6 Sol — дешевший і швидший родич моделі Astra. Після двох кіл налаштування завдання він досяг у трьох оцінювачів балів 3,73, 3,64 і 3,64. В обох оцінювачів, які могли оцінити обидві моделі, він вийшов кращим за Astra, а в 33 оцінюваннях мав єдину критичну помилку. При цьому коштував приблизно пʼяту частину, а лист написав приблизно за половину часу.
Вигаданий параграф ми не знайшли
У головних колах вимірювання оцінювачі не знайшли жодного цитування параграфа, якого не існує. Це відповідає тому, що модель пише з текстів закону, які отримує, а не з памʼяті. Помилки, які залишаються, є іншого роду: наявний параграф, застосований до ситуації, на яку він не поширюється. Це важча проблема.
Сьогодні листи в Legamik пише GPT-6.1 Sol. Порівняно з GPT-6 Sol він пише змістовніші листи, і те, що додає, на користь споживача. До завдання ми для нього додали виразну заборону домислювати додатки й обставини. Моделі Claude ми виключили: вони були повільніші, дорожчі й якістю не переконали. Тому зараз будуємо на моделях GPT. З новою версією будь-якої моделі це може змінитися, і тому вимірюємо знову. Від вересня ми модель, яка пише листи, змінювали тричі, завжди за вимірюванням.
Коли ви пишете скаргу із загальним чат-ботом
На що звернути увагу, розбираємо в статті Скарга через ChatGPT: чому безкоштовно може не вистачити.
- Не оцінюйте лист за довжиною та впевненістю. Лист, який тримається лише ваших фактів, сильніший за довший лист із домисленням.
- Перевірте, чи цитований параграф справді поширюється на вашу ситуацію. Того, що параграф існує, недостатньо.
Обмеження вимірювання
Одинадцять справ — мала вибірка. Різниці нижче 0,1 бала вважаємо шумом.
Бали й критичні помилки визначали мовні моделі. Листи читав і я, Jaroslav Škrabálek, засновник Legamik. Маю юридичну освіту, але не практикую як адвокат і не маю його щоденної практики.
Результати чинні для конкретних версій моделей і для чеського споживчого права. Моделі змінюються кожні кілька місяців, і тому вимірювання повторюємо.
Що робити далі
Legamik підготує проєкт листа-скарги з вашого опису, над базою законів і торговельних умов, із моделлю, яку обираємо за вимірюванням. Лист ви прочитаєте, відредагуєте й надішлете самі.
Legamik не є адвокатським бюро і не надає правничих консультацій. У разі складних спорів рекомендуємо консультацію з адвокатом.