Czy AI zna polskie prawo? Benchmark dokładności na czterech ustawach

Z katalogu ponad 25 pytań z polskich ustaw odsiewaliśmy te, w których model bazowy (Claude Opus 4.7 z wyszukiwarką internetową, bez naszych narzędzi) odpowiada poprawnie 3 razy na 3 w szybkim screeningu. Pytania kontrolne, popularne kary, dobrze udokumentowane progi - wszystko zostawało po stronie baseline.

Cztery pytania pozostały: dwa z prawa lotniczego (PNR), jedno z systemu monitorowania przewozu (SENT) i jedno z ustawy o elektromobilności. Każde uruchomiliśmy 10 razy w dwóch trybach: baseline (Claude z WebSearch + WebFetch) i z narzędziami PrawMi (te same narzędzia plus dostęp do tekstów ustaw bezpośrednio z ISAP). Ground truth weryfikowany ręcznie przeciwko aktualnemu tekstowi przepisu.

To nie jest pomiar ogólnej dokładności AI - to pomiar tego, gdzie sama wyszukiwarka zawodzi. Domeny, w których zawodzi to m. in.: nowelizacje, tabele wieloprogowe, niszowe parametry.

1. Elektromobilność, art. 34 ustawy. Jaki minimalny udział pojazdów elektrycznych we flocie muszą zapewnić naczelne i centralne organy administracji państwowej? Prawidłowa odpowiedź: 22%. Baseline trafia 4 razy na 10 - w sześciu próbach odpowiada 50%, czyli wartością z pierwotnej wersji ustawy sprzed nowelizacji. Wyszukiwarka prowadzi do stron z nieaktualnym tekstem. Z PrawMi: 10/10.

2. PNR, kara za nieprzekazanie danych. O ile procent obniża się karę pieniężną za nieprzekazanie danych PNR w terminie, jeśli naruszenie zostało usunięte na 6 godzin przed planowanym startem? Prawidłowa odpowiedź: 75%. Baseline trafia 7 razy na 10 - myli progi z tabeli trzech poziomów obniżki kary (25%, 50%, 75%). Z PrawMi: 10/10.

3. SENT, kara w art. 22 ust. 2. Ile wynosi kara dla przewoźnika, który nie uzupełnił zgłoszenia w systemie monitorowania przewozu o dane określone w art. 5 ust. 4 i art. 6 ust. 3? Prawidłowa odpowiedź: 10 000 zł. Baseline trafia 7 razy na 10 - myli z niższą karą z innego ustępu (5 000 zł). Sam art. 22 zawiera trzy różne kwoty. Z PrawMi: 10/10.

4. PNR, karencja po pierwszym locie. Przez ile dni od dnia wykonania pierwszego lotu PNR przewoźnik nie podlega administracyjnej karze pieniężnej za naruszenia obowiązków przekazywania danych, jeżeli zapewnił warunki techniczne i przekazał wszystkie wymagane dane? Prawidłowa odpowiedź: 60 dni. Baseline trafia 9 razy na 10 - przepis pochodzi z nowelizacji 2025 (Dz.U. 2025/1179) i nie ma go w danych treningowych. Z PrawMi: 10/10.

Trzy wzorce, które konsekwentnie pojawiają się w tych pytaniach:

Nowelizacje ustaw. Model bazowy ma dane treningowe z opóźnieniem. Gdy ustawodawca zmienia wartość liczbową (50% → 22% w elektromobilności, świeży 60-dniowy okres karencji w PNR z 2025 roku), AI podaje starą wartość lub myli ją z innym terminem. Wyszukiwarka też kieruje na nieaktualne portale. Narzędzia prawne sięgają po aktualny tekst z ISAP - tak jak prawnik, który zaczyna od oficjalnego źródła.

Tabele z wieloma progami. Artykuły z 3+ podobnymi kwotami albo procentami (PNR: 25/50/75% obniżki, SENT art. 22: trzy różne kwoty kar) prowadzą model do popularniejszej, nie właściwej wartości. Bez bezpośredniego dostępu do tekstu artykułu trudno wybrać właściwy wiersz tabeli. Z dostępem - łatwo.

Niszowe parametry. Przepisy rzadko cytowane w internecie (flota EV w administracji, karencja PNR po pierwszym locie) są trudne do znalezienia przez wyszukiwarkę. Komentarze i portale z analizami zwracają szum. Narzędzia prawne idą do tekstu ustawy, a nie do tego, co o niej napisali komentatorzy.

Sprawdziliśmy, co się stanie, gdy z pytania usuniemy numer artykułu (zamiast „zgodnie z art. 34 ustawy…" napiszemy tylko „zgodnie z ustawą…"). Wynik był zaskakujący.

W obu pytaniach, gdzie sprawdziliśmy ten wariant, usunięcie numeru artykułu poprawiło wynik baseline: w elektromobilności z 4/10 do 8/10, w SENT z 7/10 do 9/10. Ale w żadnym z wariantów nie dorównało narzędziom prawnym, które trafiają 10/10 niezależnie od formy pytania.

Mechanika jest prosta. Numer artykułu w zapytaniu kieruje wyszukiwarkę na strony z komentarzami, wykładnią doktryny i orzeczeniami - czyli na szum interpretacyjny. Bez numeru wyszukiwarka częściej trafia bezpośrednio na tekst lub prostą odpowiedź. Narzędzia prawne omijają ten problem - sięgają od razu po artykuł z autorytatywnego źródła, niezależnie od tego, czy użytkownik podał numer, czy nie.

Na 40 uruchomień baseline 13 zakończyło się błędem. Błędy nie są losowe. Model konsekwentnie podaje tę samą mylną wartość: starą wersję przepisu (50% zamiast 22%), sąsiednią pozycję z tabeli (5 000 zamiast 10 000 zł, 50% zamiast 75% obniżki), albo bliski termin z innego ustępu (180 dni zamiast 60). To nie są halucynacje w klasycznym sensie - to trafianie obok, w sposób przewidywalny i powtarzalny.

Dla prawnika oznacza to, że odpowiedź AI „brzmi sensownie" w każdej z tych prób, mimo że w 4 z 10 prób jest po prostu błędna. Gdyby cytat trafił do pisma procesowego albo opinii bez weryfikacji, błąd przeszedłby niezauważony aż do reakcji drugiej strony lub klienta.

Cztery pytania, dziesięć prób na każde, dwa tryby. Baseline trafił poprawnie w 27 z 40 prób (68%). Z narzędziami prawnymi - 40 z 40 prób (100%). Średnia różnica: +33 punkty procentowe na korzyść narzędzi.

Uczciwie: przy próbie n=10 na pytanie tylko jedna z czterech różnic jest statystycznie istotna w klasycznym sensie (test Fishera, p<0,05) - to elektromobilność z różnicą 60pp. Pozostałe trzy mają mniejsze próby, więc dla solidnego dowodu potrzebowalibyśmy n≥30 lub agregacji większej liczby pytań. Pojedyncze pytanie statystyka nie udźwignie - cały zestaw udźwignął.

Co jest mocne nawet przy małej próbie: powtarzalność błędu. Model nie myli się losowo. Kiedy myli, myli się w tę samą stronę, co oznacza że błąd jest systemowy (stara wersja ustawy w treningu), a nie losowy szum w odpowiedzi.

Ta sama czwórka pytań w postaci tabeli. Ground truth z tekstu jednolitego ISAP. Data pomiaru: 27 kwietnia 2026. Traces JSONL każdego uruchomienia są dostępne na życzenie.

Jeśli używasz Claude albo innego modelu LLM do researchu prawnego z samą wyszukiwarką - większość pytań rozwiążesz dobrze. Ale w trzech sytuacjach zaufaj weryfikacji w autorytatywnym źródle bardziej niż wynikowi z chatu:

Świeże nowelizacje (do 12 miesięcy od zmiany). Tu model jest najbardziej narażony - dane treningowe ma sprzed zmiany, wyszukiwarka indeksuje strony z opóźnieniem.

Artykuły z tabelą wieloprogową (3+ wartości w jednym przepisie). Modeli potrafi wybrać sąsiedni próg. Sprawdzaj który wiersz tabeli to twój przypadek.

Niszowe parametry rzadko cytowane w komentarzach. Wyszukiwarka zwróci szum interpretacyjny zamiast prostej odpowiedzi.

To są dokładnie te sytuacje, w których dedykowane narzędzia prawne dają twardą przewagę - sięgają po tekst ustawy z ISAP, nie po to co napisali o niej komentatorzy.

Model: Claude Opus 4.7 (domyślny effort). 10 uruchomień na pytanie × 2 tryby (baseline, MCP). Baseline: WebSearch + WebFetch (standardowe narzędzia Claude). MCP: WebSearch + WebFetch + serwer MCP PrawMi. Ocena: automatyczna ekstrakcja liczby z odpowiedzi, porównanie z ground truth z katalogu pytań.

Pełne traces każdego uruchomienia są dostępne w postaci JSONL na życzenie.