Teksty formalne
Najtrudniejsze przypadki to teksty poprawiane, tłumaczone, mieszane i pisane ustandaryzowanym stylem.
Metodologia i ograniczenia
Badania
Detekcja AI nie jest testem autorstwa. Jest problemem statystycznym zależnym od domeny, języka, długości tekstu, stylu i danych referencyjnych. Dlatego Detektyw.ai komunikuje niepewność oraz dopuszcza wynik “nie wiem”.
Teksty redakcyjne
Materiały profesjonalne często przypominają AI, bo są wygładzone i ustandaryzowane.
Audyt błędów
Najważniejsze są false positive rate, kalibracja i jawna abstencja przy słabym sygnale.
Założenia
- preferujemy kalibrację i jawne ograniczenia zamiast fałszywej pewności;
- feedback użytkowników służy do znajdowania błędów i trudnych przypadków;
- szczególnie ważne są polskie teksty, teksty mieszane, parafrazy i korekty językowe.
Jak oceniamy model
| Obszar | Co mierzymy | Po co |
|---|---|---|
| False positives | Jak często tekst człowieka wygląda jak AI. | To najważniejsze ryzyko społeczne i prawne. |
| False negatives | Jak często tekst AI przechodzi jako człowiek. | Pokazuje odporność na parafrazy i humanizację. |
| Kalibracja | Czy wynik procentowy odpowiada realnej częstości. | Bez kalibracji procent jest tylko dekoracją. |
| Abstencja | Ile razy system mówi “nie wiem”. | Lepsze “nie wiem” niż fałszywe rozstrzygnięcie. |
Znane słabości
- krótkie teksty poniżej sensownej liczby słów;
- teksty formalne, urzędowe, akademickie i marketingowe;
- teksty mieszane: człowiek + AI + korekta edytora;
- tłumaczenia, parafrazy i narzędzia humanizujące;
- próbki spoza dystrybucji treningowej.
Publikacja liczb
Publiczne metryki powinny być pokazywane ostrożnie i tylko z metodologią. Aktualny MVP pokazuje techniczny wynik modelu, ale nie przedstawia go jako certyfikowanej skuteczności rynkowej.
Roadmapa: zamrożony polski benchmark, publiczna macierz błędów, osobne wyniki dla domen i dashboard kalibracji na zgłoszeniach z feedbackiem użytkowników.