A Preds a legjobb magyar AI-detektor - méréssel alátámasztva

Sok AI-detektor állítja magáról, hogy ők a legjobbak a szintetikus szövegek felismerésében. Ebben a témában szeretnék egy szemfelnyitó mérést és cikket bemutatni, amely megmutatja a valóságot.

Magyar nyelvre számtalan AI-detektor elérhető. A legtöbb ilyen detektor csak szemfényvesztés rendkívül jó marketinggel. Mivel nagyon korán létrehozták a weboldalaikat, elég jó helyezést érnek el a Google-keresésekben, így sokan azt hiszik, hogy ezek az eszközök valóban megbízhatóak. Az ilyen oldalak természetesen mindent megígérnek, amit csak lehet: 99%-os pontosságot, tévedhetetlenséget és hasonlókat. Sokan sajnos az ilyen oldalakon szerzett tapasztalataik alapján azt gondolják, hogy az AI-detektálás nem működhet, mert egy Petőfi Sándor verset tévesen AI-generáltnak jelzik az ingyenes detektorok.

Szeretnénk megmutatni, hogy miért nem érdemes feltétel nélkül megbízni a korábban említett oldalakban. Ahhoz, hogy objektív eredményt kapjunk, 1000 szövegen mértük le a saját modellünk, illetve a versenytársak modelljeinek teljesítményét. Ez az 1000 szöveg publikus, bárki megtekintheti a cikk végén található linkre kattintva. A szövegek véletlenszerűen lettek összegyűjtve az internetről; található köztük például újságcikk, beadandó és fogalmazás is. Az AI által generált szövegek szintén vegyesek: szerepelnek köztük ember által átírt, valamint teljesen nulláról generált szövegek is. Ezek frissen gyűjtött minták, amelyek a Preds tanítása során nem kerültek felhasználásra, így a saját modellünk sem indul előnnyel.

Eredmények és metrikák

Az alábbiakban bemutatjuk a mérések eredményeit a legfontosabb szempontok szerint:

1. Pontosság (Accuracy)

• Mit jelent? Az összes esetből a helyesen eltalált szövegek százalékos aránya. Ha például az 1000 szövegből 800-at jól azonosít be a rendszer (akár emberi, akár mesterséges volt), akkor a pontossága 80%.

2. FPR (False Positive Rate)

• Mit jelent? Ez a legfontosabb mutató a megbízhatóság szempontjából. Azt méri, hogy az ember által írt szövegek mekkora részét bélyegzi meg tévesen a detektor AI-ként. Minél alacsonyabb ez a szám, annál kisebb az esélye annak, hogy a modell emberi szöveget AI-generáltnak mond.

3. FNR (False Negative Rate)

• Mit jelent? Azt mutatja meg, hogy a valóban AI által generált szövegek mekkora hányada csúszik át a szűrőn észrevétlenül (azaz a detektor tévesen emberinek hiszi). Minél alacsonyabb ez az érték, annál hatékonyabban kapja el a mesterséges szövegeket a modell.

4. F1-pontszám

• Mit jelent? Egy kiegyensúlyozott minőségi mutató (0 és 100% között). Azért elengedhetetlen, mert kiszűri a kétes eredményeket: csak akkor lesz magas a pontszám, ha a modell egyszerre képes felismerni az AI-szövegeket anélkül, hogy közben az emberi szövegeket tévesen AI-nak minősítené.

5. AUROC (Area Under the ROC Curve)

• Mit jelent? Azt fejezi ki, hogy a detektor mennyire képes magabiztosan megkülönböztetni egymástól az emberi és az AI által írt szövegeket, függetlenül a beállított döntési érzékenységtől. Az 1,0 (vagy 100%) a tökéletes szétválasztási képességet jelenti; minél közelebb van hozzá az érték, annál stabilabb és magabiztosabb a modell ítélete.

Miért jobb a Preds 3 modellje a riválisokkal szemben?

A mérési adatok és a fenti ábrák azt mutatják, hogy a Preds 3 minden téren felülmúlja a legismertebb versenytársait (GPTZero, Originality.ai, Plag, isgen, Smodin) magyar nyelven. Az okok egyszerűek: A Preds modellje olyan tisztított szövegeken tanult, amelyeket magyar nyelvi tudással válogattunk ki. Emellett sok olyan szöveg is elérhető számunkra, amelyeket az ilyen általános többnyelvű detektorok fejlesztői nem tudnak elérni, így egy gyengébb adathalmazból tanulnak a modelljeik. A végső ok pedig az, hogy a Preds 3 egy olyan modell architektúra módosítás, amely korábban még nem létezett erre a problémára.

Összegzés

A grafikonokon egyértelműen látszik, hogy a Preds eredményei kimagaslanak, és a független mérés alapján messze a legmegbízhatóbb AI-detektor a magyar nyelvhez.

A többi AI-detektort érdemes fenntartásokkal kezelni. Ezeket az ingyenesen elérhető eszközöket nem lehet hosszú távon komolyan venni, mivel egy modern és pontos modell tanítása, finomhangolása és stabil üzemeltetése komoly hardverkapacitást, időt és anyagi erőforrást követel meg.

A teljes adathalmaz nyilvános és ellenőrizhető a Hugging Face felületén.

A Preds 3.0 részletes technikai dokumentációja és háttere itt érhető el: preds.hu/blog/preds-3-az-uj-generacioja-az-ai-detektalasnak. A modell elérhető: szeptember 24-től.