Hogyan ismeri fel a Preds az AI generált szövegeket?
Részletes technikai dokumentáció és kutatási eredmények bemutatása
Áttekintés
Manapság rengeteg AI által generált tartalom keletkezik. Ezt az is elősegíti, hogy az átlagos, technológiához nem feltétlenül értő emberek számára is könnyen elérhetővé váltak különböző nagy nyelvi modellek. Ebből adódóan egyre nagyobb szükség lesz olyan algoritmusokra, amelyek képesek az ember és gépek által generált tartalmak megkülönböztetésére. A nagy nyelvi modellek fejlődésének gyorsasága és a gépi szövegek elterjedése számos új kérdést vet fel, többek között a szerzői jogok, a hamis információk, de legfőképp az oktatás területén. A megoldásunk ennek a problémának a kiküszöbölésére készült. Már 2023 augusztusában elkezdtünk foglalkozni ezzel a témával (akkor még angol nyelven), ezáltal több mint 2 év tapasztalatunk van ennek a problémának a megoldásában.
A Preds modellje úgy lett megalkotva, hogy a lehető legkisebb hamis pozitív rátát érje el, ami azt jelenti, hogy a lehető legkevesebb olyan előrejelzésünk legyen, ahol az emberi szöveget tévesen AI által generáltnak detektáljuk. Az egyedi tanítási módszerünk minimalizálja a hibákat, és lehetővé teszi a modell számára, hogy az írásban rejlő finom statisztikai mintázatokat és nyelvi anomáliákat elemezve felismerje az MI által generált tartalmakat.
Megoldás
A modellünk alapját egy általános enkóder-alapú transzformer architektúra adja. Ez egy nyelvi modell, amely a bemeneti szöveget tokenekre bontja, majd ezekből kontextuális vektorreprezentációt hoz létre. Egy token általában egy szó vagy szótöredék – például a "din" a "dinnye" szóból. A transzformer ezeket a tokeneket egymáshoz viszonyított jelentésük szerint súlyozza, így képes felismerni a nyelvi konzisztenciát, logikai következetességet és stílusbeli eltéréseket, amelyek jellemzőek lehetnek az AI által generált szövegekre.
A vektorizált szöveg ezután egy neurális osztályozófejen halad keresztül, amely bináris predikciót ad: 0 = emberi, 1 = AI által generált. Ez az általános osztályozási megközelítés azonban önmagában nem lenne elég pontos – a Preds megoldása ezért számos, kutatási szinten optimalizált technikát alkalmaz, hogy a modell rendkívül alacsony hamis pozitív rátát érjen el.
A modell tanítása
A modell alapjául szolgáló korpusz több mint 3 millió szövegből áll. Ezek különböző forrásokból származnak: valós, emberi szövegek (esszék, fórumposztok, cikkek) és több mint 40 különböző nagy nyelvi modell által generált tartalmak (pl. GPT, Claude, Gemini, LLaMA, Mistral). Az adatkészletet gondosan kiegyensúlyoztuk, hogy a modell ne csak az AI-ra jellemző "stílusjeleket" tanulja meg, hanem valódi nyelvi általánosításokra legyen képes. A tanítás során alkalmaztunk több fejlett technikát: Hard Negative Mining (HNM): A modell folyamatosan újratanult a számára korábban nem látott, de nehéz példákon. Ez segítette abban, hogy finoman különböztesse meg azokat az emberi szövegeket, amelyek nagyon hasonlítanak az MI által írtakra. Mirror Prompts: Az AI által generált szövegek egy részét „tükrözött” változatban is felhasználtuk (pl. más szóhasználattal, expliciten megkérve, hogy fogalmazza át a szöveget), így a modell nem konkrét kulcsszavakat, hanem mélyebb nyelvi struktúrákat tanult meg felismerni. Ez drasztikusan csökkentette a túltanulás esélyét. További megoldások és praktikák is vannak finomhangolási módszerünkben, mint például a saját veszteségfüggvény, de ezeket nem publikáljuk. Az eredmény egy stabil, precíz modell, amely a magyar nyelv finom grammatikai és stilisztikai sajátosságait is képes felismerni, és a valós szövegek esetében extrém alacsony hamis pozitív rátát produkál.
Image placeholder
Image placeholder
Eredmények és értékelés
A tesztfázisban a modell több mint 3 000, korábban nem látott mintán lett értékelve. A Preds jelenlegi verziója: • **Pontosság (Accuracy):** 97.4% • **F1-score (AI vs Human):** 0.961 • **False Positive Rate (FPR):** 0.008 • **AUROC:** 0.992 Ezek az értékek nemcsak kutatási, hanem produkciós környezetben is kimagaslónak számítanak. A rendszer a detekciós döntést több szintű confidence-score alapján hozza meg, így a felhasználók egy részletes megbízhatósági értéket is láthatnak a kimenet mellett.
Image placeholder
Készen áll a kezdésre?
Próbálja ki AI-detektálási technológiánkat még ma.