Preds 3 technikai riport: módszertan és mérési eredmények

Főbb eredmények

A HuDetect-1k adathalmazon végzett mérés 2026 szeptemberében készült.

Teszt adathalmazok

A HuDetect-1k 500 ember által írt és 500 AI által generált magyar szöveget tartalmaz kilenc szövegtípusból, például esszéket, híreket, jogi, technikai és tudományos szövegeket; a szövegek hossza 80 és 995 szó között van. Az AI által generált szövegeket 11 nyelvi modell állította elő: GPT-5.6, Gemini 3.8 Flash, DeepSeek V4 Flash, Kimi K2.6, Llama 4 Scout, Qwen 3.7 Flash, GLM 5.3 Flash, Mistral Small, Claude Haiku 4.5, Grok 4.3 és gpt-oss-120b. Ugyanezen az adathalmazon hat másik detektort is kiértékeltünk.

Az adathalmazt és a kiértékelést a Preds fejlesztője készítette, ezért az adatokat nyilvánosan elérhetővé tettük, így a mérést bárki megismételheti. Az AI által generált szövegeket kifejezetten ehhez a méréshez állítottuk elő, a Preds tanításában nem szerepeltek.

A belső teszt adathalmazt a fejlesztés során használjuk: ezen hasonlítjuk össze a Preds-modellek egymást követő verzióit.

Az adathalmaz letöltése (Hugging Face)

A modell felépítése

A Preds 3 egy transzformer-alapú nyelvi modellre épülő osztályozó, amelyet magyar szövegeken finomhangoltunk. A bemeneti szöveget tokenekre bontja (egy token általában egy szó vagy szórészlet, például a „din” a „dinnye” szóból), majd ezek kontextusa alapján becsüli meg, hogy a szöveget ember írta, AI generálta, vagy vegyes.

A teljes szövegre adott becslés mellett a modell mondatszintű jelzéseket is ad, konfidenciaértékkel együtt. A tanítás során kiemelt cél volt, hogy a fals pozitív arány, vagyis az emberi szövegek téves AI-jelölése, a lehető legalacsonyabb legyen.

A modell tanítása

A tanító korpusz több mint 3 millió szövegből áll: ember által írt szövegekből (esszék, fórumbejegyzések, cikkek) és több mint 40 nagy nyelvi modell (például GPT, Claude, Gemini, LLaMA, Mistral) által generált szövegekből. Az adathalmazt kiegyensúlyoztuk, hogy a modell ne felszíni stílusjegyeket, hanem általánosítható nyelvi mintázatokat tanuljon meg.

Hard negative mining

A modellt ismételten továbbtanítottuk azokon a nehéz példákon, amelyeket korábban hibásan osztályozott. Ez főként az AI által generált szövegekhez hasonló emberi szövegeknél javította a teljesítményt.

Tükrözött promptok

Az AI által generált szövegek egy részét az emberi források műfajához és hangneméhez igazított, átfogalmazott változatban is előállítottuk, így a modell nem kulcsszavakra, hanem mélyebb nyelvi szerkezetekre támaszkodik.

További módszerek

A tanítás egyes elemeit, például a saját veszteségfüggvényt, nem publikáljuk.

Korlátok

• Rövid szövegeknél kevesebb a statisztikai információ, ezért nagyobb a tévedés esélye.
• Erősen szerkesztett, átfogalmazott vagy fordított szövegeknél a jelzés gyengülhet.
• Részben AI-val írt szövegeknél a mondatszintű jelölés mutatja meg, mely részek gyanúsak.
• A modell kizárólag magyar nyelvű szövegekre készült.
• Az eredmény valószínűségi becslés, nem bizonyíték a szerzőségre, ezért osztályzatot vagy fegyelmi döntést ne alapozzon kizárólag erre.

Miért nehéz rövid szövegből detektálni?Mi történik, ha átírják az AI által generált szöveget?

Verziótörténet

1. 2026. október 15.

   A weboldalon szereplő pontossági adatokat egységesítettük; mindegyik az ezen az oldalon közölt mérésekből származik.

2. 2026. szeptember

   HuDetect-1k v1.3: hét AI-detektor kiértékelése ugyanazon az 1000 magyar szövegen. A Preds 3 pontossága 99,6%, fals pozitív aránya 0,0%.

3. 2026. augusztus 31.

   Megjelent a Preds 3: nagyobb modell, kevesebb téves AI-jelzéssel.

4. A Preds 3 előtt

   Az előző modell több mint 3000, korábban nem látott mintán 97,4%-os pontosságot, 0,961-es F1-score-t, 0,8%-os fals pozitív arányt és 0,992-es AUROC-értéket ért el.

Kutatási háttér

Az AI által generált szövegek felismerésével 2023 augusztusa óta foglalkozunk; a kutatás a Szegedi Tudományegyetemen indult, eleinte angol nyelvű szövegekkel. A fejlesztőről és a kapcsolódó publikációkról a Rólunk oldalon olvashat. A fejlesztőről

Hivatkozás az adathalmazra

@misc{hudetect1k2026,
  title        = {HuDetect-1k: Hungarian AI-text detection benchmark},
  author       = {Kiss, Mih{\'a}ly},
  year         = {2026},
  publisher    = {Hugging Face},
  howpublished = {\url{https://huggingface.co/datasets/mihalykiss/GenAIDetectHU}}
}