01
Preds 3
- FPR
- 0,42%
- FNR
- 3,1%
- F1-score
- 98,12%
- Pontosság
- 98,68%
A legjobb AI-detektorok magyar szövegekre
Hét AI-detektort értékeltünk ki ugyanazon az 1000 magyar szövegen. Az oldal alján a Preds-modellek belső kiértékelése is megtalálható, ahová saját detektor eredményei is feltölthetők.
1000magyar szövegen végzett nyilvános összehasonlítás (HuDetect-1k).
Hét AI-detektor 1000 magyar szövegen
A HuDetect-1k 500 ember által írt és 500 AI által generált magyar szöveget tartalmaz kilenc szövegtípusból, többek között esszéket, híreket, jogi és technikai szövegeket. Az AI által generált szövegeket 11 nyelvi modell állította elő, köztük a GPT-5.6, a Gemini 3.8 Flash, a DeepSeek V4 Flash és a Claude Haiku 4.5. A mérés 2026 szeptemberében készült.
| # | Detektor | Pontosság | FPR | FNR | F1-score | AUROC |
|---|---|---|---|---|---|---|
| 01 | Preds 3 | 99,6% | 0,0% | 0,8% | 99,6% | 0,9996 |
| 02 | GPTZero | 90,1% | 0,2% | 19,6% | 89,04% | 0,9923 |
| 03 | Originality.ai | 82,0% | 32,6% | 3,4% | 84,29% | 0,9574 |
| 04 | Plag.hu | 76,5% | 0,4% | 46,6% | 69,44% | 0,9480 |
| 05 | isgen.ai | 65,5% | 1,4% | 67,6% | 48,43% | 0,7317 |
| 06 | ZeroGPT | 64,7% | 34,8% | 35,8% | 64,52% | 0,6911 |
| 07 | Smodin | 62,9% | 0,4% | 73,8% | 41,39% | 0,7655 |
Az adathalmazt és a kiértékelést a Preds fejlesztője készítette, ezért az adatokat nyilvánosan elérhetővé tettük, így a mérést bárki megismételheti. Az AI által generált szövegeket kifejezetten ehhez a méréshez állítottuk elő, a Preds tanításában nem szerepeltek.
Az adathalmaz letöltése (Hugging Face)A mérés részletes leírása
Belső teszt adathalmaz: Preds-modellek
A Preds-modellek fejlesztése során használt belső teszt adathalmaz eredményei. Saját detektor eredményei is feltölthetők.
| # | Modell | FPR | FNR | F1-score | Pontosság |
|---|---|---|---|---|---|
| 01 | Preds 3 | 0,42% | 3,1% | 98,12% | 98,68% |
| 02 | Hungarian Benchmark v3 | 0,93% | 4,4% | 97,32% | 97,84% |
| 03 | Nyelvi detektor baseline | 1,4% | 5,8% | 96,28% | 96,92% |
02
Hungarian Benchmark v3
- FPR
- 0,93%
- FNR
- 4,4%
- F1-score
- 97,32%
- Pontosság
- 97,84%
03
Nyelvi detektor baseline
- FPR
- 1,4%
- FNR
- 5,8%
- F1-score
- 96,28%
- Pontosság
- 96,92%
Mit jelentenek a mutatók?
A négy érték együtt mutatja meg, mennyire megbízható egy detektor. Az alacsonyabb hibaarány és a magasabb F1-score, illetve pontosság kedvezőbb eredményt jelez.
- FPR
- Azt mutatja meg, hogy 100 valóban emberi szövegből hányat jelöl tévesen AI-nak. Ennél az értéknél az alacsonyabb a jobb.
- FNR
- Azt mutatja meg, hogy 100 valóban AI által írt szövegből hányat néz emberinek. Ennél az értéknél is az alacsonyabb a jobb.
- F1-score
- Egy szám, amely azt méri, milyen egyensúlyban van az AI-szövegek felismerése és a téves riasztások elkerülése. Minél magasabb az érték, annál jobban teljesít a modell mindkét szempontból.
- Pontosság
- Azt mutatja meg, hogy 100 vizsgált szövegből átlagosan hányat sorol helyes kategóriába a modell. A magasabb érték jobb.