01
Preds 3
- FPR
- 0,42%
- FNR
- 3,1%
- F1-score
- 98,12%
- Pontosság
- 98,68%
A legjobb AI-detektorok magyar szövegekre
A ranglista azért jött létre, hogy átlátható legyen az AI-detektorok minősége magyar nyelvű szövegeknél.
2 000szövegen mérve.
| # | Modell | FPR | FNR | F1-score | Pontosság |
|---|---|---|---|---|---|
| 01 | Preds 3 | 0,42% | 3,1% | 98,12% | 98,68% |
| 02 | Hungarian Benchmark v3 | 0,93% | 4,4% | 97,32% | 97,84% |
| 03 | Nyelvi detektor baseline | 1,4% | 5,8% | 96,28% | 96,92% |
02
Hungarian Benchmark v3
- FPR
- 0,93%
- FNR
- 4,4%
- F1-score
- 97,32%
- Pontosság
- 97,84%
03
Nyelvi detektor baseline
- FPR
- 1,4%
- FNR
- 5,8%
- F1-score
- 96,28%
- Pontosság
- 96,92%
Mit jelentenek a mutatók?
A négy érték együtt mutatja meg, mennyire megbízható egy detektor. Az alacsonyabb hibaarány és a magasabb F1-score, illetve pontosság kedvezőbb eredményt jelez.
- FPR
- Azt mutatja meg, hogy 100 valóban emberi szövegből hányat jelöl tévesen AI-nak. Ennél az értéknél az alacsonyabb a jobb.
- FNR
- Azt mutatja meg, hogy 100 valóban AI által írt szövegből hányat néz emberinek. Ennél az értéknél is az alacsonyabb a jobb.
- F1-score
- Egy szám, amely azt méri, milyen egyensúlyban van az AI-szövegek felismerése és a téves riasztások elkerülése. Minél magasabb az érték, annál jobban teljesít a modell mindkét szempontból.
- Pontosság
- Azt mutatja meg, hogy 100 vizsgált szövegből átlagosan hányat sorol helyes kategóriába a modell. A magasabb érték jobb.