Human Priority — Nemzeti IT Bajnokság
Országos LLM-versenykategória, három éve zsinórban.
Mi hoztuk létre és üzemeltetjük a Nemzeti IT Bajnokság hivatalos LLM-kategóriáját — tanterv, értékelési rubrika és élő üzemeltetés 10 000+ résztvevőnek, ipari sztenderdekre építve.
Kontextus
Egy országos versenynek olyan AI-kategória kellett, amely valódi szakmai készséget mér — nem prompt-trükköket —, és kiállja az egyetemek, munkáltatók és szponzorok vizsgálatát.
A költséges probléma
Nem létezett elfogadott benchmark a gyakorlati LLM-kompetenciára országos léptékben; a korábbi kísérletek vagy akadémiai elméletbe, vagy marketingbemutatókba fulladtak.
Kiindulási mérés
Nulladik év: se kategória, se rubrika, se feladattár. A siker definíciója: ipari sztenderd feladatok, reprodukálható pontozás és országos léptékű részvétel.
Beavatkozás
Ipari munkafolyamatokra leképezett feladattár (elemzés, fogalmazás, értékelés, eszközhasználat), transzparens rubrika emberi zsűri-ellenőrzőpontokkal, és tanterv, amellyel iskolák és cégek felkészülhetnek.
Emberi felelősségek
- Emberi zsűritagok pontozzák az összes döntős munkát a rubrika szerint; a modell-támogatott előpontozás sosem dönt egyedül
- Fellebbezési út — évente néhány eset, mindegyik jegyzőkönyvezve zárul
- A zsűritagokat évente képezzük; a rubrika verziózott és publikált
Mért eredmény
Korlátok
A résztvevői számok a szervező által publikált regisztrált résztvevőket számlálják. A rubrika versenyteljesítményt mér; nem jelent felvételi minősítést.
Megismételhető éves üzemeltetés: feladattár-frissítés, zsűriképzés, élő események, fellebbezések. Kis magcsapattal és képzett zsűritagokkal fut.
Következő lépés
Egy ágens-alapú munkafolyamatokra épülő folytató kategória tervezése folyamatban a szervezővel.