Human Priority — Nacionalni IT šampionat
Nacionalna LLM kategorija takmičenja, tri godine zaredom.
Kreirali smo i vodimo zvaničnu LLM kategoriju Nacionalnog IT šampionata — kurikulum, rubriku evaluacije i operacije uživo za 10.000+ učesnika, zasnovane na industrijskim standardima.
Kontekst
Nacionalnom takmičenju trebala je AI kategorija koja meri pravu profesionalnu veštinu — ne trikove sa promptovima — i koja može izdržati proveru univerziteta, poslodavaca i sponzora.
Skup problem
Nije postojao prihvaćeni benchmark za praktičnu LLM kompetenciju na nacionalnom nivou; raniji pokušaji su se raspadali u akademsku teoriju ili marketinške demonstracije.
Osnova
Nulta godina: nema kategorije, nema rubrike, nema banke zadataka. Uspeh definisan kao: zadaci po industrijskim standardima, reproducibilno bodovanje i učešće na nacionalnom nivou.
Intervencija
Banka zadataka mapirana na industrijske radne tokove (analiza, sastavljanje, evaluacija, korišćenje alata), transparentna rubrika sa kontrolnim tačkama ljudskog žiriranja i kurikulum koji omogućava školama i kompanijama da se pripreme.
Ljudske odgovornosti
- Ljudske sudije boduju sve radove u finalu prema rubrici; pred-bodovanje uz pomoć modela nikad ne odlučuje samo
- Put žalbi omogućava učesnicima da ospore bodovanje — nekoliko godišnje, sve rešeno uz zapisnik
- Sudije obučavamo godišnje; rubrika je verzionisana i objavljena
Izmeren ishod
Ograničenja
Brojke učešća računaju registrovane učesnike kako ih objavljuje organizator. Rubrika meri takmičarske performanse; nije sertifikat za zapošljavanje.
Ponovljiva godišnja operacija: osvežavanje banke zadataka, obuka sudija, događaji uživo, žalbe. Vodi se malim jezgrom tima plus obučenim sudijama.
Sledeći korak
Nova kategorija za agentske radne tokove je u dizajnu sa organizatorom.