Analiza procena

Ova analiza na isti način posmatra procene koje su urađene na primerima i procene nastale tokom faze procenjivanja rešenja od strane učesnika. Cilj je da se izaberu bolje procene iz skupa procena predavača i studenata. Ove "dobre" procene se zatim koriste u računanju konačne ocene.

Ova analiza je najbolje urađena kada su dostupne procene predavača. Te procene mogu poslužiti kao okvir za prosuđivanje procena studenata. Predavač ne mora da proceni svaki primer i svako rešenje ali da bi analiza imala smisla bolje je da postoji više procena predavača od prosečnog broja procena svakog studenta. Što je više procena predavača, predavač može biti sigurniji u rezultate analize.

Analiza se uglavnom radi više puta, svaki put menjajući jednu ili više opcija. Analiza se kontroliše sa tri opcije koje se nalaze na vrhu stranice.

1. Učitavanje procena predavača postavlja težinsku vrednost procena predavača u odnosu na procene studenata u fazi računanja greške analize. Ako predavač želi da njegova strategija ocenjivanja dominira nad načinom na koji studenti ocenjuju rešenja, onda bi predavač trebao da bude procenitelj sa najnižom prosečnom greškom u "Tabeli grešaka". Ako predavač nije prvi na listi, onda se učitavanje grešaka predavača uvećava sve dok predavač ne bude imao najnižu prosečnu grešku. Ovo implicira da su predavačeve procene dominantne i da su studenti koji ocenjuju kao i predavač takođe u vrhu Tabele grešaka. Studenti koji se nalaze na dnu tabele ocenjuju na način koji se ne poklapa sa predavačevim procenama (niti sa procenama studenata koji se nalaze na vrhu tabele). Što je više predavačevih procena dostupno, veća je mogućnost da se ova opcija neće morati koristiti da bi se isforsiralo da se predavač nađe na vrhu tabele. Ova opcija ne utiče na težinsku vrednost predavačeve procene kada se ona koristi u računanju konačne ocene. U tom računu procena predavača ima istu težinsku vrednost kao i procena studenta. Na primer, ako je rešenje studenta ocenjeno sa 41% od strane predavača i 45% i 55% od strane učesnika, onda je konačna ocena za to rešenje (41% + 45% + 55%) /3, što iznosi 47%.
2. Težinska vrednost ocenjivanja procena koristi se u računanju Konačne ocene. U računanju "Sposobnosti procenjivanja" studenata koristi se jednostavna formula. To je proporcija "dobrih" procena koje je dao student u odnosu na maksimalan broj procena. Tako, ako na primer, zadatak zahteva od studenata da urade 3 procene primera rešenja i 5 procena drugih učesnika, a urađeno je 7 procena i jedna od njih je izbačena iz analize (pogledaj ispod), onda je njihova sposobnost procenjivanja (7 - 1)/8, što je 75%. Konačna ocena zadatka je težinska vrednost kombinacije ove sposobnosti procenjivanja i ocene koje su studenti dobili za svoje rešenje (ili najbolja ocena ako su uradili više od jednog rešenja). Ocena rešenja uvek dobija težinsku vredsnost 1. Postavljanje ove opcije na, recimo, 0.5 značilo bi da se dve ocene spajaju u proporciji 0.5:1 ili 33% za sposobnost procenjivanja i 66% za ocenu rešenja.
3. Procenat procena koje treba odbaciti određuje broj procena koje treba isključiti pri računanju konačnih ocena. Ovaj broj može se odrediti na jedan od dva načina:
   • Given the way the Grading Performance is calculated each student could, if they assessed all the work allocated to them, achieve full marks (for this element) if no assessments are dropped. If the teacher wishes to have a more reason average grade then setting this option to 30% would result in the average Grading Performance of about 70% (again if all students graded all the assessments open to them).
   • Alternatively the number of assessments to drop might be set such that the remaining "good" assessments result in the Average Errors being constrained to some reasonable value. These are the percentages given in the fourth column of the Error Table. For example, it may be thought that all the student assessments should (on average) lie within the 20% range. Then the analysis is repeated a number of times adjusting the number of assessments to drop until the figures in this column all lie within a particular limit.

Pri dodavanju u Tabelu grešaka analiza daje ocene svih zadataka i konačne ocene koje su dtudenti dobili. Očekivano je da se ova tabela može videti ako su rezultati prihvatljivi. Specijalno, ako je odbačeno puno procena onda neka rešenja mogu ostati neprocenjena i konačna ocena studenta će tada biti isuviše mala. The analysis does given the number of submissions at the top of page and again just before the Grades Table. Ova dva broja treba da budu ista. Ako postoji jedno ili više neprocenjenih rešenja i predavač ne želi da smanji broj odbačenih procena onda bi ova rešenja trebao predavač da proceni i da se analiza ponovi. Bitno je da sva rešenja budu procenjena bar jednom u finalnoj završnoj fazi analize kada se računaju konačne ocene.

Postoji ravnoteža između broja odbačenih procena i ukupne konačne ocene. Što je više procena odbačeno verovatnije je da će konačne ocene biti niže. Ako nisu odbačene slabe procene onda studenti mogu da se žale na kvalitet procena što utiče na ocenu njihovog rada. U slučaju da ima dovoljno procena predavača da dominiraju u analizi bez mnogo forsiranja, onda je normalno da bude odbačeno negde između 15% i 30% procena.

Primetimo da ova analiza oduzima puno vremena ako podrazumeva iterativne procese. Predugačka usporavanja su za očekivati.