Vanjski procjenitelj ili evaluator ima ključnu ulogu i njegova/njegova evaluacija bit će važan čimbenik u ocjenjivanju. Nakon što odgojno-obrazovna ustanova provede samoevaluaciju, koja se nadopunjuje evaluacijom od strane svojih klijenata, bit će važno potvrditi da je cijeli proces evaluacije proveden ispravno i da ima potrebnu valjanost. Vanjski ocjenjivači ispunjavaju ovu ulogu. Trebali bi jamčiti da će pojedinačne evaluacije biti usporedive i da neće doći do razlika.
Ključni čimbenici u učinkovitosti i kvaliteti cjelokupnog procesa evaluacije bit će ne samo zahtjevi za vanjske evaluatore, već i jasno i sveobuhvatno postavljeni procesi i kriteriji evaluacije.
Vanjski evaluator će provoditi evaluaciju kroz:
- Pripremu
- Posjete na licu mjesta i razgovori
- Evaluaciju korisnika
- Izvješće s preporukama
Posebni zahtjevi za vanjske ocjenjivače uključuju:
1) Osnovne pretpostavke:
- u potpunosti je sposoban za obavljanje pravnih poslova,
- protiv njega se ne vodi kazneni postupak
- njegov/njezin moralni integritet ili nepristranost nisu dovedeni u pitanje
2) Uvjeti za stručnu osposobljenost:
- VSS – najmanje prvostupnik željenog područja obrazovanja kao što su andragogija, menadžment,
- dokazane 3 godine iskustva na rukovodećem radnom u području obrazovanja i 3 godine iskustva u nastavi
3) Osposobljavanje za vanjske ocjenjivače
- prethodno završena edukacija za vanjske ocjenjivače u području obrazovanja
Za uspješan proces evaluacije važno je da ocjenjivana institucija u potpunosti prihvati ocjenjivača. To će osigurati rejting institucija koja upravlja cijelim procesom evaluacije.
Edukaciju za vanjske evaluatore organizira rejting institucija Qualtrack (projektni partner). Edukaciju za vanjske evaluatore organizira rejting institucija Qualtrack (projektni partner). Ocjenjivači moraju proći uvodni seminar o važnosti i prednostima različitih sustava osiguranja kvalitete i korištenog sustava ocjenjivanja. Raspravljat će o postupku ocjenjivanja, nepristranosti ocjenjivača, etičkom kodeksu ocjenjivača te pravima i obvezama ocjenjivača, uključujući povjerljivost. Obuka bi također trebala uključivati vježbu usmjerenu na rješavanje primjera studija slučaja. Po završetku takve obuke ocjenjivaču će se dodijeliti certifikat.
Uloga vanjskog evaluatora je proći kroz upitnik zajedno s timom za kvalitetu iz ocjenjivane institucije i provjeriti u redovitoj dokumentaciji koju institucija vodi. Nalazi ovog rada bit će uneseni u izvješće s konačnom presudom koja glasi “Odgovori potvrđeni” ili “Odgovori nisu potvrđeni”. Izvješće će čuvati rejting institucija.
Vrlo važan dio procesa evaluacije su zapažanja i preporuke vanjskog ocjenjivača o poboljšanjima koja institucija treba provesti.
Ocjenjivač također navodi ispunjava li Ustanova uvjete za značku u bilo kojem od ispitivanih područja. Značka signalizira da osim ispunjavanja svih osnovnih kriterija kvalitete, institucija je iznimna u nečemu, kao što je korištenje digitalnih tehnologija, i za to zaslužuje posebno priznanje – značku.
Posjet će obaviti dva ili tri ocjenjivača. Za potrebe pilotiranja dovoljan je jedan ocjenjivač. Evaluatori su također vodiči i pomažu institucijama da razumiju i ispune kriterije. U tu svrhu mogu se dogovoriti o prethodnom posjetu u prvoj fazi procesa evaluacije, a zatim se može održati završni evaluacijski posjet.
Postupak procjene
- Priprema – temelji se na proučavanju upitnika za samoprocjenu Ustanove i provjeri svih pratećih dokumenata. To će dovesti do dnevnog reda evaluacijskog posjeta.
- Obilazak Ustanove – bit će pripremljen unaprijed, s dnevnim redom kojim se utvrđuje raspored i osobe s kojima se evaluator sastaje, uglavnom članovi tima za kvalitetu u ustanovi. Procjenitelja će zanimati dokumenti kao što su izjava o misiji/viziji, statuti, interne smjernice (uključujući klauzulu o nediskriminaciji, pravila GDPR-a itd.), komunikacijski plan, godišnje izvješće, etički kodeks, poslovni uvjeti, kodeks pritužbi, radni uvjeti i slično. Evaluator će biti zainteresiran za dokumente kao što su izjava o misiji/viziji, statuti, interne smjernice (uključujući klauzulu o diskriminaciji, pravila GDPR-a itd.), Plan komunikacije, Godišnje izvješće, Etički kodeks, Uvjeti poslovanja, Kodeks reklamacija, Uvjeti rada i slično. Tijekom posjeta provodit će se niz intervjua s predstavnicima različitih grupa u ustanovi, koji mogu pružiti potrebne informacije, kao što su menadžment, nastavnici/treneri, administratori programa i studenti/klijenti. Pitanja će biti usmjerena na pitanja koja nisu bila jasna u odgovorima na upitnik.
- Ocjena od strane korisnika: Ocjenjivanje rada obrazovnih ustanova od strane korisnika važan je pokazatelj kvalitete njihova rada. Prvi korak je da je institucija zainteresirana za prikupljanje takve evaluacije ili povratnih informacija od kupaca, a sljedeće je kako ih primjenjuje kako bi dodatno poboljšala svoj rad. Korisnici su različiti – poslodavci koji naručuju neke obrazovne programe za svoje zaposlenike ili izravni korisnici edukacije, sudionici. Pretpostavlja se da obrazovna ustanova ima uspostavljen sustav koji prikuplja podatke o zadovoljstvu klijenta. Proces evaluacije će preispitati postojeći sustav, nema potrebe za uspostavom specifičnog sustava ili prikupljanjem specifičnih podataka samo radi procesa evaluacije. Vanjski ocjenjivač će zatražiti i koristiti podatke iz procesa povratnih informacija koji se redovito koristi u obrazovnoj ustanovi.
- Završno izvješće i preporuke – tijekom procesa evaluacije ocjenjivač prilično dobro upoznaje instituciju. To je dodana vrijednost cijelog postupka evaluacije za instituciju, da ocjenjivač dijeli zapažanja i, što je najvažnije, preporuke. Institucija tada može napraviti plan za budućnost i poboljšati svoje interne procese.
Opća pravila za evaluacijski posjet:
- Evaluatori slijede dogovoreni raspored
- Evaluatori slijede pravila intervjua
- Evaluatori tretiraju povjerene podatke i povratne informacije kao povjerljive informacije
- Evaluatori nastoje slušati s razumijevanjem i donositi objektivne zaključke
- Evaluatori rade kao tim i podržavaju jedni druge
- Evaluatori su spremni na nepredvidive događaje
Pravila komunikacije i intervjua:
- Stav evaluatora trebao bi se temeljiti na istraživačkom, otvorenom i prihvatljivom pristupu, nastojeći razumjeti bez brzopletnih tumačenja i prosudbi
- Korištenje odgovarajućeg jezika
- Uspostavljanje kontakta, zauzmanje otvorenog i prijateljskog stava, aktivno slušanje i pokazivanje interesa
- Tijekom intervjua govorite kratko i jasno, postavljajte kratka i jasna pitanja, ne prekidajte misaoni proces ispitanika.
- Ne govorite previše, kako bi ispitanik imao što više prostora
- Zatražite činjenice i primjere, osobito ako su odgovori preopćeniti, zatražite dodatna objašnjenja
- Završite intervju na vrijeme prema planu ili specifičnoj situaciji.