Přírodovědecká fakulta Univerzity Palackého
Pracovní komise RVŠ pro kvalitu VŠ a její hodnocení
Centrum pro studium vysokého školství, v.v.i.
pořádají
Seminář
o hodnocení akademických
pracovníků z pohledu Standardů a
směrnic pro hodnocení kvality
v Evropském prostoru
vysokoškolského vzdělávání
22. 10. 2012
Olomouc
Program semináře
10:00 – 10:10 Zahájení semináře
10:10 – 10:40 Talašová, J.: Model hodnocení akademických pracovníků vytvořený
na PřF UP
10:40 – 11:00 Stoklasa, J.: Srovnání modelů hodnocení akademických pracovníků
na University of Turku, Lappeenranta University of Technology
a PřF UP
11:00 – 11:30 Holeček, P.: Prezentace informačního systému pro hodnocení
akademických pracovníků IS HAP
11:30 – 12:00 Münsterová, E.: Informace o mezinárodním projektu QUESTE-SI
12:00 – 13:00 Přestávka na oběd
13:00 – 13:15 Šebková, H.: Informace o mezinárodním projektu IBAR
13:15 – 13:30 Roskovec, Vl.: Evropské standardy a směrnice a kvalita
akademických pracovníků
13:30 – 14:00 Diskuse k oběma příspěvkům
14:00 – 15:00 Panelová diskuse na téma „Kdo je dobrý vysokoškolský učitel“
(moderuje H. Šebková)
15:00
Závěr semináře
Seminář o hodnocení akademických pracovníků
Pracovní komise RVŠ pro kvalitu VŠ a její hodnocení
Centrum pro studium vysokého školství
PřF UP, Olomouc, 22.10.2012
Model hodnocení
akademických pracovníků
vytvořený na PřF UP
Jana Talašová, Jan Stoklasa
IPN KVALITA
Zajišťování a hodnocení kvality v systému terciálního
vzdělávání
Obsah
 Představení modelu vytvořeného na PřF UP
 Zkušenosti z pilotního testování tohoto modelu
 Srovnání s jinými zahraničními i tuzemskými modely
 Závěr
Představení modelu hodnocení
akademických pracovníků
vyvinutého na PřF UP
Historie vývoje modelu hodnocení AP

PřF UP (2006) - záměr vytvořit model pro hodnocení
akademických pracovníků (pedagogika a VaV)

Za tím účelem studováno:
• hodnocení kvality v terciárním vzdělávání (ESG),
• řízení lidských zdrojů obecně,
• existující modely rutinně používané v zahraničí (USA,
Kanada, Austrálie…) a později i modely vznikající v ČR.

Postupně navrženy 2 třídy matematických modelů hodnocení.

Pilotní testování finálního modelu na datech PřF UP (2009,
2010, 2011) a FIS VŠE (2011).

Od r. 2010 je pilotní testování systému součástí IPN Kvalita

PřF UP (2012) – IS HAP, SW implementace modelu hodnocení
Hledání jasně srozumitelného modelu

V první etapě (2006-2009) vytvořené matematické modely
hodnocení:
• agregace dílčích hodnocení v pedagogice a VaV pomocí
stále sofistikovanějších agregačních operátorů (WA,
OWA, WOWA),
• výsledné modely byly bohužel obtížně srozumitelné pro
hodnotitele i hodnocené akademické pracovníky.

Pro konečné řešení (od r. 2010) bylo použito jazykově
orientované fuzzy modelování – jazykové hodnotící škály,
jazykově definované báze hodnotících pravidel:
• navržený model byl jednoznačně podpořen AS PřF
(2010), vzhledem ke srozumitelnosti pro všechny
zainteresované.
Cíle modelu hodnocení
•
•
•
•
•
postihnout všechny typy aktivit akademických pracovníků,
využívat jen měřitelná a snadno ověřitelná data,
být snadno použitelný a dobře srozumitelný,
odrážet přínos akademického pracovníka pro fakultu,
akceptovat individuální zaměření akademických pracovníků
(víc na pedagogiku nebo víc na VaV),
• oceňovat excelentní výkon v každé ze dvou hodnocených
oblastí (pedagogika, VaV)
a celkově zajišťovat co nejlepší informační podporu v oblasti řízení
lidských zdrojů.
Základní charakteristika modelu

Cílem je periodické roční hodnocení výkonu akademických
pracovníků ve dvou hlavních oblastech:
– pedagogická činnost
– vědeckovýzkumná činnost

Rozdílné požadavky jsou kladeny na různé pracovní pozice:
‒ asistent, odborný asistent, docent, profesor
(doktorand, výzkumný pracovník, lektor)

Model rovněž zohledňuje:
– zatížení pracovníka akademickými funkcemi a
manažerskou činností
a počítá celkové vytížení akademického pracovníka.
Postup hodnocení - přehledně
1. Vyplnění aktivit a výsledků do dotazníku
2. Výpočet bodových hodnocení v pedagogice, VaV
3. Výpočet standardizovaných hodnocení (vzhledem k
pracovním pozicím) v pedagogice, VaV
4. Výpočet celkového hodnocení (pedagogika + VaV)
5. Výpočet celkového vytížení pracovníka
(celkové hodnocení + zatížení akad. funkcemi)
Hodnocené činnosti
1. Pedagogická oblast:
a) Pedagogická činnost spojená s výukou
b) Pedagogická činnost spojená s vedením studentů
c) Organizační činnost spojená s rozvojem studia
2. Vědeckovýzkumná oblast:
a) Bodované výsledky VaV
b) Další výstupy VaV
c) Organizační činnost spojená s VaV
3. Akademické funkce a manažerská činnost
Hodnocené činnosti - pedagogika
1a) Pedagogická činnost spojená s výukou:
–
–
–
–
–
–
–
–
–
Počet hodin přednášek (součet týdenních hodin za LS a ZS)
Počet hodin cvičení (součet týdenních hodin za LS a ZS)
Počet zkoušených studentů v daném roce
Počet udělených kolokvií
Počet udělených zápočtů
Počet zkoušených studentů u státních závěrečných zkoušek
Počet zkoušených studentů u státních doktorských zkoušek
Počet skript nebo e-lerningových studijních opor
…
Hodnocené činnosti - pedagogika
1b) Pedagogická činnost spojená s vedením studentů:
– Počet bakalářských/diplomových prací
– Počet oponentních posudků na bakalářské/diplomové
práce
– Počet doktorandů, kteří předložili disertačních práci k
obhajobě, počet ostatních vedených doktorandů
– Počet oponentních posudků na disertační práce
– Počet vedených prací SVOČ
– Počet oponentních posudků na práce SVOČ
– ….
Hodnocené činnosti - pedagogika
1c) Organizační činnost spojená s rozvojem studia:
–
–
–
–
–
–
–
–
–
Garant studijního oboru
Předseda rady doktorského studijního oboru
Příprava akreditace/reakreditace studijního oboru
Koordinátor projektu mezinárodní spolupráce (Erasmus …)
Koordinátor studentských praxí
Hlavní řešitel grantu organizačně-pedagogického charakteru
Organizátor soutěží SVOČ (O cenu děkana PřF…)
Organizátor středoškolských soutěží (olympiády, Klokan…)
Organizátor akcí sloužících k přímé propagaci studia
(Den otevřených dveří, Gaudeamus)
– …
Hodnocené činnosti – věda a výzkum
2a) Výsledky VaV započitatelné dle platné metodiky:
– Článek v impaktovaném časopise, v recenzovaném
časopise
– Odborná kniha
– Článek ve sborníku
– Patent
– Poloprovoz, ověřená technologie, odrůda, plemeno
– Prototyp, uplatněná metodika, funkční vzorek, autorizovaný
software, užitný a průmyslový vzor
– Výzkumná zpráva, která je výsledkem obsahujícím
utajované informace
Hodnocené činnosti – věda a výzkum
2b) Další výstupy VaV:
– Článek v recenzovaném časopise nebo recenzovaném
sborníku nespadající do hodnocení v rámci bodu 2a) s
přiměřeně nižším bodovým hodnocením
– Zvaná přednáška na mezinárodní nebo tuzemské konferenci
– Příspěvek na mezinárodní nebo tuzemské konferenci
– Zvaná přednáška na zahraniční nebo tuzemské univerzitě
– Recenze článku do impaktovaného/neimpaktovaného
časopisu nebo sborníku, recenze knihy
– Oponentní posudek habilitační práce
– Oponentní posudek přihlášky grantového projektu/závěrečné
zprávy grantového projektu
– …
Hodnocené činnosti – věda a výzkum
2c) Organizační činnosti související s VaV:
–
–
–
–
–
Hlavní řešitel /člen týmu grantu výzkumného charakteru
Člen výboru mezinárodní/národní vědecké společnosti
Člen organizačního výboru mezinárodní/národní konference
Šéfredaktor/člen redakční rady odborného časopisu
Popularizace vědního oboru na středních školách (vedení
prací SOČ, Badatel, Otevřená věda atp.)
– Popularizace vědního oboru v médiích a na veřejných
akcích
– …
Akademické funkce a manažerská činnost
 Zohlednění časového zatížení akademického
pracovníka vykonávajícího následující funkce:
–
–
–
–
–
–
–
–
–
–
rektor, děkan
prorektor, proděkan
předseda akademického senátu UP, PřF UP
člen akademického senátu UP, PřF UP
zástupce v Radě vysokých škol
zástupce PřF UP a UP v dalších institucích a výborech
(FRVŠ,…)
předseda VPRO
vedoucí katedry
tajemník katedry
….
Výpočet bodového hodnocení
pro každou oblast hodnocení

Akademický pracovník v dané pracovní pozici zadá kvantitativní
údaje o svých činnostech v dané oblasti hodnocení
např. počty týdenních hodin přednášek v LS a ZS

Pro jednotku každé z činností je stanoveno bodové hodnocení
dle relativní časové náročnosti a důležitosti této aktivity v
rámci dané skupiny činností
např. výuka nového předmětu je 2x náročnější než rutinní výuka.

Bodová hodnocení pracovníka za danou skupinu činností se
sečtou.
Výpočet standardizovaných hodnocení
pro danou oblast a pracovní pozici

Standardizovaná hodnocení h1,h2 akademického pracovníka v
pedagogice a VaV představují násobky standardu určeného
pro danou oblast hodnocení a danou pracovní pozici:
hi 
bi,j
bi,jst
, i  1,2, j  1,2,3,4
kde:
bi,j ..... dosažené bodové hodnocení akademického pracovníka
na j-té pozici (1=asistent, 2=odb.asistent, 3=docent, 4=profesor)
v i-té oblasti hodnocení (1=pedagogika, 2=výzkum),
bi,jst ... standardní bodové hodnocení pro i-tou oblast a j-tou pozici.
Výpočet celkového hodnocení v pedagogice+VaV
- jazykové fuzzy škály pro vstupní proměnné

Jazyková fuzzy škála první vstupní proměnné:

Jazyková fuzzy škála druhé vstupní proměnné:
Výpočet celkového hodnocení v pedagogice+VaV
- jazykově zadaná agregační funkce

Báze fuzzy pravidel:
Vědeckovýzkumná činnost – výkon pracovníka
Celkový výkon pracovníka
v pedagogice a VaV
Pedagogická
činnost
– výkon
pracovníka
Velmi nízký
Nízký
Standardní
Vysoký
Extrémní
Velmi
nízký
Nevyhovující
Nevyhovující
Substandardní
Standardní
Velmi dobrý
Nízký
Nevyhovující
Nevyhovující
Substandardní
Velmi dobrý
Vynikající
Substandardní
Substandardní
Standardní
Velmi dobrý
Vynikající
Vysoký
Standardní
Velmi dobrý
Velmi dobrý
Vynikající
Vynikající
Extrémní
Velmi dobrý
Vynikající
Vynikající
Vynikající
Vynikající
Standardní
Výpočet celkového hodnocení v pedagogice+VaV
- inferenční algoritmus Sugeno-Yasukawa

Výsledná agregační hodnotící funkce H=f(h1,h2):
Výpočet celkového hodnocení v pedagogice+VaV
- jazyková interpretace výsledku

Jazyková fuzzy škála výstupní proměnné:

Vypočtené hodnocení H je interpretováno jazykově:
Je-li např. H=1,6, tj. VD(H)=0,8 a V(H)=0,2, pak celkové hodnocení je
z 80% velmi dobré a z 20% vynikající.
Výpočet celkového vytížení pracovníka - analogicky
Celkové vytížení pracovníka
Téměř žádné
Menší
Výrazné
Extrémní
Velmi nízké
Nízké
Standardní
Extrémní
Nízké
Standardní
Vysoké
Extrémní
Standardní
Standardní
Vysoké
Extrémní
Extrémní
Velmi dobrý
Vysoké
Extrémní
Extrémní
Extrémní
Extrémní
Extrémní
Extrémní
Extrémní
Nevyhovující
Celkový
výkon
pracovníka
ve výuce,
vědě a
výzkumu
Zatížení pracovníka akademickými funkcemi a manažerskou činností
Substandardní
Vynikající
Ukázka hodnocení akademického pracovníka
v IS HAP
Zkušenosti z pilotního testování
modelu hodnocení
akademických pracovníků
Testování modelu hodnocení
 Přírodovědecká fakulta UP v Olomouci:
 2010 – Katedra experimentální fyziky
 2011 – 14 kateder a pracovišť
 2012 – 10 vybraných kateder (po dvou z každého oboru)

Získané zkušenosti:
 Vítáno uložení všech informací o činnosti akademického
pracovníka na jednom formuláři
 Vyhovuje jednotná struktura činností napříč obory
 Vyhovují jednotné standardy pro všechny obory fakulty
 Požadovány byly datové pumpy z jiných systémů (STAG,…) a
uživatelský komfort
nutnost implementace modelu v podobě
klasického informačního systému
IS HAP
Oponentura modelu hodnocení a IS HAP

Realizace oponentury zadaná děkanem PřF:
duben - květen 2012

Oponenti:
 Celková filozofie hodnocení a matematický model:
prof. Ramík (OPF SU Opava)
 Softwarové řešení, IS HAP:
Katedra informatiky PřF UP

Výsledky oponentury:
jednoznačně pozitivní

Rozhodnutí děkana PřF UP:
od r. 2012 rutinní využívání IS HAP na PřF UP
Testování modelu hodnocení
 Fakulta informatiky a statistiky VŠE Praha:
 2012 – testování v rámci celé fakulty

Získané zkušenosti:
 Vyhovuje struktura hodnocených činností
(minimální úpravy).
 Nastavením parametrů modelu je možné model přizpůsobit
fakultě s velmi odlišným typem studijních oborů.
 Do systému lze relativně snadno zapracovat speciální
požadavky uživatele
(zde specifický model hodnocení publikační činnosti).
Ohlasy modelu hodnocení a IS HAPu

Zájem z českých VŠ:
 Jihočeská univerzita
 Vysoká škola finanční a správní
 UJEP v Ústí nad Labem
 Technická univerzita v Liberci
 Masarykova univerzita
Systém hodnocení je třeba začlenit do různorodých informačních
systémů univerzit, IS HAP je k tomu dobře připraven.
 Ohlas ze zahraničí:
 Slovensko - UKF v Nitře
 Finsko – univerzity v Turku a Lappeenrantě
 Itálie – univerzity v Trentu a Benátkách
Zájem o společný výzkum v oblasti modelů hodnocení
akademických pracovníků.
Srovnání se zahraničními a
tuzemskými modely
Analyzované zahraniční modely
 Texas A&M University, Kingsville, USA,
 University of Wisconsin, Oshkosh, USA
 University of Technology, Sydney, Austrálie
 Flinders University, Adelaide, Jižní Austrálie
 Wayne State University, Detroit, Kanada
Společné rysy modelů:
 Výrazná role hodnotitelů
(vedoucí pracovníci nebo profesionální hodnotitelé)
 Uplatnění poznatků z teorie řízení lidských zdrojů
 Není přímá vazba na finance
Analyzované tuzemské modely
 Masarykova univerzita v Brně
Právnická fakulta
 Univerzita Tomáše Bati ve Zlíně
Fakulta aplikované informatiky
 UJEP v Ústí nad Labem
Fakulta životního prostředí
 Univerzita Pardubice
Dopravní fakulta
Společné rysy modelů:
 Snaha eliminovat subjektivní vliv hodnotitele
 Bodování činností, popř. převedení na hodiny a dělení
fondu pracovní doby mezi jednotlivé oblasti
 Snaha o přímou vazbu na finanční ohodnocení
Závěr
Přednosti navrženého modelu hodnocení

IS HAP slouží informační podpoře řízení lidských zdrojů v
akademickém prostředí.

Využití nástrojů jazykově orientovaného fuzzy modelování
zaručuje dobrou srozumitelnost modelu hodnocení i jeho
výstupů jak pro hodnotitele, tak hodnocené (verbální popisy).

Model hodnocení je možné pomocí volitelných parametrů
nastavit na podmínky vysokých škol velmi rozdílného typu,
přizpůsobit jej různým cílům řízení.

IS HAP je zpracován tak, aby jej bylo možné dobře napojit na
jiné informační systémy.
Děkuji za pozornost
Kontakty:
doc. RNDr. Jana Talašová, CSc.
e-mail: [email protected]
Mgr. et Mgr. Jan Stoklasa
e-mail: [email protected]
Literatura
1. Torra, V., Narukawa, Y.: Modeling Decisions. Springer, Heidelberg, 2007,
ISBN 978-3-540-68789-4
2. Sugeno, M. & Yasukawa, T.: A fuzzy-logic-based approach to qualitative
modeling. IEEE Transactions on fuzzy systems, 1 (1), 1993, pp. 7-31.
3. Stoklasa, J., Talašová, J., Holeček, P: Academic staff performance
evaluation – variants of models. Acta Polytechnica Hungarica 8 (3),
2011, pp. 91 – 111.
Download

Prezentace-Talasova - Rada vysokých škol