Jak objektivně vyhodnotit, zda konkrétní metodika či program ve škole funguje? Základem je kvalitní evaluace

Vydáno: 11 minut čtení

SCHOLA EMPIRICA, z. s., přináší a adaptuje do prostředí českých škol empiricky ověřené metodiky ze zahraničí. Učitelé v mateřských školách testují metodiku Dobrý začátek rozvíjející socio-emoční dovednosti dětí, pedagogové v základních školách pak zkoušejí, zda se i u nás osvědčuje program prevence šikany KiVa a metodika posilující osm měkkých dovedností Skills Builder. To, jestli jsou tyto metodiky úspěšné a vhodné pro české prostředí, sledujeme již druhým rokem pomocí evaluace. Jak taková evaluace vypadá a proč je tolik důležitá? Na následujících řádcích vás necháme nahlédnout pod pokličku evaluací metodik Dobrý začátek a Skills Builder.

Jak objektivně vyhodnotit, zda konkrétní metodika či program ve škole funguje? Základem je kvalitní evaluace
Elge
Havrdová
Ph.D.
ředitelka organizace a garantka metodiky Dobrý začátek, Schola Empirica, z. s.
Bc.
Jan
Netík
evaluátor, Schola Empirica, z. s.
Mgr.
Kateřina
Šafářová
evaluátorka, Schola Empirica, z. s.
Cílem metodik Dobrý začátek a Skills Builder je podpořit učitele v rozvoji socio-emočních a měkkých dovedností svých žáků. S jednotlivými tématy metodiky Skills Builder (mezi něž patří např. schopnost naslouchat, kreativní myšlení či týmová práce) jste měli možnost se důkladněji seznámit mj. v předchozích číslech časopisu
Školní poradenství v praxi
; metodiku Dobrý začátek a Skills Builder blíže představuje také článek v minulém čísle (6/2022, s. 16). Nebudeme zde proto představovat jejich principy, ale soustředíme se čistě na evaluaci.
Evaluace
Evaluací ve vzdělávacím kontextu myslíme systematické posouzení a vyhodnocení určité metodiky, programu nebo postupu. V našem pojetí má blízko k vědeckému výzkumu, jehož standardům se snažíme co nejvíce přiblížit. Evaluace má
dvě základní roviny
dopadovou 
a
procesní
.
Pro zhodnocení úspěšnosti implementace metodik či programů je vhodné obě kombinovat.
U metodik Dobrý začátek a Skills Builder je u
evaluace dopadu
cílem prokázat, že intervence (tedy práce přesně podle těchto metodik) způsobila rozdíl v úrovni dovedností žáků. Abychom mohli vyhodnotit efekt metodik, sledujeme v rámci projektu také školy a třídy, v nichž s metodikami Dobrý začátek či Skills Builder nepracují – tyto školy tvoří takzvanou kontrolní (resp. srovnávací) skupinu. V ideálním případě bychom školy do těchto skupin přiřazovali náhodně (viz obrázek č. 1), aby se na počátku v žádném ohledu systematicky nelišily a aby tak jediným rozdílem bylo to, zda pracují s metodikou, či nikoliv. V našem oboru je to ale jen málokdy možné, a tak odlišnosti škol bereme v potaz při analýze. Celkem je do evaluace zapojeno více než 30 škol z Prahy a Středočeského kraje, z nichž přibližně polovina tvoří
intervenční skupinu
a druhá
skupinu kontrolní
. Dopadová evaluace tedy odpovídá na otázku, zda v intervenčních školách došlo v důsledku práce s metodikami k výraznějšímu růstu socio-emočních a měkkých dovedností dětí než ve třídách, v nichž s těmito metodikami nepracují. Tyto školy jsou na tzv. čekací listině a po skončení projektu jim stejnou intervenci nabídneme.
Obrázek č. 1: Schéma ideálního výzkumného designu s intervenční a kontrolní skupinou
Pro evaluaci dopadu používáme standardizované dotazníky (v mateřských školách a v prvních třech třídách základních škol vyplňují dotazník pedagogové, žáci 4.–9. tříd ZŠ vyplňují dotazník sami za sebe).
Podle původního evaluačního plánu měly školy během školních let 2020/21 a 2021/22 vyplnit dotazníky vždy dvakrát za školní rok (v listopadu a v květnu). V prvním z uvedených školních roků to však nebylo kvůli pandemii covid-19 možné, a museli jsme proto přistoupit ke kontinuálnímu sběru dat podle reálných možností respondentů – školy vyplňovaly dotazníky podle toho, jak to omezující okolnosti dovolily. Komplikované bylo také shánění informovaných souhlasů od zákonných zástupců žáků, které jsou pro evaluaci nezbytné jak z právních, tak etických důvodů.
Druhou rovinou naší
evaluace
je rovina
procesní
. V té se zaměřujeme na okolnosti, které dotazníky dobře nezachytíme. Smyslem je jednak sledovat průběh, věrnost a kvalitu implementace (
implementation fidelity
) metodik, jednak získávat zpětnou vazbu od zapojených aktérů s cílem učit se a zlepšovat samotný model intervence.
Jako nástroje pro evaluaci procesu používáme z kvalitativních metod pravidelné konzultace týmu zapojeného do implementace intervence (Schola Empirica + ředitelé škol a školek), hospitace ve výuce a evaluační fokusní skupiny s učiteli a učitelkami v podpořených ZŠ a MŠ. Do procesního hodnoceni jsou zapojení i rodiče: pomocí dotazníku sledujeme, jak velký posun svého dítěte v socio-emočních či měkkých dovednostech rodiče vnímají a zda mají povědomí o tom, že jejich škola pracuje s danou metodikou.
V závislosti na použitých metodách sběru dat, lze
evaluaci
dělit také na
kvantitativní
či
kvalitativní
. V rámci evaluace metodik Dobrý začátek a Skills Builder je kombinujeme, protože chceme vytěžit přednosti obou výzkumných přístupů.
Kvantitativní část evaluace
V rámci kvantitativní evaluace, jejímž cílem je přinést „tvrdá data“, sledujeme u skupin dětí stav a vývoj hned v několika oblastech souvisejících s měkkými dovednostmi či s tématy, která zkoumané metodiky přímo rozvíjí. Pro měření daných oblastí používáme v zahraničí standardizované dotazníky, u nichž máme určitou jistotu, že o úrovni dovedností vypovídají spolehlivě a přesně. Nástroje bez české mutace jsme před použitím adaptovali běžným postupem (několikakolový zpětný překlad) a validovali na českém vzorku; publikace připravujeme. Konkrétní nástroje a sledované oblasti přibližujeme dále. Upozorňujeme, že zmiňované metody využité ve výzkumu nemusí být validní pro individuální diagnostiku konkrétních dětí, kde pracujeme s normami a kde je často nezbytné posoudit například tzv. sociální desirabilitu výpovědi.
Použité měřící nástroje
Self-Efficacy Questionnaire for Children
(SE; Muris, 2001; zkrácená verze)
Tento konstrukt se do češtiny někdy překládá jako „vnímaná vlastní účinnost“
 
a je velmi blízký pojmu „sebevědomí“. Na rozdíl od sebevědomí se však SE nezabývá globálním hodnocením sebe sama, ale vnímáním a důvěrou ve svou vlastní schopnost zvládat konkrétní situace, výzvy či úkoly. Jde o přesvědčení dítěte, že něco úspěšně zvládne. Pro naše účely jsme vybrali inventář posuzující tři oblasti SE:
*
sociální (např. „Jak se ti daří udržet si kamarády?“)
*
emoční (např. „Jak se ti daří zlepšit si náladu, když se ti stane něco nepříjemného?“)
*
akademickou (např. „Jak se ti daří soustředit se na učení, když je kolem spousta jiných zajímavějších věcí?“)
Locus of Control Scale
(LoC; Suarez-Alvarez a kol., 2016)
Jde o psychologický konstrukt vyjadřující přesvědčení člověka o své schopnosti kontrolovat, řídit či mít vliv na události ve svém životě. Má dva póly: interní („To, co mám, získávám vlastním úsilím/snahou.“) a externí („Budoucnost je předem daná.“).
Strengths and Difficulties Questionnaire
(SDQ; Goodman, 1997)
SDQ je stručný screening problémů v socio-emoční oblasti a pozitivního prosociálního chování. Pro MŠ a první tři třídy ZŠ používáme verzi hodnocenou pedagogem, pro starší žákyně/žáky pak sebeposuzovací verzi. SDQ postihuje pět dimenzí, z nichž první čtyři jsou negativní a pátá pozitivní (v ní je tedy jako u jediné žádoucí vyšší skóre):
*
emocionální symptomy (např. „Mám mnoho obav, snadno se vystraším.“)
*
hyperaktivita (např. „Jsem neklidný/á, nevydržím dlouho bez hnutí.“)
*
problémové chování (např. „Často se naštvu a ztrácím nervy.“)
*
problémy s vrstevníky (např. „Děti nebo mladí lidé si mě dobírají nebo mě šikanují.“)
*
prosociální chování (např. „Jsem laskavý/á k mladším dětem.“)
Dále jsme do kvantitativní evaluace zahrnuli několik menších škál postihujících vybrané proměnné, na které metodiky implementované projektem také cílí. Škály jsou z mezinárodního šetření PISA 2018.
*
motivace k úspěchu – zejm. akademickému, ambicióznost
*
řešení problémů – vnímání dovednosti řešit problémy různého charakteru
*
resilience – psychická odolnost, schopnost čelit nepříznivým situacím, zvládat je a překonávat je
Kvalitativní část evaluace
Díky kvalitativní evaluaci můžeme hlouběji porozumět očekáváním a potřebám klíčových aktérů v implementaci metodik. V květnu 2021 proběhly s učiteli mateřských i základních škol skupinové rozhovory (takzvané fokusní skupiny) zaměřené na jejich počáteční zkušenosti s metodikou, kterou ověřují. Zjišťovali jsme také, na jaké části metodik se chtějí zaměřovat přednostně nebo do jaké míry spolupracují na implementaci metodik s kolegy. Kvůli pandemii covid-19 proběhly fokusní skupiny online formou videohovorů.
Učitelé základních škol pracující s metodikou Skills Builder se i po poměrně krátkém čase využívání metodiky shodovali, že jim pomáhá oblast měkkých dovedností lépe uchopit a systematizovat a zároveň jí dodává důležitost: stává se z ní svébytné téma.
Jako dovednosti, které chtěli přednostně rozvíjet, zmiňovali následující (seřazeno dle četnosti uvádění):
*
komunikace
*
pozitivní nastavení
*
schopnost naslouchat
*
týmová práce
*
kreativita
*
cílevědomost
*
prezentační dovednosti
*
představivost
Učitelé mateřských škol pracující s metodikou Dobrý začátek uváděli mezi sociálními a emočními dovednosti, které by podle jejich názoru měla školka u dětí rozvíjet, nejčastěji:
*
poznat a uvědomit si sama sebe a naučit se emoce pojmenovávat
*
naučit se ovládat vztek, zvládat emoce
*
umět se vcítit do pocitu druhých, naučit se s druhými vycházet (především v kolektivu mezi dětmi, ale příp. i směrem k dospělým)
*
naučit se říkat „Ne“, hlídat si svůj prostor
*
komunikovat
*
dodržovat pravidla
Nejvíce se chtěli v rámci sociálních a emočních dovedností zaměřovat na rozvoj:
*
ohleduplnosti
*
sebeuvědomění, poznání sama sebe
*
pojmenování emocí a schopnosti pracovat se základními emocemi (vztek, agrese, smutek, frustrace…), tzn. jak na emoce reagovat
*
sebereflexe
*
práce s chybou (mj. „Nedělají je jen ostatní, i já.“)
*
kamarádství (+ neprat se)
*
citlivosti
*
asertivity, prosazování názorů
Kvalitativní evaluace poskytuje zpětnou vazbu o změnách v terénu přímo od učitelů, kteří s metodikami pracují. Například jedna z respondentek uvedla, že se u nich poté, co začali pracovat s metodikou, začalo o emocích více hovořit: „Děti se učí pojmenovávat své emoce a zjišťují, že není za co se stydět. Vše se dá vysvětlit, více si povídáme o emocích. Děti jsou pak otevřenější, dokážou říct i věci, které pro ně byly problém.“
Další poukazovala na změnu v kolektivu: „Za mě ten Dobrý začátek školku stmelil a sjednotil. Máme metodiku a víme, že všichni chceme takto pracovat.“
Další učitelé z mateřských škol uvedli, že se jim už díky prací s metodikou Dobrý začátek podařilo dosáhnout posunu také v:
*
nahlížení na možná řešení složitých situací (jde to i jinak než hádkou a praním se)
*
zvědomění a systematizaci přístupu k práci se socio-emočními dovednostmi na úrovni pedagogů
Vyhodnocení výsledků
Další fokusní skupiny s učiteli proběhnou po skončení fáze ověřování metodik, která poběží do června 2023. Na nich by již všichni zapojení pedagogové měli mít bohaté zkušenosti s implementací dané metodiky, s reakcemi žáků, kolegů a také rodičů, a bude tedy možné z hlediska evaluace zmapovat jejich posun. Stejně tak až ve druhé polovině roku 2023 bude možné vyhodnotit změny v kvantitativní evaluaci a vyčíslit efekt intervence. Určitě budeme rádi tyto výstupy sdílet.
Hmatatelné přínosy má však evaluace už nyní. Přinesla učitelům i rodičům zpětnou vazbu k tomu, jak si děti v socio-emočních a měkkých dovednostech vedou, a motivovala je k jejich dalšímu rozvoji.
Projekt Zavedení a ověření metodiky rozvoje socio-emočních dovedností v MŠ a ZŠ je financován z Evropského sociálního fondu pod reg. č.: CZ.02.3.68/0.0/0.0/19_076/0016373.
ZDROJE
*
GOODMAN, R. The Strengths and Difficulties Questionnaire: a research note.
Journal of child psychology and psychiatry
, 1997, roč. 38, č. 5, s. 581–586.
*
MURIS, P. A brief questionnaire for measuring self-efficacy in youths.
Journal of Psychopathology and behavioral Assessment
, 2001, roč. 23, č. 3
,
s. 145–149.
*
PISA 2018 Assessment and Analytical Framework.
Paris: PISA, OECD Publishing, 2019. Dostupné z: https://doi.org/10.1787/b25efab8-en.
*
SUÁREZ-ÁLVAREZ, J. a kol. Locus of control revisited: development of a new bi-dimensional measure.
Anales de Psicología/Annals of Psychology
, 2016, roč. 32, č. 2, s. 578–586.