Měření měkkých dovedností u žáků v metodice Skills Builder

Akcelerátor navazuje na úspěšný pilot metodiky v ČR (viz Netík a Havrdová, 2024). Od dřívější dopadové evaluace, která pozitivní vliv metodiky prokázala, jsme se nyní přesunuli k tzv. monitoringu. Ten si již neklade za cíl vynášet soudy o tom, zda program plošně funguje, ale zjišťuje, do jaké míry se posouvají konkrétní žáci. Jde o zpětnou vazbu pro metodiku i pro jednotlivé školy.

Ve zmíněné dopadové evaluaci prvotní implementace metodiky v ČR jsme pro měření využili širokou řadu standardizovaných nástrojů. Některé byly jednoduššího screeningového rázu, některé cílily na komplexní psychologické konstrukty, u kterých však v kaskádě očekávaných změn předpokládáme změnu až v dlouhodobějším horizontu. Vyučující se totiž musejí s metodikou nejprve důkladně seznámit a postupně ji zahrnout do běžného vyučování. Až tehdy, když si je pedagog vlastní prací s metodikou jistý a využívá ji naplno (ideálně se zbytkem učitelského sboru), lze v těchto konstruktech u žáků rozumně očekávat hlubší efekt. Jelikož ale pro pravidelný monitoring potřebujeme vidět i dílčí a průběžné pokroky, hledali jsme jednodušší nástroj, který by bezprostředněji sledoval dovednosti přímo rozvíjené samotnou metodikou.

Ani mezi odborníky v oblasti psychometrie – oboru, který se měření přímo nepozorovatelných konstruktů věnuje – nepanuje shoda na tom, jak přesně se k měření dovedností postavit. Existuje naopak jasný konsenzus v tom, že jde o úkol nesrovnatelně obtížnější než např. posuzování matematické gramotnosti (Linzarini a da Silva, 2024).

Jedním z hlavních důvodů je fakt, že měkké dovednosti nejsou monolitickým konceptem. V ideálním případě by tak pro posouzení každé z osmi dovedností metodiky bylo nutné využít specifický nástroj. Pro některé oblasti takové výkonové (objektivní) testy existují – k posuzování či se nabízí sociometrické šetření nebo systematické pozorování, k hodnocení plánování testy tzv. exekutivních funkcí a pro zjišťování kreativity bychom mohli použít např. Urbanův figurální test (Urban a kol., 2003).

Využít ale celou sadu těchto specializovaných metod je pro pravidelný monitoring byť jen několika málo desítek škol v praxi nemyslitelné. Jejich administrace by byla organizačně neúnosná a vyžadovala by i přítomnost zkušeného psychologa. Z toho důvodu jsme pro všech osm dovedností potřebovali najít jednu sjednocenou a časově úspornější metodu.

Skills Builder Benchmark je sebeposuzovací nástroj,¹⁾ který svými jednotlivými položkami navazuje na cíle, jazyk a konkrétní aspekty metodiky a je organizován podle dovedností přesně tak, jak je metodika definuje. Každá z dovedností je posuzována skrze 16 položek, které mají vzestupnou „obtížnost“ a reprezentují tak postupné „kroky“ v dané dovednosti. Příkladem položky hodnotící dovednost naslouchat je „Dokážu naslouchat spolužákům a ptát se na to, co jsem slyšel”, kterou žák posuzuje na pětibodové Likertově stupnici.

V rámci monitoringu opřeného o Benchmark probíhají tři měření ročně napříč školou, tzn. i ve třídách pedagogů, kteří metodiku nevyužívají. Po každé vlně obdrží každá škola individualizovaný report, kde může pozorovat stav a vývoj dovednosti svých žáků naslouchat, a to jak na úrovni celé školy, tak i detailně po jednotlivých třídách (v anonymizované podobě).

Výsledky nicméně analyzujeme i v souhrnné podobě a dáváme je do souvislosti např. s učitelskými daty (ta budou předmětem zvláštního článku). Zejména nás zajímá, jak se výsledky liší podle míry využívání metodiky pedagogy a zda se potvrzuje, že vyšší intenzita souvisí s lepšími výsledky, jak bychom očekávali. Na tuto otázku odpovídá následující graf, kde shrnujeme 2 840 pozorování v 15 školách, které do různé míry metodiku implementují. Z grafu je patrné, že v prvních čtyřech měřeních jsou rozdíly v naslouchání mezi žáky spíše malé. Pokud se však zaměříme na skupinu škol, kde učitelé metodiku využívali nejvíce (modrá čára), vidíme v posledním měření obrat. Tito žáci v průměru dopadají nejlépe, přestože na úplném začátku startovali s nejslabšími hodnotami.

Skills Builder Benchmark se tedy jeví jako praktické řešení pro průběžné sledování měkkých dovedností. Dokládají to i první data, která ukazují, že systematická a intenzivní práce s metodikou přináší pozorovatelné změny u žáků.