Jací budou maturanti 2016?

Leckterý analytik se během své profesionální kariéry již setkal s požadavkem „máme nějaká data a potřebujeme z nich vytáhnout něco zajímavého“. Představa, že zkušený statistik dokáže libovolná data proměnit v atraktivní analytickou zprávu, je bohužel stejně tak rozšířená jako naivní a falešná. Ani velké množství údajů sebraných na reprezentativním vzorku totiž samo o sobě k cíli nevede. Stejně důležité je mít jasný výzkumný záměr, případně připravený datový model.

To platí zejména pro konstrukci předpovědí. Abychom získali věrohodnou předpověď, není vždy nezbytné disponovat mnoha údaji, podstatný je dobře fungující předpovědní model. Například pro úspěšnou krátkodobou předpověď přechodu studené fronty postačuje pozorování nízko létajících vlaštovek a model spojující chování hmyzu s poklesem atmosférického tlaku.

Tento článek ukazuje, že lze pomocí jednoduché konstrukce odhadnout pro skupinu žáků jejich úspěšnost v testech výsledků vzdělávání od současnosti za tři roky. Postačují k tomu údaje ze středoškolského testování Vektor, konkrétně z testování 1. a 4. ročníků na podzim 2009 a 2012, a aplikace dvou statistických metod: tzv. item (IRT) a lineární regrese. Kvůli omezené reprezentativitě vzorku nelze sice vztahovat předpověď na celou populaci středoškoláků, nicméně u gymnázií je zobecnění možné.

Projekt Vektor nabízí již od roku 2005 středním školám možnost zadat svým žákům srovnávací testy v 1. a 4. (v dřívějších letech ve 3.) ročníku, a to z českého jazyka, matematiky, anglického jazyka i z několika dalších všeobecně vzdělávacích předmětů. Součástí balíčku testů je i test (OSP). Pokud žák absolvuje vstupní testování na začátku středoškolské docházky i výstupní testování před jejím koncem, získá informaci, jak se ve kterém předmětu (případně v OSP) mezi ostatními žáky posunul v pořadí – tzv. relativní posun. Testy v 1. ročníku a o tři roky později ve 4. ročníku jsou tedy propojeny přes stejné účastníky. Pro účely tohoto článku jsou důležitá testování v letech 2009 a 2012.

Testování bylo pro školy dobrovolné, počty účastníků se tedy mohly v každém roce i značně lišit. Rozdílné mohlo být (a také bylo) i složení účastníků podle typu středoškolského oboru (pro zjednodušení budeme užívat termín „typ školy“). Projektu Vektor se účastní především víceletá a čtyřletá gymnázia, naopak účast žáků ze SOU je mizivá.

Zastoupení žáků ve vzorku účastníků SOŠ bylo v roce 2009 přibližně stejné jako gymnazistů, v roce 2012 byla účast SOŠ oproti gymnáziím již jen poloviční. Z toho mimo jiné vyplývá, že výsledky je třeba prezentovat s ohledem na nestejné složení vzorku.

Každoročně obsahovaly testy projektu Vektor novou sadu úloh. Pro podzim 2012 však byly jak ve vstupním, tak ve výstupním testování připraveny testy obsahující několik úloh již použitých před třemi roky, tj. na podzim 2009. Opakování úloh právě po třech letech nebylo stanoveno náhodně, jde o stejný časový odstup jako mezi vstupním a výstupním testováním.

Školy na opětné zařazení několika stejných úloh nebyly předem upozorněny, a proto lze předpokládat, že účastníkům testování – snad až na zcela ojedinělé výjimky – tyto úlohy nebyly předem známy a při řešení tedy nebyli nijak zvýhodněni. Testy ve stejných ročnících mezi roky 2009 a 2012 tedy byly propojeny přes některé (tzv. kotvicí) úlohy.

Mají-li dva testy některé úlohy společné, je možné přepočítat jejich výsledky na společnou škálu (pro tento postup, zvlášť pokud to jsou testy administrované současně nebo v nevelkém časovém odstupu, se používá pojem harmonizace).

V každé testové doméně (předmětu, resp. testu OSP) tak vznikl propojený řetězec testů pro 1. a 4. ročníky v letech 2009 a 2012. Zabývali jsme se však pouze testy z českého jazyka, matematiky, anglického jazyka a OSP, neboť ostatní testy měly příliš nízký počet účastníků. Právě dostatečně velké vzorky jsou nezbytné k tomu, aby každé propojení testů bylo patřičně přesné i na menším počtu úloh.

Nyní si ukážeme, jaké průměrné hodnoty očekávaných výsledků výstupního testování v jednotlivých doménách vyšly a jaké jsou ve srovnání s průměrnými hodnotami v letech 2009 a 2012.

Pokles výsledků testu obecných studijních předpokladů a následný nárůst je číselně nižší než u angličtiny či matematiky. Přesto se jedná o statisticky významnou změnu. Je významná i v souvislosti s tím, že obecné studijní předpoklady jsou velmi stabilní dovednost, na jejíž rozvoj má škola i mimoškolní aktivity podstatně nižší vliv než na dovednosti v matematice, českém jazyce či angličtině. Jediným typem školy, kde obecné studijní předpoklady neklesají, jsou víceletá gymnázia.

Na všech typech škol se výsledky v angličtině mezi roky 2009 a 2012 zlepšily a model předpovídá, že k dalšímu zlepšení dojde i za tři roky. U angličtiny je zřejmé, že na její lepší úrovni se nepodílejí zdaleka jen školy, ale s vysokou pravděpodobností také znalosti a dovednosti získané mimo školu. Jako u jediné z uvažovaných domén totiž není zlepšení výsledků v angličtině vázáno na typ školy.

Další ze všeobecně vzdělávacích předmětů – český jazyk – nabízí ve srovnání výsledků testů 2009 a 2012 optimistický obrázek, aspoň pokud jde o gymnázia. Jelikož jde o povinný maturitní předmět, je možné, že lepší výsledky současných maturantů jsou i odrazem obav z výsledku u státní maturity. Výhled na rok 2015 ovšem žádné další zlepšování nepředpokládá, ani na víceletých gymnáziích nepůjde patrně o statisticky významný rozdíl.

Úroveň výsledků z matematiky i na relativně nejlepších víceletých gymnáziích stagnuje a u ostatních typů SŠ se snižuje. Trend bude zřejmě pokračovat, matematický model naznačuje, že na podzim 2015 dosáhnou účastníci výstupního testu v matematice ještě horších výsledků než účastníci výstupního testování na podzim 2012.

Jak se ukazuje, každá testovaná doména vykazuje – při zahrnutí předpovězených hodnot – specifický trend, který přitom vcelku odpovídá očekávání či empirickým poznatkům.

Nabízí se porovnání vývoje v matematice a angličtině, a to z hlediska obliby předmětu. Dřívější mezinárodní šetření i zjištění společnosti Scio opakovaně poukazují na neoblíbenost matematiky. Zhoršování výsledků s tím může souviset. To je v přímém protikladu s angličtinou, která je naopak považována za oblíbený předmět. Vývoj výsledků v testu OSP může odrážet vývoj výsledků mezinárodního šetření PISA. To u patnáctiletých žáků ČR v roce 2009 zaznamenalo zhoršení oproti roku 2006, což je v souladu se zhoršením žáků 4. ročníků SŠ ve školním roce 2012/13 oproti stejně starým žákům ve školním roce 2009/10.

U každého šetření, které není založeno na striktně náhodném výběru nebo nedosahuje reprezentativity vzorku jiným způsobem, vyvstává otázka, zda vůbec lze jeho závěry korektně zobecnit na celou populaci či na některou její část. Se stejným problémem se potýká i předmět tohoto článku. Počet gymnazistů je ve všech testech i v obou sledovaných rocích vysoký a počet zúčastněných škol s gymnazijními obory převyšuje stovku, což přibližně odpovídá nejméně třetině z celkového počtu gymnázií. Navíc účastnické školy pocházejí ze všech krajů ČR a účastní se opakovaně, tudíž lze důvodně předpokládat, že trend vypozorovaný na nich platí i pro ostatní gymnázia.

Naopak zastoupení středních odborných škol je poměrně malé a velkou diverzitu oborů (a tomu odpovídající diverzitu dovedností jejich žáků) nemůže reprezentovat dostatečně. Tudíž závěry týkající se SOŠ je třeba brát spíš jako orientační. O středních odborných učilištích pak není možné obecně tvrdit na základě testování Vektor nic určitého.

Předpovědi prezentované v tomto článku přirozeně mohou selhat, pokud nebude správně fungovat předpovědní model. Ten totiž předpokládá určitý vztah mezi dovednostmi žáka v 1. a 4. ročníku, určitý vývoj během docházky do střední školy, a ten může u současných žáků 1. ročníku SŠ probíhat jinak, pokud se například podmínky ve školách změní.

Na rozdíl od mnoha jiných článků popisujících situaci ve vzdělávání a přicházejících s různými interpretacemi jsou závěry tohoto článku snadno ověřitelné. Společnost Scio meziroční srovnání a ověření předpovědí na podzim 2015 v nějaké formě plánuje.