ČŠI: Základní shrnutí první celoplošné generální zkoušky testování

Po dohodě s ministrem školství, mládeže a tělovýchovy tedy ČŠI elektronický systém ověřování výsledků žáků a v odpovídajících ročnících víceletých gymnázií a konzervatoří.

V prosinci roku 2011 se na vzorku 104 škol uskutečnila bez jakýchkoli větších problémů první, technologicko-logistická pilotní zkouška.

Ve dnech se uskutečnila první celoplošná generální zkouška také poskytnout první pro český jazyk, matematiku a anglický jazyk (5. ročníky) a pro český jazyk, matematiku, anglický, francouzský nebo německý jazyk (9. ročníky). Generální zkouška byla rozvržena do tří týdnů, aby měly školy možnost přizpůsobit svůj program v rámci harmonogramu školy příslušnému testování.

(poslední den třítýdenní generální zkoušky) bylo do generální zkoušky zapojeno 3 658 škol, což je 99,8 % všech škol, pro které byla generální zkouška určena (nebyly tedy z realizace zkoušky pro objektivní důvody uvolněny), a (tj. ze všech registrovaných) vypracovalo celkem 458 933 testů. Použito bylo (průměr na 1 počítač). V prvních dvou dnech se vyskytly kapacitní technologické problémy, které některým školám realizujícím testování hned zpočátku třítýdenního testovacího okna mohly způsobit problémy a narušit provoz školy. Dodavatel systému však pod dohledem ČŠI neprodleně problém vyřešil a od třetího dne již vše fungovalo standardně.

Od ledna 2012 byla provedena série klíčových úkonů pro zabezpečení generální zkoušky. Šlo zejména o rychlé šetření (zjištění stavu ICT ve školách), rozesílání informací a pokynů školám, přípravu pracovníků ČŠI pro supervizi a podporu škol, diskuzi s odbornou veřejností (celostátní konference, dvoustranná jednání se zástupci odborných školských asociací, prezentační výjezdy do jednotlivých krajů atd.), vývoj školní testovací aplikace, instalace školní testovací aplikace ve školách, zřízení bezplatné podpůrné telefonní linky a e-mailové schránky pro dotazy škol, zadávání dat o žácích, kteří se budou generální zkoušky účastnit, vývoj testových úloh a organizační a logistické zabezpečení generální zkoušky.

Již od počátku vývoje musela být respektována velmi složitá situace českých základních škol v oblasti ICT. Podrobnější informace uvádí ČŠI v každé výroční zprávě, speciální tematická zpráva byla vydána v roce 2009, další je připravována pro školní rok 2012/13. Stručně shrnuto - v českých základních školách je velmi málo počítačů, vesměs jsou velmi zastaralé a vzájemně nepříliš kompatibilní. Hlavní viník, na pořizování a obnovu, působí negativně ještě jednou, a to v oblasti těchto technologií. Výsledkem je tedy většinově značně heterogenní a nestabilní prostředí výrazně znesnadňující úvahy na vytvoření jakéhokoliv univerzálního, společného, sofistikovaného a hlavně či aplikace. Tento fakt již od počátku komplikoval vývoj aplikace pro testování a do značné míry určil podobu jednotlivých komponent systému a jejich vzájemné architektury.

V této fázi projektu jde jen o (instalovaná aplikace) pro OS Windows (verze XP a vyšší -90 % školních počítačů) a některé klony OS Linux. V budoucnu bude vytvořena webová verze pro další, nepříliš zastoupené operační systémy a jejich nadstavby (zejména virtualizační prostředí).

Aplikace je vybavena modulem pro auto update, nezbytným pro efektivní využívání v rámci tříletého vývoje celého systému, kdy bude mnohokrát revidována verze aplikace v důsledku nových funkčností. Jako aplikace „uvnitř“ PC dokáže zajistit bezpečný průběh certifikovaného testování včetně monitoringu některých mnohdy nežádoucích aktivit (např. vyhledávání na internetu, spuštění kalkulačky apod.).

Zásadní je ovšem možnost pracovat i v režimu off-line, a to již od samotného počátku testování, tzn. při jeho přípravě. Do aplikace se nahrávají tzv. testové dávky - soubory, které v zašifrované podobě obsahují všechny testy pro žáky dané školy (nezáleží tak na tom, který žák použije konkrétní PC). Tyto dávky jsou do započetí definované zkoušky nečitelné, ve „správném“ čase jsou pak uvolňovány testy pro jednotlivé žáky po zadání jim určených přístupových kódů, které mají omezenou časovou platnost právě pro zajištění bezpečnosti před vyzrazením nebo jiným zneužitím po seznámení se s úlohami. Aplikace následně slouží pouze jako prostředí pro zobrazení a realizaci testů, kontroluje čas a např. odesílá průběžné zprávy pro statistické účely. V závěru odesílá kompletní výsledky do centrální databáze - opět v zašifrované podobě. Při výpadku připojení (stavu off-line) je výsledky možné do centra doručit jakoukoliv jinou metodou datové výměny.

Jde o webovou aplikaci (tzv. tenkého klienta), která v této fázi slouží jako centrální administrační prostředí jak pro nejvyšší administrátory testování, tak také pro školy, které se testování účastní. Na straně škol nabízí systém administraci tříd a žáků, reporting přípravy (např. počet a stav instalovaných aplikací na školních PC včetně relevantních testových dávek apod.), monitoring průběhu (realizované testy) a reporting výsledků - od individuálních žákovských po agregované na úrovni tříd, celé školy nebo celého systému. Individuální výsledky jsou v modulu IDM přístupné také přímo jednotlivým žákům (při použití kódů pro realizaci testu) nebo jejich zákonným zástupcům. Výsledky jsou zpracovávány v reálném čase, se vzrůstající informační hodnotou v závislosti na průběhu celého testovacího období.

Pro administraci nejvyšší úrovně je k dispozici práce se základními číselníky uživatelů, škol a dalších entit. Samostatnými kapitolami jsou číselníky úloh a testových šablon. Tyto části systému včetně svých uživatelských rozhraní jsou spíše samostatnými moduly systému a budou popsány dále. Modul IDM je z pohledu vývoje nejprogresivnější prvek celé architektury. V dalších etapách vývoje zde bude k dispozici celá sada nástrojů pro tzv. domácí a zejména tzv. školní testování. Díky tomu budou moci učitelé využít všech sofistikovaných funkčností ze sféry certifikovaného testování tak, jak jsou tyto funkčnosti užívány např. při generálních zkouškách.

je centrální úložiště testových úloh celého systému. Dynamicky dovoluje vytvářet a designovat úlohy všech podporovaných typů. To vše samozřejmě včetně metadat - parametrů, jako je např. obtížnost, zařazení v seznamu předmětů a jejich podkategorií, dovednosti (které daná úloha testuje), a dalších vlastností, které je možno v systému tvořit i uživatelsky, a podle jejich hodnoty pak úlohy třídit, využívat v testech, reportovat apod. V rámci definice úloh je možné definovat i odpovědi (správné i chybné včetně jejich distraktorů pro různé možnosti vyhodnocení) při aplikaci těchto úloh s nabídkou odpovědí ( jedna nebo více správných) nebo databáze akceptovaných výrazů (otevřené odpovědi, které mají být strojově vyhodnoceny). Rozhraní pro tvorbu úloh umožňuje úlohy designovat a také přiřazovat různé referenční nebo pomocné objekty (obrázek, referenční text, audio, video).

Nad celým katalogem úloh bude dále rozšiřován sofistikovaný systém přístupových práv umožňující různým uživatelům jejich sdílení v rámci dalších modulů systému (důležité zejména pro školní testování).

slouží pro obecnou definici testů v kombinaci předmět-ročník-období. Tato obecná definice spočívá v nastavení parametrů, jako např. kolik částí má daný test (vyšší/nižší úrovně) a jaká je jejich prostupnost v závislosti na výsledku předchozí části (bodové hranice prostupů), kolik úloh má každá část, jaký čas je určen pro vypracování celého testu/části; na úrovni částí testu je pak možné definovat pevné nebo náhodné pořadí dále specifikovaných úloh nebo typových úloh v podčástech podle zvolených hodnot parametrů nebo vlastnosti úloh. Např. lze definovat, že v základní části testu z matematiky pro 5. ročník bude 8 úloh, z nichž vždy 2 budou z geometrie, úloha na 4. pozici bude vždy na „počítání s čísly“, jedna slovní úloha bude mít více správných odpovědí a tři slovní úlohy budou otevřené.

připravuje testové dávky (obsahující testy) pro celé školy: pro všechny žáky dané školy připraví sadu několika testů z každého předmětu pro všechna definovaná „podobdobí“ celého testování (škola nemusí avizovat, kdy který žák absolvuje který test, a pak to dodržet). Každý jeden test v testové dávce pro školu je vygenerován jako náhodná aplikace určené testové šablony nad katalogem úloh - pro každou pozici šablony systém vyhledává v katalogu úlohu, která odpovídá definici (obtížnost a další parametry). Typy úloh šablonou určené pro pevné umístění v testu jsou takto zafixovány, u ostatních je pořadí náhodně promícháno.

Datově větší objekty (obrázky, audio, video, delší texty) v dávce pro školu (mnoho testů pro všechny žáky školy) jsou umístěny pouze jednou v samostatné knihovně dávky a ve všech testech, kde jsou použity, jsou nahrazeny odkazem do této knihovny. Tím je minimalizována velikost dávky, kterou si musí škola stahovat.

Tento dynamický model má tedy schopnost tvořit nad „bohatým“ katalogem úloh mnoho vzájemně různých testů (nejen pořadí úloh) stejné nebo obdobné (dle kalibrace) obtížnosti.

Cílem první celoplošné generální zkoušky bylo jasně se přiblížit cílům celého projektu NIQES v rámci jeho první zásadní vývojové etapy. Vytvářený systém a jeho první masové použití mělo tedy poprvé

V rámci třítýdenního testovacího období byli téměř všichni žáci na úrovni 5. a 9. ročníků základních škol podrobeni testům (angličtina, němčina, francouzština) Jednalo se tedy o ověřovací testy s možností identifikace vyšší úrovně dovedností a vědomostí v daném předmětu. Specifikem a výjimečností celého projektu je fakt, že veškeré testování probíhá již od této první celoplošné generální zkoušky (realizované již po cca 6 měsících vývoje technologie i testů) ryze elektronicky přímo ve školách.Tímto je dosavadní průběh projektu ojedinělý nejen v evropském, ale také ve světovém měřítku.

Generální zkoušce samozřejmě předcházela masivní příprava nejen na straně realizátorů projektu, ale samozřejmě také na straně zúčastněných škol.

Nejde tedy o testy srovnávací, které školy využívají z nabídky některých komerčních společností.

První celoplošná generální zkouška poskytla množství dat, na která je možno pohlížet nejen optikou samotných úloh, ale také se zohledněním faktorů, které výsledky žáků ovlivňují nebo mohou potenciálně ovlivňovat. Ne všechny školy se testování účastnily, řada žáků (např. žáci se SVP) byla z testování uvolněna, výsledky na některých školách ovlivnily technické problémy v prvních dnech testování apod. Na druhou stranu S vědomím toho všeho nahlíží ČŠI na výsledky s opatrností a ze všech možných dílčích zjištění veřejně prezentuje pouze ta, u nichž je pozorovaná závislost silná nebo alespoň zajímavá. Data budou průběžně podrobněji analyzována a v rámci možností čištěna od znepřesňujících vlivů.

Celoplošná zkouška z pohledu úloh, testů, práce žáků s úlohami a vyhodnocení výsledků splnila očekávání - ověřila, že je možné připravit testy odpovídající byť i ne zcela dopracovaným standardům základního vzdělávání, ukázala, jakými formami úloh je možné (a naopak méně vhodné) jednotlivé dovednosti a vědomosti testovat, jak je třeba před příští celoplošnou zkouškou žáky na řešení úloh připravit, jaká preventivní opatření realizovat v testovací aplikaci i jaké postupy pro vyhodnocení výsledků testování připravit a použít.

U žáků pátých tříd je třeba věnovat pozornost především srozumitelnosti a stručnosti zadání - ukázalo se, že delší zadání deformují výsledky promítáním rozdílné rychlosti čtení, komplikací mohou být i grafické prvky v úlohách ( jakkoli jejich zařazení test zlidšťuje). U žáků devátých tříd je třeba zvážit, zda výběrem námětů pro úlohy není možné přitáhnout více pozornost žáků k řešení úloh. Žákům je třeba předem lépe vysvětlit, jak probíhá adaptivní výběr úloh pro druhou část testu, v samotné testovací aplikaci je nutné zvýraznit upozornění při přechodu mezi testlety, aby žáci po rozdělení řešili úlohy odpovídající jejich schopnostem.

U českého jazyka je třeba nadále pokračovat v orientaci obsahu úloh na funkční čtenářskou gramotnost formou úloh založených na textech, podobně v matematice zařazovat úlohy ověřující základní matematickou gramotnost. U cizích jazyků bude zásadním posunem orientace struktury i obsahu testů směrem k mezinárodně uznávaným jazykovým zkouškám.

První celoplošná generální zkouška ověřování výsledků žáků v počátečním vzdělávání, pilotovaná v květnu a červnu 2012 v 5. a 9. ročnících základních škol a v odpovídajících ročnících dalších druhů škol, jednoznačně prokázala, že plošné elektronické testování žáků s cílem posoudit míru dovedností a vědomostí ve vazbě na externí vzdělávací standardy je bez větších problémů realizovatelné a že výsledky jsou velmi dobře využitelné jak pro žáka a jeho rodiče, tak pro učitele a ředitele škol i pro státní dohledový orgán.

V průběhu první celoplošné generální zkoušky sesbírala ČŠI několik set velmi zajímavých podnětů od všech typů účastníků zkoušky. Všechny podněty jsou důkladně analyzovány a v intencích jejich doporučení, jsou-li z pohledu realizátora ku prospěchu věci, je upravován elektronický testovací systém, obsah testů i organizační parametry pro úspěšnou realizaci druhé celoplošné generální zkoušky. Problematika ověřování výsledků žáků v počátečním vzdělávání je ve všech svých parametrech průběžně konzultována se zástupci odborné veřejnosti, zejména z řad klíčových asociací působících v rezortu školství.

Pro úspěšné spuštění ověřování výsledků žáků v počátečním vzdělávání v ostrém provozu od roku 2014 je rovněž Na tyto problémy ČŠI průběžně upozorňuje příslušné útvary dalších orgánů veřejné správy.

Zcela závěrem je třeba dodat, že

Česká školní inspekce rovněž při realizaci první celoplošné generální zkoušky.