Wyniki egzaminów zewnętrznych zależą od wielu czynników niezależnych od szkoły, w której uczyli się uczniowie na danym etapie edukacyjnym, a przede wszystkim są uzależnione od ich wcześniejszych osiągnięć. Gdyby wszystkie szkoły w Polsce pracowały z uczniami o tym samym poziomie osiągnięć szkolnych „na wejściu”, wówczas egzaminy końcowe byłyby dobrą miarą efektywności pracy szkół, ale tak przecież nie jest. Obraz nauczania szkolnego widziany poprzez wyniki egzaminów końcowych jest niepełny i nie pokazuje postępu, jaki robią uczniowie podczas nauki w danej placówce. Metoda EWD (Edukacyjna Wartość Dodana) to zestaw technik statystycznych pozwalających zmierzyć wkład szkoły w ten postęp. Dzięki temu jest nieocenionym narzędziem analizy wyników nauczania. W metodzie tej wykorzystywane są dwa pomiary osiągnięć szkolnych: na początku nauki w danej szkole i na jej zakończenie. Polski system egzaminacyjny dostarcza danych do wyliczania EWD dla gimnazjów (sprawdzian po klasie VI SP jako miara na wejściu i egzamin gimnazjalny jako miara na wyjściu) oraz szkół ponadgimnazjalnych kończących się maturą (egzamin gimnazjalny jako miara na wejściu i maturalny jako miara na wyjściu).
Średni wynik egzaminacyjny i EWD (czyli wskaźnik efektywności nauczania szkoły), to miary wzajemnie komplementarne. Łącznie dają pełniejszą informację o szkole, niż każdy z nich z osobna. Metoda EWD służy przede wszystkim szkołom. Dyrektorzy i nauczyciele mogą dzięki właściwej analizie wyników egzaminacyjnych wskazywać mocne i słabe strony nauczania w swojej placówce i na tej podstawie oceniać skuteczność już podjętych działań oraz formułować plany rozwoju szkoły na przyszłość. Ewaluacja prowadzona przez samą szkołę w celu poprawy swojego funkcjonowania to najważniejszy obszar wykorzystania wyników egzaminacyjnych, a tym samym i metody EWD. Metoda ta pozwala także nadzorowi szkolnemu na obiektywną ewaluację zewnętrzną szkół. Kolejnym użytkownikiem tej metody są samorządy, które mogą monitorować efektywność nauczania w szkołach na swoim terenie.
W 2005 roku Centralna Komisja Egzaminacyjna powołała zespół badawczy, którego zadaniem jest opracowanie adekwatnych do polskich warunków oświatowych rozwiązań wykorzystania metody EWD (od 2012 roku prace nad tym projektem są prowadzone w Instytucie Badań Edukacyjnych).
Od 2006 roku zespół EWD udostępnia gimnazjom kalkulator EWD oraz materiały szkoleniowe. Za pomocą kalkulatora szkoły mogą samodzielnie obliczać jednoroczne wskaźniki egzaminacyjne i prowadzić analizy EWD w ramach ewaluacji wewnątrzszkolnej.
Od 2009 roku zespół udostępnia również trzyletnie wskaźniki egzaminacyjne dla gimnazjów. Są one źródłem informacji przydatnych w ewaluacji zewnętrznej. W zwięzły, graficzny sposób charakteryzują gimnazja ze względu na wyniki egzaminacyjne oraz efektywność nauczania.
Od 2010 roku publikowane są ewaluacyjne wskaźniki egzaminacyjne dla liceów ogólnokształcących i techników. W pierwszym roku wyliczone zostały wskaźniki jednoroczne tylko z języka polskiego i matematyki. W 2011 roku opublikowano wskaźniki dwuletnie. Natomiast od 2012 roku publikowane są cztery wskaźniki trzyletnie: humanistyczny, z języka polskiego, matematyczno-przyrodniczy i matematyczny.
Przed przystąpieniem do analiz efektywności nauczania wyniki uczniów sprowadzane są do porównywalnej postaci, tzn. wyniki każdej edycji egzaminu są normalizowane (czyli przekształcane tak, by ich rozkłady zbliżyły się do rozkładu normalnego), następnie znormalizowane wyniki egzaminacyjne z każdego roku są standaryzowane (czyli przeliczane są na wspólną skalę, tak by średnia krajowa wyniosła 100 punktów, a odchylenie standardowe 15 punktów).
rys.1 źródło:materiały szkoleniowe zespołu EWD, www.ewd.edu.pl
Wykres powyżej (rys.1) obrazuje wyniki po normalizacji i standaryzacji. Wynik 130 oznacza, że tylko trochę ponad 2% zdających w danej populacji uzyskało wynik wyższy, a wynik 85 wskazuje, że blisko 14% uzyskało wynik niższy. Wynik 100 zawsze odpowiada średniemu wynikowi z danej części egzaminu wśród zdających egzamin w danym roku i w danym typie szkoły. Skala N(100,15) jest podobna do skali staninowej, ale pozwala określić wynik ucznia na tle populacji z dużo większą dokładnością (w skali staninowej - jak wskazuje nazwa - stosuje się tylko 9 progów). Związek między tymi skalami przedstawia tabela poniżej (rys.2).
rys. 2 źródło:materiały szkoleniowe zespołu EWD, www.ewd.edu.pl
Następnie obliczane są wyniki przewidywane uczniów. Otrzymuje się je na podstawie danych o wynikach egzaminu na wejściu i na wyjściu w danym roku dla wszystkich zdających uczniów w kraju metodą regresji (linia regresji pozwala statystycznie przewidzieć wynik egzaminu końcowego ucznia w zależności od jego wyniku na wejściu). Otrzymaną wartość korygujemy o wpływ takich czynników jak płeć i dysleksja. Linia przewidywanego wyniku jest poprowadzona tak, żeby średnie reszty kwadratowe dla uczniów, którzy osiągnęli ten sam wynik na wejściu w całej populacji uczniów były równe 0. Wynik przewidywany można rozumieć jako uśredniony wynik na egzaminie końcowym grupy uczniów o tym samym wyniku na wejściu. Oznacza to, że szansa szkoły na uzyskanie wysokiego lub niskiego EWD nie zależy od tego, jakie wyniki uzyskali jej uczniowie na wejściu.
rys. 3. źródło:materiały szkoleniowe zespołu EWD, www.ewd.edu.pl
Następnym krokiem jest obliczenie dla każdego ucznia jego reszty, czyli różnicy między wynikiem rzeczywiście uzyskanym na egzaminie końcowym a wynikiem przewidywanym. Dodatnia reszta oznacza, że uczeń podczas nauki w danej szkole zrobił relatywny postęp (rys. 3).
Ostatecznie EWD szkoły lub klasy obliczamy, uśredniając reszty uzyskane przez jej uczniów. Średnią tę interpretujemy jako miarę efektywności nauczania w danej szkole lub klasie. Wyniki statystyczne cechuje oczywiście niepewność, dlatego wartość EWD podaje się wraz z przedziałem ufności. Jest to przedział, który z zadanym z góry prawdopodobieństwem zawiera prawdziwą wartość EWD.
Trzyletnie wskaźniki egzaminacyjne dla gimnazjów i szkół ponadgimnazjalnych kończących się maturą są wyznaczane i publikowane co rok przez zespół EWD na stronie www.ewd.pl. Obejmują wszystkie szkoły, w których zestawiono przynajmniej 30 wyników uczniów na wejściu i wyjściu.
W szacowaniu wskaźników trzyletnich wykorzystywane są wyniki egzaminów z trzech kolejnych lat. Zyskuje się w ten sposób trzy razy więcej danych, a duża ilość informacji przekłada się na większą precyzję statystycznych szacować. Ponadto uzyskane wskaźniki są mniej podatne na losowe wahania wyników między poszczególnymi latami.
Trzyletnie wskaźniki egzaminacyjne prezentowane są w dwumiarowym układzie współrzędnych. Na osi poziomej zaznaczono średnie wyniki w standardowej skali N(100, 15), a na pionowej - wartości EWD w standardowej skali N(0, 15). Punkt przecięcia osi układu ma więc współrzędne (100, 0). Ze względu na niepewność statystyczną dla każdej szkoły wyznaczany jest obszar, w którym z 95% pewnością znajduje się poprawny wynik (zależność EWD i wyników egzaminu). Obszar ten ma kształt elipsy. Jej kształt, wielkość i kąt nachylenia zależą od stopnia korelacji pomiędzy EWD i wynikami egzaminu oraz stopnia niepewności oszacowania tych dwóch wskaźników. Na przykład wielkość elipsy zależy od liczby uczniów w szkole i rozproszenia ich wyników. Większe elipsy otrzymamy w przypadku małej liczby uczniów lub dużego rozproszenia ich wyników.
Opis położenia szkoły (elipsy) w układzie współrzędnych (wynik egzaminu vs. wartość EWD) ułatwia wyróżnienie kilku głównych typów:
- szkoły neutralne - w których notujemy średni w skali kraju poziom wyników egzaminacyjnych oraz przeciętną efektywność nauczania (mierzoną EWD) - okolice początku układu współrzędnych,
- szkoły o wysokich wynikach egzaminacyjnych i wysokiej efektywności nauczania - prawa górna ćwiartka,
- szkoły o wysokich wynikach egzaminacyjnych i niskiej efektywności nauczania - prawa dolna ćwiartka,
- szkoły o niskich wynikach egzaminacyjnych i wysokiej efektywności nauczania - lewa górna ćwiartka,
- szkoły o niskich wynikach egzaminacyjnych i niskiej efektywności nauczania - lewa dolna ćwiartka.
Oprócz typów głównych można zaobserwować również typy pośrednie: szkoły o przeciętnych wynikach egzaminu i niskiej/wysokiej efektywności oraz szkoły o przeciętnej efektywności i niskich/wysokich wynikach egzaminu. W tych przypadkach elipsy szkół leżą odpowiednio na osi pionowej lub poziomej.
W przypadku wskaźników EWD dla szkół kończących się maturą istotnym problemem podczas analizy jest złożona struktura tego egzaminu oraz fakt, że zdający mają dowolność wyboru zakresu zdawanych przedmiotów. Potrzebne są zatem złożone wskaźniki EWD. Ich konstrukcję poprzedza procedura skalowania wyników z uwzględnieniem trudności poszczególnych zadań i wybieralności przedmiotów oraz zbudowanie nowych skal: wyniku maturalnego humanistycznego i matematyczno-przyrodniczego. Po zbudowaniu nowych skal następuje standaryzacja wyników do N(100, 15) osobno dla liceów i techników, a dopiero potem - szacowanie EWD. Dla prezentacji trzyletnich wskaźników maturalnych EWD również przyjęto formę graficzną - na jednym wykresie pokazano jednocześnie wyniki egzaminacyjne oraz wskaźniki EWD. Uzupełnieniem formy graficznej są tabele, w których podano informację o liczbie osób, które przystąpiły w szkole do egzaminu maturalnego w rozważanych trzech latach wraz ze strukturą wyboru przedmiotów i poziomów poszczególnych egzaminów.
rys. 4 rys.5
Na rysunku powyżej z lewej strony zielona elipsa wyznacza pozycję szkoły. Większa szara elipsa wyznacza obszar, który obejmuje 90% średnich wyników szkół w kraju (90 centyl), a mniejsza - 50% średnich wyników szkół w kraju (mediana). Szare elipsy nazywane są warstwicami. Ich obszary obejmują najbardziej typowe wyniki w kraju.
Wskaźniki EWD są miarami względnymi. Dzięki nim możemy porównywać wyniki danej szkoły z wynikami innych szkół w kraju. Ważne jest jednak, aby móc określić pozycję szkoły nie tylko względem krajowego układu odniesienia, ale także względem układów lokalnych (jak gmina czy powiat). Punkt przecięcia linii przerywanych wskazuje wyniki gminy. Podobnie możemy wyrysować wyniki powiatu lub województwa. Z rysunku odczytujemy, że wybrana szkoła ma ponadprzeciętne wyniki egzaminacyjne i przeciętną efektywność nauczania, jest też przeciętną szkołą w gminie. Rysunek z prawej przedstawia jednoroczne wyniki tej samej szkoły z trzech kolejnych lat. Taki wykres otrzymamy za pomocą kalkulatora EWD.
Ważną cechą wskaźników egzaminacyjnych wykorzystywanych do ewaluacji jest możliwość śledzenia zmian w czasie. Obecnie dla gimnazjów zostały opublikowane trzyletnie wskaźniki EWD dla sześciu okresów trzyletnich, a dla szkół kończących się maturą - dla dwóch okresów (patrz rysunki poniżej).
rys. 6 rys. 7
Na rysunku z lewej przedstawione są wyniki szkoły z sześciu okresów trzyletnich. Odczytujemy z niego, że wyniki z egzaminu i efektywność nauczania maleją w kolejnych okresach trzyletnich. Szkoła w okresie 2006-2008 miała ponadprzeciętne wyniki z egzaminu i ponadprzeciętną efektywność nauczania. Obecnie , wyniki egzaminu są wyraźnie niższe, a efektywność nauczania - przeciętna.
Ważną cechą wskaźników trzyletnich jest możliwość porównywania wyników szkół w obrębie rejonu, w którym funkcjonuje dana szkoła. Jeśli znamy charakterystyki tych szkół i wiemy, że pracują w podobnych warunkach, możemy porównywać efektywność ich pracy. Dwie szkoły mają porównywalną efektywność, jeśli ich przedziały ufności / powierzchnie ufności zachodzą na siebie nawzajem. Na rysunku powyżej z prawej szkoły o elipsie zielonej i czerwonej osiągają przeciętne wyniki na tle kraju, ale w gminnym układzie odniesienia ich wyniki są dużo niższe od średniej. Porównywane szkoły istotnie różnią się wynikami egzaminacyjnymi (rozłączne przedziały wyników egzaminu), szkoły zielona i czerwona mają wyniki niższe niż żółta i niebieska, ale wszystkie pracują z podobną efektywnością nauczania (mają wspólny przedział wskaźnika EWD).
Wskaźniki trzyletnie dają ogólny obraz pozycji szkoły i możliwość śledzenia zmian w czasie. Ten poziom wskaźników jest jednak niewystarczający do zrozumienia procesów zachodzących w szkole. Dlatego do analiz wewnątrzszkolnych służy narzędzie, które wskazuje zmiany w krótszych niż trzyletnie okresach - wskaźniki jednoroczne EWD. Obliczane są one z wykorzystaniem kalkulatora EWD. Kalkulator standardowo oblicza wskaźniki dla oddziałów, analizuje efekt płci, efektywność nauczania w grupach o różnym potencjale edukacyjnym na wejściu, w grupie uczniów z dysfunkcjami lub w grupie uczniów drugorocznych. Wyniki i analizy przedstawiane są na standardowej skali N(100,15). Dodatkowo można wprowadzić inne cechy, typowe dla danej szkoły, np. można analizować wskaźniki EWD w grupie uczniów korzystających z zajęć dodatkowych, uczniów dojeżdżających do szkoły, absolwentów konkretnej szkoły niższego szczebla itp. Ten wykaz można dowolnie poszerzać w zależności od potrzeb szkoły. Ważniejsze jest, aby wyodrębnić grupy uczniów o istotnie różnej efektywności nauczania. Wyjaśnienie, dlaczego te grupy różnią się efektywnością nauczania, powinno poszerzyć wiedzę o czynnikach efektywności specyficznych dla danej szkoły.
Wskaźniki EWD są przedstawiane wraz z przedziałem ufności tak, aby porównywanie szkół i grup uczniowskich było statystycznie poprawne. Długość przedziału ufności zależy od liczby uwzględnionych uczniów oraz od zróżnicowania ich reszt. Należy pamiętać, że grupy uczniowskie istotnie różnią się efektywnością, jeśli wyznaczone dla nich przedziały ufności dla EWD są rozłączne.
Kalkulator EWD 100 wraz z instrukcją obsługi i materiałami szkoleniowymi można pobrać ze strony http://ewd.edu.pl/kewd100. Jest on co rok aktualizowany przez zespół EWD. Aby rozpocząć pracę z kalkulatorem należy przygotować zestaw danych w arkuszu kalkulacyjnym i zaimportować je do kalkulatora. Gotowe dane udostępniają też okręgowe komisje egzaminacyjne. Dane, jakie są potrzebne, to:
- kod egzaminacyjny ucznia,
- płeć,
- informacja o korzystaniu z dostosowań dla dyslektyków,
- wyniki z poszczególnych części egzaminu końcowego (w punktach lub procentach),
- wyniki z egzaminu na wejściu.
Importowane dane należy przypisać do właściwego rocznika. Obecnie kalkulator dla gimnazjum obsługuje roczniki od 2009. Dane przechowywane są w kalkulatorze w określonej strukturze (szkoła dzieli się na roczniki, a te z kolei na klasy). Analizy można prowadzić na każdym z tych zbiorów osobno. Można też łączyć różne klasy lub roczniki. Można także wyodrębnić różne grupy uczniów według ich cech głównych (kod ucznia, płeć, dysleksja, potencjał na wejściu) lub cech nadanych przez użytkownika. Możliwe jest porównywanie danych między różnymi latami, dla jednej lub kilku szkół.
W kalkulatorze EWD 100 można wyliczyć wskaźniki proste odpowiadające czterem arkuszom gimnazjalnym: GH-P, GH-H, GM-M, GM-P oraz wskaźniki złożone dla części humanistycznej (GH) oraz matematyczno-przyrodniczej (GMP). Złożone wskaźniki pozwalają porównywać wyniki z wcześniejszymi rocznikami (2009, 2010 i 2011). W przypadku szkół kończących się maturą w chwili obecnej możliwe są analizy tylko matury z matematyki w zakresie podstawowym od 2010 roku.
Z wyników można tworzyć wykresy i tabele, które w kalkulatorze nazywa się analizami. Dostępne są różne formy wykresów, m.in.:
rys. 8 wykres rozrzutu rys. 9 wskaźniki EWD
- wykres rozrzutu - pozwala na jednym wykresie zobaczyć wynik ucznia na egzaminie wejściowym i końcowym, kropka reprezentuje jednego ucznia i jest wypadkową jego dwóch wyników egzaminacyjnych; dodatkowo pojawia się krzywa przewidywanego wyniku rysowana dla całej populacji zdających w danym roczniku; za pomocą tej analizy oceniamy efektywność pracy z grupą uczniów mierzoną wynikami egzaminów i badamy zróżnicowanie wyników badanej grupy,
- wskaźniki EWD - to podstawowa analiza, EWD podawane jest tu wraz z przedziałem ufności (90% dla klas i 95% dla szkół); im większa jest liczba uczniów tym węższy przedział ufności, im mniejsze zróżnicowanie reszt tym węższy przedział ufności, czyli wyznaczona wartość EWD dokładniej określa analizowaną grupę; podział na grupy wykonujemy za pomocą opcji grupowania oraz filtrów; dwie grupy istotnie różnią się wskaźnikami EWD, jeśli ich przedziały ufności są rozłączne,
- wyniki przewidywane – wykres przedstawia rozkłady wyników przewidywanych i rzeczywiście uzyskanych; jest inną formą ilustracji EWD i pokazuje, o ile punktów szkole udało się zmienić pozycję przeciętnego ucznia w stosunku do jego wyniku przewidywanego; za pomocą tej analizy oceniamy efektywność pracy z grupą uczniów mierzoną różnicą pomiędzy średnim wynikiem uzyskanym i średnim wynikiem przewidywanym oraz badamy zróżnicowanie wyników dla analizowanej grupy uczniów,
rys. 10 wyniki przewidywane rys. 11 rozkład reszt
- rozkład reszt – to wykresy, które pozwalają porównać zróżnicowanie reszt w szkole z rozkładem krajowym; pionowa przerywana linia pokazuje średnią reszt, czyli wartość wskaźnika EWD dla danej grupy;za pomocą tej analizy oceniamy efektywność pracy z grupą uczniów mierzoną średnią z reszt badanej grupy i badamy zróżnicowanie reszt analizowanej grupy uczniów w porównaniu z rozkładem krajowym lub innymi grupami,
- potencjał edukacyjny – wykresy pozwalają porównywać grupy uczniów ze względu na potencjał uczniowski ustalany na podstawie wyników egzaminu na wejściu; wyróżniamy potencjał niski (uczniowie, których wyniki na wejściu mieściły się w staninie 1, 2 i 3), średni (wyniki w staninie 4, 5 i 6) oraz wysoki (wyniki w staninie 7, 8 i 9); jest to wykres skumulowany, procentowy, który pozwala określić procentowy udział uczniów o określonym potencjale edukacyjnym w analizowanej grupie uczniowskiej,
rys. 12 potencjał edukacyjny rys. 13 tabela
- tabele – za ich pomocą możemy przedstawić wiele wskaźników liczbowych dotyczących EWD i wyników egzaminacyjnych; wyniki podawane mogą być w procentach lub skali N(100, 15); tabele umożliwiają porównywanie danych na wejściu i wyjściu,
- wyniki średnie – średnie wyniki egzaminacyjne dla grup uczniów prezentowane wraz z przedziałami ufności 95% i 90% (odpowiednio dla szkół i klas); zastosowanie przedziałów ufności pozwala na statystycznie poprawne porównywanie średnich wyników dla grup uczniów; dwie grupy istotnie różnią się średnimi wynikami egzaminacyjnymi, jeśli ich przedziały ufności są rozłączne,
- rozkład wyników - wykres przedstawia rozkład wyników w skali N(100, 15) i pozwala analizować częstość występowania różnych wyników, jakie otrzymali uczniowie podczas egzaminu oraz badać zróżnicowanie wyników analizowanej grupy uczniów w porównaniu z rozkładem krajowym lub innymi grupami.; linia przerywana wyznacza wynik średni; rozkłady możemy pogrupować m.in. według klas lub potencjałów,
- krzywe przewidywanego wyniku - podstawowa krzywa jest wyznaczana dla chłopców bez dysleksji, ale po uwzględnieniu zmiennych kontrolnych (płeć i dysleksja) otrzymujemy nowe krzywe przewidywanych wyników (dla chłopców z dysleksją, dziewcząt bez dysleksji itp.), osobną grupę krzywych stanowią przewidywania dla uczniów drugorocznych; wykres pozwala śledzić wzajemne położenie krzywych w danym roku lub w wybranych latach.
