40% próg zaliczenia - dużo czy mało?

- "Czy 40% próg zaliczenia na egzaminie nie jest przypadkiem zbyt niski dla studentów?" - To pytanie zadał mój znajomy, kiedy powiedziałem, że na Uniwersytecie Southampton obowiązuję taki próg zaliczenia egzaminu.
- "W Polsce zwyczajowo próg zaliczenia ustalany był na 60%" - kontynuował - "Czy nie jest to zbytnie obniżenie standardów? I potwierdzenie obiegowej opinii, że na Zachodzie właściwie nie trzeba się uczyć, żeby zdobyć wyższe wykształcenie?"

Okazuje się, że 40% próg zaliczenia w UK nie znaczy to samo 40% co w Polsce. Ale od początku.

1. Przygotowanie pytań

Termin egzaminów ustalony jest na koniec semestru, jednakże przygotowania do egzaminu rozpoczynają się na już początku semestru. Nauczyciele prowadzący zajęcia, w tym samym czasie kiedy przeprowadzają wykłady, otrzymują prośbę o przygotowanie pytań/zadań. W uproszczeniu jedna godzina wykładowa jest równa dwóm pytaniom testowym  lub jednemu opisowemu.
Pytania przesyłane były do zespołu egzaminacyjnego, który wprowadzał je do bazy danych. Pytania przesyłane są do zespołu administrującego egzaminem.

2. Tworzenie testu/egzaminu

Z przesłanych pytań tworzy się test wstępny. W moim przypadku było to przygotowanie 80 pytań testowych. Aby w pełni sprawdzić, które obszary powinny być testowane, gdzie znajdują się potencjalne luki przygotowałem projekt egzaminu tzw. blueprint. To nic innego jak tabela w której sprawdzałem które efekty nauczania są testowane i w jakim stopniu.

3. Ustalenie standardu nauczania

Połowa semestru to czas na ustalenie standardów, tzw. standard setting. Nauczyciele zaangażowani w proces nauczania zaproszeni zostali na dwugodzinne spotkanie, na którym wspólnie dyskutowaliśmy zaproponowany egzamin. Każde pytanie zostało sprawdzone pod względem formalnym - czy nie ma błędów gramatycznych, literówek, czy nie jest pytaniem negatywnym, czy jest jednoznaczne i czy prawidłowa odpowiedź w rzeczywistości jest tą jedną najlepszą. Po tym wstępnym sprawdzeniu uczestnicy spotkania szacowali czy udzielenie odpowiedzi na to pytanie, dla przeciętnego/typowego studenta będzie łatwe, średnie czy trudne. To kluczowe założenie procesu standaryzacji testu.

4. Obliczenie progu zaliczenia

Uzyskane wyniki następnie przeliczane były przez zespół egzaminacyjny. Mają oni swoją magiczną formułę dzięki której na podstawie prowadzonych danych o trudności pytań uzyskuje się wynik będący progiem zaliczenia. W skrócie wygląda to tak, że im łatwiejszy test tym wyższy próg zaliczenia. Jednocześnie im trudniejszy egzamin tym niższy próg zaliczenia. Oznacza to, że wyeliminowany zostaje ludzki czynnik stworzenia zbyt trudnego czy zbyt łatwego egzaminu. Jak widać, tytułowy 40% próg zaliczenia oznacza, że egzamin powinien być średnio trudny - a nie jak sugeruje pierwsze wrażenie mojego znajomego - łatwy.

5. Sprawdzenie przez egzaminatorów zewnętrznych

Tak przygotowany test następnie wysyłany jest to egzaminatorów zewnętrznych (external examiners). Jest to grupa dwóch, trzech pracowników innych uniwersytetów, których zadaniem jest monitorowanie standardów nauczania na naszej uczelni. Każdy liczący się uniwersytet ma zewnętrznych egzaminatorów. To jeden z elementów utrzymywania standardów nauczania. Mają oni możliwość oceny egzaminu, a ich komentarze to ważny element procesu poprawy jakości egzaminu. Po wprowadzonych poprawkach, na miesiąc przed egzaminem drukowane są wszystkie arkusze.

6. Dzień egzaminu

Jak w nagłówku.

7. Analiza wyników egzaminu

Wyniki egzaminu poddawany są następnie szczegółowej analizie psychometrycznej. Obliczana jest rzetelność testu (współczynnik alfa Cronbacha, jego łatwość/trudność) oraz analizowane są wyniki każdego z pytań. To daje matematyczny pogląd na rzeczywiste wyniki. Po tym wszystkim grupa egzaminatorów analizuje uzyskane wyniki i zatwierdza rezultaty. Raport trafia do egzaminatorów zewnętrznych.

8. Informacja zwrotna do studentów - feedback

Wyniki egzaminu podawane są do wiadomości studentów. Następnie każdy ma możliwość przejrzenia swojego arkusza.

Podsumowanie

Proces egzaminowania wcale nie jest łatwy, a samo napisanie pytań nie jest wystarczające do stworzenia dobrego egzaminu. Można jednak zadać sobie pytanie: właściwie po co aż tak komplikować cały proces? Chociażby po to, żeby :
1. cały proces był przejrzysty - i to zarówno dla innych nauczycieli, uniwersytetu oraz... rządu, który w ostateczności finansuje naukę.
2. mieć silne dowody na to, że egzamin jest rzeczywiście dobrym egzaminem W końcu decyduje on o drodze życiowej zdających.

Jak widać tytułowe 40% w rzeczywistości nie świadczy o zbyt łatwym egzaminie.