Matura bez gwarancji

   Reformujący oświatę zapowiadali, że ujednolicone pisemne egzaminy maturalne, weryfikowane przez komisję zewnętrzną, będą dzięki tym samym kryteriom i arkuszom odpowiedzi jednolicie oceniane w całej Polsce. Czy twierdzeniom o obiektywnym i niezawodnym pomiarze można zaufać? Badania Instytutu Spraw Publicznych dowodzą, że marzenie o maturalnej utopii rażąco się nie sprawdza, tym samym nowa matura traci moc porównywalności.
Oto szczegóły. Eksperci instytutu wzięli pod uwagę po 50 różnych prac z języka polskiego, historii i matematyki pisanych w 2002 r., gdy zmieniona formuła egzaminu była już do wyboru. Każdy arkusz poprawiało ośmiu doświadczonych specjalistów, wskazanych przez Regionalne Komisje Egzaminacyjne, tym samym instytut uzyskał po 400 not łącznych, które poddał obróbce statystycznej.

   Opiszę je jak najprościej. Oczywiste jest, że prace maturalne mają bardzo różny poziom, czyli można mówić o efekcie zróżnicowania jakości prac. Gdyby wszyscy poprawiający kierowali się tymi samymi zasadami i wykazywali identyczną lub podobną umiejętność w dostrzeganiu wartości prac, wówczas efekt zróżnicowania zbliżyłby się do 100 proc. Im niższe procenty, tym mniej zgodności i mniej obiektywizmu w maturalnej punktacji.
   Pozostałe dwa efekty ujmują różnice w ocenianiu w następujący sposób. Niektórzy egzaminatorzy są łagodni w ocenach, inni surowi. Jeżeli wszystkie noty odchylają się od przeciętnej w dół lub w górę, pojawia się efekt egzaminatora. Jeżeli jednak korektorzy zmieniają sposób oceniania od pracy do pracy i nie są konsekwentni, wówczas mamy do czynienia z efektem interakcji praca - egzaminator.
   Fachowcy z instytutu kierowani przez Romana Dolatę przedstawili w publikacji "Reforma egzaminu maturalnego, oceny i rekomendacje" (Warszawa 2004) kilkadziesiąt tabel i wykresów, z których jednoznacznie wynika, że ośmiu wyselekcjonowanych (w domyśle: najlepszych) egzaminatorów mimo jednolitych kryteriów poprawiło prace z języka polskiego (łącznie z czytaniem ze zrozumieniem), rozprawki z historii oraz zadania otwarte (nazywam je "z treścią") z matematyki tak niejednolicie, że można mówić o niemożności wypracowania dalekiego od subiektywizmu wzorca poprawiania prac.
   Załamał się tym samym fetysz pedagogiki ostatniego ćwierćwiecza: idealny, krystaliczny, bezdyskusyjny pomiar. Nad maturą starą lub nową musi ciążyć omylność poprawiających, zaś kryteria nowej matury w wersji z 2002 r. (podtrzymywanej konsekwentnie na maturze w 2005 r.) kompromitują się i zdaniem instytutu muszą zostać całkowicie zmienione.

   Z morza danych wybieram tylko najważniejsze. Efekt zróżnicowania prac (przypominam: powinien zbliżyć się do 100 proc.) wyniósł z języka polskiego z arkusza I - 55 proc. (skala rozwinięcia tematu 47 proc., skala kompozycji 36 proc., skala stylu 35 proc., skala poprawności językowej 44 proc., skala szczególnych walorów pracy 22 proc.), z arkusza III - 49 proc., z arkusza II, czyli z czytania ze zrozumieniem, 80 proc.; z historii z arkusza I z zadań niejednoznacznych, czyli wymagających udzielenia krótkiej odpowiedzi, 55 proc., 61 proc., 69 proc. i 30 proc., z arkusza II, czyli z interpretacji tekstów źródłowych, 58 proc., wreszcie z matematyki z poszczególnych zadań arkusza I - od 97 proc. do 92 proc., z arkusza II - od 96 proc. do 73 proc. (tak!).
   Jeszcze ostrzej dowolność oceniania dostrzec można, zestawiając ocenę minimalną z maksymalną. W zależności od tego, na jakiego egzaminatora trafiłby maturzysta, mógłby zdobyć z języka polskiego 6 pkt lub 38, 22 lub 60, 12 lub 44, 30 lub 62, 29 lub 86, z czytania ze zrozumieniem (miało być niezawodne!) 16 lub 24, 10 lub 17, 20 lub 27; z historii 15 lub 34, 9 lub 22, 11 lub 25, 21 lub 30. A z matematyki:
   Dla pracy rekordzistki nr 34 rozstęp między oceną maksymalną a minimalną wynosi 17 pkt. Jednak dla większości prac rozstęp ten jest mniejszy i w sumie średni wynosi 6,9 pkt, co stanowi 12 proc. teoretycznej zmienności wskaźnika sumarycznego (0 - 60 pkt) - _komentuje Dolata.
   Przełóżmy otrzymane wyniki na los maturzysty, który stara się o przyjęcie na uczelnię tylko na podstawie wyników egzaminu dojrzałości. Jeżeli młody człowiek miał szczęście i trafił na egzaminatora życzliwie do jego pracy ustosunkowanego, uzyskał wielką przewagę nad pechowcem, którego wypracowanie lub zadanie matematyczne korygowała osoba inaczej rozumiejąca te same kryteria. O przyjęciu lub nieprzyjęciu decyduje często kilka punktów. Tymczasem różnice sięgają nawet kilkunastu.
   Tak właśnie będzie się przedstawiać obiektywizm matury w 2005 r. Ironia losu: miało być znacznie lepiej, nowa matura w twierdzeniach reformatorów przedstawiana była jako system doskonały, niektórzy publicyści śpiewali na jej cześć hymny pochwalne, żądano przyśpieszenia egzaminu w imię postępu i sprawiedliwości, tymczasem wcale lepiej nie jest, czyli cały efekt propagandowy pękł jak bańka mydlana.
   Autor badań tak rzecz komentuje:
   \* _Skala kryterialna rozwinięcia tematu miała być fundamentem obiektywności całej oceny jakości wypracowania. Okazuje się, że jest to bardzo słaby fundament.
   \* Jak widzimy, system punktacji skali rozwinięcia tematu ma bardzo niską rzetelność.
   \* Skala jakości stylu pracy wydaje się wręcz zachęcać do stosowania partykularnych zamiennych od pracy do pracy kryteriów. Efekt interakcji przekraczający połowę całej zmienności ocen wskazuje, że jest to skala w najwyższym stopniu wadliwa.
   A z matematyki:
   \* Ogólny niepokój co do jednoznaczności modeli odpowiedzi do arkusza II częściowo znalazł potwierdzenie. To tylko upewnia nas, że konieczne jest sprawdzanie modeli odpowiedzi w trakcie badań standaryzacyjnych na znacznych próbkach prac. (...) Szczególnie należy poprawić metodykę tworzenia modeli odpowiedzi, zwłaszcza dla bardziej złożonych strukturalnie zadań.

   Dolata w imieniu pedagogów - specjalistów od pomiaru - kreśli wizję przyszłości maturalnego egzaminowania tak techniczną, tak zbiurokratyzowaną i podporządkowaną statystyce, że ta wizja mnie przeraża (ponadto jest w polskiej rzeczywistości z góry skazana na niepowodzenie). Posłuchajmy pięknej bajeczki zainspirowanej europejską i przede wszystkim amerykańską ideą powszechności testów.
   Centralna Komisja Egzaminacyjna staje się urzędem wielkiej wagi, na pewno najważniejszym w systemie oświaty. Otrzymuje wysoki budżet, gdyż egzaminy są kosztowne. Według nieprecyzyjnych obliczeń w Stanach Zjednoczonych każdy wymaga od 15 do 67 dolarów, w Anglii 75 funtów, we Francji od 1637 do 2290 franków, więc trudno wyobrazić sobie, aby te koszty pokrywał polski, na ogół biedny, maturzysta. Do kwot potrzebnych na organizację egzaminu dochodzą wydatki na częste szkolenie egzaminatorów oraz na szeroko zakrojone prace standaryzacyjne.
   Nowa komisja czy nowy instytut o statusie naukowym, wzbogacony kadrowo, kieruje się planem 10-15-letnim. Ważną rolę odgrywają badania standaryzacyjne, dotychczas wbrew zasadom tworzenia procedur egzaminacyjnych lekceważone (Dolata taką strategię nazywa ułomną). Ponieważ dobre narzędzia nie powstają natychmiast, dlatego czasami trzeba 3 - 4 cyklów, by uzyskać narzędzia o pożądanych cechach.
   Dla każdego testu (a powinna ich być wiązka) trzeba zbudować skalę mierzącą jego rozumienie. Trzeba też unikać tak zwanej inteligencji testowej, to znaczy sytuacji, że uczeń rozpoznaje zasadę konstruowania testu i po prostu test rozszyfrowuje z korzyścią dla siebie. Dalsze doskonalenie narzędzi pomiaru powinno uwzględnić takie zmienne, jak: płeć, pochodzenie społeczne, geografię szkoły.
   Dolata sugeruje też rozwiązania nazwane post factum, _czyli korektę wyników egzaminu już po próbie. Dostrzega dwa sposoby działań: pierwszy to przebadanie ocen wszystkich egzaminatorów w ujednoliconej oświatowo Polsce i mechaniczne dodawanie lub odejmowanie punktów za prace ocenione za łagodnie lub za ostro. Drugi to skanowanie prac celem wprowadzenia kolejnego egzaminatora, z tym że zasada, wedle której wystawiałoby się notę sumaryczną, wymagałaby dłuższych dyskusji (statystyczny kompromis, nota wyższa, niższa, dialog prowadzący do kompromisu?).
   Te wszystkie zabiegi, konieczne dla uzyskania wyników najsprawiedliwszych, wymagałyby kategorycznie albo rozpoczynania egzaminu dojrzałości już w marcu, albo przesunięcia rekrutacji na termin znacznie późniejszy (wrześniowy nasuwa się sam przez się).
   Dolata zwraca też uwagę na zaniżone kryterium zaliczania egzaminów. 30 proc. wymagań na notę pozytywną na poziomie podstawowym i 40 proc. na rozszerzonym kompromituje nasz system oświatowy na tle ustaleń w innych krajach i zaniża wyniki matury.
   Z tym i tylko z tym postulatem eksperta od pomiaru się zgadzam: pozostałe sugestie są nierealne z powodów po pierwsze - finansowych, po drugie - organizacyjnych (jak długo doskonalenie niedoskonałości by trwało - lata całe? !), po trzecie - merytorycznych (usuwanie rozbieżności drogą dorzucania lub odejmowania punktów przeraża mnie jako zabieg formalny i wobec wielu prac trafnie ocenionych niesprawiedliwy).
   Najmocniej przeciwko dominacji pomiaru pedagogicznego nad zawsze złożonym procesem nauczania opowiadam się jako polonista, historyk, a może także geograf, biolog, matematyk, fizyk (zadania otwarte, konstrukcyjne itp.). Pomiar idealnie może się sprawdzić tylko wówczas, jeżeli odpowiedzi na pytania będą zamknięte, czyli jednoznaczne. Tymczasem naukowa rzeczywistość także z przedmiotów ścisłych bywa dyskusyjna, wymaga nie tylko potwierdzania czy przeczenia wskazanej sugestii, nie tylko wybierania jednej z gotowych odpowiedzi lub przyporządkowywania cech z listy "a" liście "b", ale żąda hipotez, argumentów, precyzji opisu, myślenia na granicy błędu, rozważań nietypowych, dalekich od standardu powielanych wykonań.
   Biurokratyczny moloch, zarządzający programem szkolnym i egzaminami, podporządkowujący maturę i pozostałe sprawdziany z każdego przedmiotu swoim wąsko pojętym celom spod znaku idealnej statystyki, to rzecz nie do przyjęcia.
   Humanistyka zaś będzie zawsze w ocenie kłopotliwa, gdyż łączy się z poszukiwaniem, błądzeniem, wahaniem, zbijaniem racji, polemiką, filozofią widzenia świata, rywalizacją na siłę słów i sprawność retoryczną. Humanistyka jest niepotulna, oryginalna, dąży do pierwiastka twórczości. Kto wypracowaniom z polskiego, komentarzom z historii, rozważaniom np. z ekologii odmawia prawa do olśnień, objawień, ale także fałszywych tropów, ten chce narzucić wolnemu myśleniu intelektualną niewolę.
   Sam Dolata jakby nie ufał skuteczności własnych propozycji, skoro zacytował wyniki badań przeprowadzonych także przez Instytut Spraw Publicznych pod kierownictwem Elżbiety Putkiewicz. _Sondaż opinii nauczycieli o nowych rozwiązaniach maturalnych wskazuje, że wierzą w możliwość w pełni trafnego mierzenia osiągnięć szkolnych z takich przedmiotów, jak matematyka czy fizyka. Ale tylko 7 proc. nauczycieli przedmiotów maturalnych uznało, że za pomocą systemów punktacji można w pełni trafnie ocenić osiągnięcia z historii, a tylko 3 proc. - osiągnięć z języka polskiego. Mamy wrażenie, że ten sceptycyzm jest też udziałem wielu egzaminatorów humanistów.

   Numeruję je dla łatwości myślenia o sprawach niezmiernie ważnych, z punktu widzenia społecznego kłopotliwych, bulwersujących szkoły średnie i uczelnie wyższe, spędzających sen z oczu maturzystów, ich rodziców i nauczycieli.
   1. Rozwiązania dotyczące matury 2005 r. zostały już wybrane, ogłoszone publicznie w Informatorze, tym samym możliwe jest tylko staranniejsze przemyślenie tematów i uważne przestudiowanie list kryterialnych. Jak przebiegnie egzamin, co się wydarzy podczas rekrutacji, co powiedzą zainteresowane strony, dopiero zobaczymy.
   2. Trzeba zgodzić się z faktem, że dla czystości matury, przestrzegania elementarnych wymagań, także dla obiektywizmu egzamin zewnętrzny, sprawdzany przez niezależną komisję, to norma w cywilizowanej Europie. Nie może więc być mowy o powrocie do matury pisemnej w dawnej wersji wewnątrzszkolnej, musi działać Centralna Komisja i jej regionalne mutacje, muszą też obowiązywać jednakowe kryteria oceniania.
   3. Dyskusja nad formułą egzaminu oraz zasadami oceniania prac winna się rozpocząć niezwłocznie i przybrać na sile po czerwcu 2005 r. Taka dyskusja toczyła się i toczy nadal w pismach fachowych. Na ich łamach nauczyciele i dydaktycy uniwersyteccy wielokrotnie przenicowali projekty próbne (między innymi z 2002 r.), ale głosy oponentów zostały zlekceważone przez Centralną Komisję oraz Ministerstwo Edukacji. O tym na przykład, że sposób poprawiania matury z języka polskiego jest błędny, ba, kuriozalny (między innymi nie liczą się merytoryczne uchybienia, zaś arkusze odpowiedzi przeczą zasadom interpretacji tematu), pisałem na łamach "Polonistyki" i "Zeszytów Szkolnych" oraz "Dziennika Polskiego" kilkakrotnie. Odbyły się także sesje na uniwersytetach w Katowicach i w Gdańsku, krytyczne wobec nowej matury, mimo to Centralna Komisja trwała w uporze przez trzy lata, nie wycofując się z absurdów, i nadal wierzyła w porównywalność egzaminów, chociaż z tej porównywalności kpili specjaliści.
   4. Skoro myśl o idealnie takim samym egzaminie maturalnym, ocenianym w całej Polsce jednakowo, trzeba uznać za mrzonkę, może warto odejść od maniakalnej centralizacji, by powrócić do idei egzaminu opartego na tych samych zasadach, lecz różnego w ośmiu okręgach (tak jest w wielu krajach europejskich). Centralizacja wydaje się niebezpieczna chociażby ze względu na niebezpieczeństwo powtórki matury w całej Polsce (lepiej ją powtarzać w cząstkach).
   5. Co mają uczynić wyższe uczelnie wobec zreformowanej i nadal nieobiektywnej matury? Niech rozstrzygają same, pilnie bacząc, czy matura jest czy też nie jest ściągana. Egzamin wstępny także nie będzie do końca__obiektywny, pracownicy uczelni też poprawiają prace bardzo różnie, też są omylni, a często niedbali i pewni własnej, często urojonej doskonałości, dlatego nie ma żadnej gwarancji, iż w budynkach uczelnianych spełnia się jakaś nadzwyczajna sprawiedliwość (zamiast ściągania pojawiają się listy wybrańców po odwołaniach, o czym świadczy sytuacja na prawie w Gdańsku). JASNE ZASADY REKRUTACJI TO WARUNEK NIEZBĘDNY, WARTO JEDNAK BRAĆ POD UWAGĘ WYNIKI UZYSKIWANE PRZEZ UCZNIÓW W SZKOLE, WARTO DOWARTOŚCIOWAĆ NOWĄ MATURĘ TYTUŁEM PRÓBY. Ale możliwe są i inne warianty postępowania: wyznaczanie, jak np. w Anglii, dodatkowych zadań dla absolwentów, tworzenie długofalowej rekrutacji na kierunki cieszące się największym zainteresowaniem, szukanie rozwiązań mniej typowych premiujących zdolności potwierdzone w konkursach, wymyślanie jakichś grantów itp.
   Tak naprawdę opinia publiczna została oszukana zarówno przez władze szkolne, jak przede wszystkim przez nieodpowiedzialnych publicystów, którzy świadectwo maturalne bez względu na jego walory potraktowali jako glejt na każdy kierunek studiów. W rekrutacji na wyższe uczelnie działa już od dawna i nadal będzie działać prawo podaży i popytu. Innymi słowy: gdzie będzie tłok, tam będą (i powinny być, co z poczuciem odpowiedzialności stwierdzam) takie lub inne formy egzaminów (rozmów, sprawdzianów) dodatkowych. Gdzie zaś rekrutacja nie wykroczy poza przeciętne zainteresowanie, tam rozstrzygać powinna matura (trochę lepiej, że nowa i zewnętrzna). Tam zaś, gdzie zabraknie kandydatów, uczelnie przyjmą każdego nawet poniżej poziomu, co, niestety, źle będzie świadczyć (i już świadczy) o morale szkół wyższych, tak państwowych, jak prywatnych.
   Wniosek ostateczny: nowa matura w wersji marnej lub doskonalszej (może się takiej doczekamy) tak naprawdę sytuacji absolwenta - kandydata na uczelnię nie zmieni. Miejsc jest tyle, że każdy będzie mógł się uczyć dalej, ale tylko najlepsi, najszczęśliwsi (lub najbardziej protegowani) znajdą się na kierunku wybranym. I tę bolesną prawdę, jak i pozostałe wnioski, przekazuję pod dyskusję zainteresowanym stronom.