Slovenija goljufa v mednarodnih raziskavah znanja PISA?

Rezultati najnovejše raziskave OECD PISA 2012, ki meri matematično, naravoslovno in bralno pismenost, so bili po vsem svetu objavljeni v torek, 3. decembra. V mesecu pred objavo pa so skandinavski (prvi je bil največji švedski dnevnik Dagens Nyheter) in britanski mediji objavili novico, da naj bi nekatere države, zlasti pa Slovenija, Italija in Saudova Arabija, ponarejale podatke v bazah podatkov.

Vsi časniki so se sklicevali na še neobjavljeno študijo Can We Trust Survey Data? The Case of Pisa (Ali lahko zaupamo podatkov raziskav? Primer raziskave PISA) raziskovalcev iz Nemčije in Kanade, Jörga Blasiusa and Victorja Thiessena.

Ko je novica dosegla v Slovenijo, smo se najprej vprašali, za kakšne vrste goljufanje gre. Namerno prirejanje podatkov je namreč zaradi uporabljene metodologije izredno zahtevno in bi zaradi notranje nekonsistentnosti podatkov premalo veščega goljufa zelo hitro odkrili.

Za kaj je torej šlo v primeru obtožbe Slovenije oziroma njenih raziskovalcev? Raziskava PISA, kjer se poleg testov znanja med instrumenti uporabljajo tudi različni vprašalniki, ki jih izpolnjujejo dijaki, učitelji in ravnatelji, naj bi bila nepoštena v delu, ki se tiče ravnateljskih vprašalnikov. Raziskovalca naj bi odkrila, da se v bazi podatkov določeni zapisi podvajajo (potrojujejo ipd.), kar naj bi jih navedlo na sum, da so sfabricirani. Podatki se v slovenskih bazah v določenem delu res ponavljajo, kar se zlahka preveri v bazah podatkov, ki so prosto dostopne na strani OECD. Zapisi so enaki zaradi posebnosti slovenskega šolskega sistema, da je en ravnatelj odgovoren za več izobraževalnih programov. Ker so v Sloveniji v raziskavo zajeti (večinoma) dijaki vseh izobraževalnih programov, s tem pa tudi njihovi ravnatelji, so eni in isti ravnatelji v posameznih primerih odgovarjali na več istih vprašalnikov. Njihovi odgovori se tako nujno ponavljajo – če se ne bi, bi bilo z njihovimi odgovori nekaj zelo narobe, saj bi pomenilo, da na isto vprašanje ne znajo dvakrat zapored odgovoriti na isti način.

Odgovori v ravnateljskih vprašalnikih tudi v ničemer ne vplivajo na dosežek dijakov, saj se le ta računa s pomočjo podatkov iz testov znanja ter vprašalnikov za dijake. O možnem goljufanju v raziskavi PISA smo povprašali dr. Eugenia Gonzaleza, psihometrika z ustanove ETS, ki je ena največjih svetovnih podjetij za izvajanje različnih testiranj. ETS je od avstralskega ACERja tudi prevzel izvedbo (pa tudi zasnovo, izračune ipd.) prihodnjega zajema PISA 2015. ETS opravlja izračune tudi za druge velike mednarodne raziskave, na primer raziskave IEA (v Sloveniji opravljamo več raziskav pod okriljem te organizacije, denimo raziskave TIMSS, PIRLS in CIVICS). Dr. Gonzalez se z mednarodnimi raziskavami znanja ukvarja že več kot 20 let, v preteklosti med drugim tudi kot direktor Oddelka za izvedbo in analize pri IEA; trenutno pa je poleg tega, da je zaposlen na ETS v Princetonu, ZDA, direktor mednarodnega inštituta IERI, ki se ukvarja z analizo podatkov mednarodnih raziskav znanja in med drugim na številnih seminarjih po vsem svetu poučuje ter z novostmi v metodologiji seznanja raziskovalce in študente.

Dr. Gonzalez, ali ste slišali, da naj bi Slovenija goljufala v mednarodnih raziskavah znanja, konkretno v raziskavi PISA?

Za to sem slišal od svojega sodelavca von Davierja na ETS, ne vem pa, zakaj bi nekdo goljufal ravno pri ravnateljskih vprašalnikih, razen če si ni želel prihraniti nekaj malega dela. Dosežki zaradi tega ne bi bili ogroženi. Lahko bi pomenili razliko edino v državi, če bi želeli prikazati npr. drugačno opremljenost šol, kot je v resnici. Bi pa to bilo slabo z vidika mednarodne kredibilnosti, saj imajo podatki v PISA vednarle določeno težo. Lahko bi na primer dobili drugačno sliko o Sloveniji, kot je dejanska.

Delate na veliko različnih mednarodnih raziskavah znanja. Je bilo v preteklosti kaj pravih poskusov goljufanja pri rezultatih?

Seveda. Države so poskusile goljufati, čeprav je to zelo zakomplicirano. Eno so goljufije na ravni države, ko se skuša sistematično prikazati boljše dosežke, drugo pa je goljufanje šol, ki bi rade bile videti boljše znotraj svoje države. Težje je ugotoviti, ko goljufajo posamezne šole. V raziskavi TIMSS 1995 je bilo videti, da imajo deklice v Kuvajtu veliko višji dosežek kot dečki, česar pa ni nihče verjel. Ozadenjski podatki iz vprašalnikov pa sploh niso bili na voljo. Ampak ker podatki niso bili konsistenstni, so bili rezultati izključeni iz mednarodnega poročila. Kasneje smo sicer odkrili, da v veliko arabskih državah deklice po znanju močno prekašajo dečke. Tudi leta 1999 smo iz podobnih razlogov izključili neko državo. Na ravni državi pa je zelo težko goljufati pri rezultatih, ker je potrebno obdržati konsistentnost pri podatkih za vse šole. To je podobno goljufanju pri davkih ali vožnji skozi rdečo luč. Lahko se zgodi, da jo odnesete brez posledic. Je pa to težko početi ves čas, ne da bi vas pri tem kdo opazil. Vzorec goljufanja se hitro opazi. Lahko bi goljufali vnašalci podatkov, vendar so tudi pri tem vgrajeni varnostni mehanizmi, na primer dvojni vnos določenega števila podatkov. Goljufati je možno praktično pri vseh postopkih v raziskavi, vendar se to običajno pri dosežku ne pozna, ali pa vsaj ne omembe vredno.

Sumničavi smo tudi pri vzorčenju šol in ljudi v raziskavo. Ko kdo v Sloveniji ni zadovoljen z rezultati, običajno reče, da je bilo vzorčenje napačno.

Vedno se, običajno na strani politikov, iščejo izgovori. Na kratko ne morem odgovoriti na to vprašanje, so pa standardne napake v Sloveniji pri vzorčenju vedno zelo majhne, saj v mednarodnih raziskavah znanja v kohorti 18.000 ljudi sodeluje od 4 do 7,000 udeležencev in so možnosti, da bi jih izbrali pristransko, zelo omejene, saj imamo preverjene znanstveno dokazane postopke, ki se jih držimo in na katere države ne morejo vplivati.

Ker poznate vse velike raziskave znanja, vključno s pismenostjo, na svetu, me zanima, ali lahko ocenite sposobnost ljudi, ko se postarajo. V Sloveniji, na primer, v tem času sprejemamo zakone, ki se tičejo starejših, tudi zelo starih ljudi. Zadnje podatke o pismenosti odraslih v Sloveniji imamo iz leta 2000, pokazalo se je, da je njihova pismenost oziroma razumevanje prebranega na izjemno nizki ravni. Ali lahko ocenimo, kakšna je pismenost sedanjih upokojencev, če vemo, kakšna je bila, ko so bili še v delovni dobi? Sumim namreč, da večine sprememb, ki se jih življenjsko pomembno dotikajo, ne morejo razumeti.

Trenutno se na svetu izvaja samo ena raziskava pismenosti odraslih, za del držav je že končana, Slovenija pa bo prišla na vrsto naslednje leto. To je raziskava PIAAC, ki meri znanje in sposobnosti odraslih med 15 in 65 letom, to pa zato, ker države zanima pismenost prebivalstva v aktivni dobi. Nobena mednarodna raziskava se trenutno ne ukvarja s sposobnostmi ljudi, ki so aktivno dobo že zaključili. Pismenost, tako bralna kot računalniška, je za aktivnega človeka izjemnega pomena. Če želite izvajati bančne transakcije, kupovati letalske ali druge karte, najemati kredite, prodajati nepremičnine, morate razumeti, kaj v pogojih in pogodbah piše in morate znati rokovati z računalnikom. Če te stvari za vas opravlja nekdo drug, potem je to za vas dražje. Za podjetja in korporacije je torej v splošnem bolj dobičkonosno, če so ljudje slabo pismeni, ne bi pa to smelo veljati za države. Da pa odgovorim na vaše vprašanje, ali vemo, kakšna je pismenost odraslih, katerih pismenost smo izmerili pred 10 in več leti: ne, tega ne vemo in tudi ne moremo izračunati.