PISA-próf – gagnsemi, gallar og úrbætur

Forsendur fyrir samanburði

PISA-prófið, sem lagt er fyrir 15 ára unglinga í fjölmörgum löndum á þriggja ára fresti, er í grundvallaratriðum mjög gott og gagnlegt að mínu mati, úthugsað og vel samið, og getur þess vegna gefið mikilvægar upplýsingar um stöðu nemenda og verið góður grundvöllur til samanburðar, bæði milli landa og frá ári til árs. En þá þarf að vera tryggt að samræmi milli frumtexta og þýðingar sé sem mest. Það tel ég að hafi brugðist í íslenskri útgáfu prófsins, a.m.k. í prófinu frá 2015 sem ég skoðaði vel (sjá bls. 100 o.áfr.) og gagnrýndi nokkuð harkalega – ég hef ekki haft tök á að kanna prófið frá 2018 með sama hætti.

Til að raunhæfur samanburður milli landa geti farið fram þurfa að liggja fyrir upplýsingar um til hvers sé hægt að ætlast. Fyrir ensku, og væntanlega fjölda annarra mála, eru til ítarlegar upplýsingar um eðlilegan orðaforða 10 ára barna, 11 ára barna, 12 ára barna o.s.frv. Það má almennt gera ráð fyrir að börn tileinki sér algengustu orð málsins fyrst, og eftir því sem þau eldast læri þau fleiri og sjaldgæfari orð. Því þarf að hafa skrá um algengustu orð málsins í tíðniröð til að velja þau orð sem eru notuð í þýðingu prófsins, og reyna eftir því sem unnt er að gæta samræmis þannig að algengt orð í ensku sé ekki þýtt með sjaldgæfu orði á íslensku, og öfugt.

En hvernig er staðan hjá okkur? Engar upplýsingar um orðaforða mismunandi aldurshópa eru til fyrir íslensku. Við höfum m.ö.o. ekki hugmynd um það hvaða orð er eðlilegt að 15 ára unglingar hafi á valdi sínu. Er t.d. eðlilegt að ætlast til að þeir þekki orðið skeið í merkingunni ‘tímabil’, svo að tekið sé dæmi úr PISA 2018? Við þessum skorti á upplýsingum er svo sem ekkert að gera – nema gera vandaðar rannsóknir á orðaforða barna og unglinga til að koma upp viðmiðum um orðaforða hvers aldurshóps. Ég get vel skilið að það sé hvorki á verksviði né valdi Menntamálastofnunar að gera slíkar rannsóknir – en þær eru bráðnauðsynlegar.

Orðtíðniskrá fyrir íslensku hefur verið í tæp 30 ár, síðan Íslensk orðtíðnibók kom út 1991. Hún byggist á 500 þúsund orðum úr fáum textaflokkum, en frá 2012 hefur verið hægt að nýta Markaða íslenska málheild sem hefur að geyma 25 milljónir orða úr fjölmörgum textaflokkum, og síðan í fyrra hefur verið hægt að nýta Risamálheild sem inniheldur 1,4 milljarða orða úr fjölbreyttum textum. En ég veit ekki til þess að þessar skrár hafi verið nýttar við þýðingu PISA-prófsins sem mér finnst alveg stórfurðulegt og gagnrýnisvert.

Mikilvægi tíðniupplýsinga

Í nýrri grein í Netlu hafa Auður Pálsdóttir og Sigíður Ólafsdóttir sýnt fram á að í PISA-prófinu 2018 er töluvert um ósamræmi í tíðniflokkum orða milli frumtexta og þýðingar, og í meira en 2/3 þeirra dæma sem þær skoðuðu hallar á íslenskuna, þ.e. íslensku orðin eru í sjaldgæfari tíðniflokki en þau ensku. Eftirfarandi tafla er úr grein Auðar og Sigríðar:

Til að gefa hugmynd um það hversu mikil áhrif vinnubrögð við þýðingu geta haft á niðurstöður prófsins tek ég dæmi úr sýnihefti um lesskilningsverkefni í PISA sem Námsmatsstofnun, fyrirrennari Menntamálastofnunar, gaf út 2008 (og endurbætta útgáfu 2017). Þar er texti sem þýddur var fyrir prófið árið 2000 en fór á flakk haustið 2016 og olli mikilli hneykslun á Facebook og víðar – svo mikilli að Menntamálastofnun sá sig knúna til að senda frá sér frétt um hann. Þar sagði að í heftinu væri „ekki sá texti sem notaður var í sjálfu prófinu. Þegar heftið var tekið saman vildi svo til að rangur texti var valinn en ekki hin endanlega útgáfa“. Stofnunin birti svo aðra útgáfu sem hún sagði að hefði verið notuð í prófinu. Lítum nú á eina málsgrein úr frumtextanum (bls. 62) ásamt upphaflegu þýðingunni og hinni endanlegu.

Til að gefa hugmynd um það hversu mikil áhrif vinnubrögð við þýðingu geta haft á niðurstöður prófsins tek ég dæmi úr sýnihefti um lesskilningsverkefni í PISA sem Námsmatsstofnun, fyrirrennari Menntamálastofnunar, gaf út 2008 (og endurbætta útgáfu 2017). Þar er texti sem þýddur var fyrir prófið árið 2000 en fór á flakk haustið 2016 og olli mikilli hneykslun á Facebook og víðar – svo mikilli að Menntamálastofnun sá sig knúna til að senda frá sér frétt um hann. Þar sagði að í heftinu væri „ekki sá texti sem notaður var í sjálfu prófinu. Þegar heftið var tekið saman vildi svo til að rangur texti var valinn en ekki hin endanlega útgáfa“. Stofnunin birti svo aðra útgáfu sem hún sagði að hefði verið notuð í prófinu. Lítum nú á eina málsgrein úr frumtextanum (bls. 62) ásamt upphaflegu þýðingunni og hinni endanlegu.

Væntanlega velkjast fæstir í vafa um það að endurskoðaða þýðingin sé á miklu vandaðri íslensku. En hér er samt margs að gæta. Eitt er það að endurskoðaða þýðingin er rúmum þriðjungi lengri en bæði frumtextinn og upphaflega þýðingin – 27 orð á móti 20. Fjöldi málsgreina og orðafjöldi eru tveir stuðlar af þremur í LIX-formúlunni sem oft var notuð til að reikna þyngdarstig texta. Þriðji stuðullinn er fjöldi orða sem eru meira en sex bókstafir – tvö í upphaflegri þýðingu, fimm í endurskoðun. Sé LIX-formúlunni beitt á þetta dæmi kemur út að textinn í upphaflegu (vondu) þýðingunni er léttastur (LIX 30), þar á eftir kemur enski frumtextinn (LIX 35), en endurskoðaða þýðingin er langþyngst (LIX 45). Nú er auðvitað ekki hægt að alhæfa út frá einni málsgrein, auk þess sem skiptar skoðanir eru um gildi LIX-formúlunnar. En varla leikur vafi á því að lengd málsgreina og löng orð hafa áhrif á lesskilning. Þess vegna þarf að huga að þessu í þýðingunni.

Í enska textanum er vatnið í ánni brown, og það er þýtt sem brúnt í upphaflegu þýðingunni – sem er auðvitað ekki röng þýðing, þannig séð. En í endurskoðuðu þýðingunni er vatnið orðið mórautt. Nú er það í samræmi við íslenska málhefð að tala um á í vexti sem mórauða eða kolmórauða frekar en brúna. Í þeim skilningi er augljóslega betra mál á endurskoðuðu þýðingunni. Hins vegar er alls ekki víst að unglingarnir sem taka prófið þekki lýsingarorðið mórauður. Í Risamálheild eru 9.418 dæmi um brúnn, en aðeins 562 um mórauður. Sé litið á tíðniröð er brúnn í sæti 7.120, en mórauður í sæti 48.118. Til samanburðar er brown í sæti 1.782 í enskri tíðniskrá. Þótt þessi breyting virðist til bóta, frá sjónarmiði íslensks máls, þá gerir hún textann í raun þyngri og skekkir þar með samanburðargrundvöllinn.

Orðið dissolving í enska textanum er upphaflega þýtt með eyða upp en í endanlegum texta með svarfa úr. Í Risamálheild eru 113.079 dæmi um eyða (þar af aðeins 152 um eyða upp) en 15 dæmi um svarfa (þar af 3 um svarfa úr) og eyða er í sæti 1.087, en svarfa er ekki meðal fjögur hundruð þúsund algengustu orða málsins. Til samanburðar er dissolve í sæti 4.337 í ensku. Það má því segja að orðið í prófinu sjálfu sé alltof þungt, en orðið í upphaflegu þýðingunni of létt ef miðað er við sögnina eina en of þungt ef miðað er við sambandið eyða upp. Ég er ekki að halda því fram að þetta sé dæmigert fyrir vinnubrögð við þýðingu prófsins. Ég er bara að benda á hvað það skiptir miklu að þýðingin sé byggð á bestu tiltæku upplýsingum um orðaforða og orðtíðni. Það hefur ekki verið gert.

Ég er ekki einn um að hafa gert athugasemdir við þýðingu og málfar PISA-prófsins. Ásdís Bergþórsdóttir sálfræðingur gagnrýndi þýðinguna harðlega fyrir þremur árum, og ég sá ekki betur en sú gagnrýni væri réttmæt að mestu leyti. Anna Ingólfsdóttir, prófessor í tölvunarfræði við HR og framhaldsskólakennari í stærðfræði til margra ára sagði nýlega á Facebook: „ég tel að Písakönnuninni þurfi að taka með fyrirvara. Ég sá til dæmis eitt verkefnið í raungreinum og það var svo illa þýtt (óljóst orðalag) að ég átti fullt í fangi með að átta mig til hvers var ætlast. Ef það á að bera saman niðurstöður úr mismunandi löndum, þarf maður að vera viss um að prófin séu sambærileg.“ Í þessu sambandi er rétt að vekja athygli á að í bæði stærðfræði- og náttúrufræðiprófunum er mikill texti, og skilningur á honum er forsenda þess að geta svarað spurningunum, ekki síður en kunnátta í stærðfræði og náttúrufræði.

En samt …

Þrátt fyrir að hafa miklar efasemdir um marktækni íslenska PISA-prófsins finnst mér ekki ástæða til að draga í efa að lesskilningi íslenskra ungmenna fari hrakandi, en ég held að það endurspegli fyrst og fremst veikari stöðu íslenskunnar í málsamfélaginu á síðustu árum en áður – sem ýmsar vísbendingar eru um. Það hefur margsinnis verið bent á hvernig samfélags- og tæknibreytingar hafa þrengt að íslenskunni undanfarinn áratug. Börn og unglingar eru í miklu meiri tengslum en áður við enskan málheim og lesa minna á íslensku. Það getur leitt til þess að þau tileinki sér ekki ýmis orð og setningagerðir sem eru forsenda þess að skilja fjölbreytta texta til hlítar. Þróunin ætti því ekki að koma á óvart, en þetta kallar á önnur viðbrögð en ef um tæknileg atriði varðandi lestur er að ræða. Læsisátakið sem hefur verið í gangi er ugglaust gott og gilt en það er samt hætt við að það skili litlu ef ekki er um leið hugað að því að styrkja stöðu íslenskunnar í samfélaginu, ekki síst meðal barna og unglinga.

Til þess þarf margvíslegar aðgerðir og það er mikilvægt að ráðast að rótum vandans, og fráleitt að varpa allri ábyrgðinni á skólakerfið eða kenna því um stöðuna. Ef við viljum bæta lesskilning ungs fólks er forgangsverkefni að efla rannsóknir á íslenskum orðaforða og setningagerð – setja fram rökstudd viðmið um það hvaða orðaforða og hvaða setningagerðir hver aldurshópur þarf að hafa á valdi sínu, og útbúa síðan viðeigandi kennsluefni fyrir hvern aldurshóp. Til að öðlast góðan lesskilning þurfa börnin að læra annars konar orðaforða en fæst með venjulegum yndislestri, og ná valdi á fjölbreyttari og flóknari setningagerðum en notaðar eru í samtölum og afþreyingarefni. Þennan orðaforða og þessar setningagerðir þarf að kenna sérstaklega, með því að láta börn og unglinga lesa viðeigandi texta. Það þarf líka að stórauka framboð á fjölbreyttu fræðslu- og afþreyingarefni á íslensku.

Það er mjög mikilvægt að auka íslenskukennslu í skólum og endurskoða námsefni eins og á að gera samkvæmt þingsályktun síðan í vor, en það dugir skammt ef grundvöllurinn, sem er lagður á máltökuskeiði á fyrstu árum barnsins, er of veikur. Samtal foreldra og barna, og lestur fyrir börn og með börnum, er frumforsendan. Ef þessi grundvöllur er sterkur getur skólakerfið byggt ofan á hann og eflt lesskilning. En þá skiptir máli að kennslutíminn sé nýttur vel – ekki í ófrjóa greiningarvinnu eða vonlausa baráttu við langt gengnar málbreytingar, heldur í lestur hvers kyns texta, eflingu orðaforða og þjálfun í ritun og munnlegri tjáningu. Það skiptir öllu máli að átta sig á að ábyrgðin á því að bæta úr verður ekki lögð á skólakerfið eitt og sér – þetta er ekki síður verkefni foreldra og annarra uppalenda, og samfélagsins í heild.[/cs_text]