Gauta svarað, um gæði íslenskra háskóla

[container]

Um höfundinn

Einar Steingrímsson

Einar Steingrímsson er prófessor við Strathclyde-háskóla í Glasgow í Skotlandi.

Síðastliðinn föstudag birti Gauti Kristmannsson grein á Hugrás, vefriti Hugvísindasviðs Háskóla Íslands, sem nefnist “Ritrýning á grein eftir Einar Steingrímsson”.  Grein mín, bloggpistill á Eyjunni, var gagnrýni á meðferð ríkisháskólanna á því fé sem þeir fá til rannsókna.  Háskólarnir greiða öllum akademískum starfsmönnum helming launa sinna fyrir rannsóknir (ekki 40% eins og ég hélt) þótt margir þessara starfsmanna hafi aldrei stundað neinar rannsóknir sem verðskulda að heita því nafni, og margir aðeins rannsóknir sem ekki ná því máli að vera gjaldgengar á þeim alþjóðavettvangi sem nánast öll vísindi tilheyra.

Hér reyni ég að svara flestum athugasemdum Gauta.  Auðvitað getur verið að ég sé að misskilja Gauta, því grein hans er skrifuð í þannig stíl að ekki er laust við að mann gruni að hann sé að skopast að þeirri afstöðu sem hann virðist kynna sem sína eigin, enda er grein hans full af háði, og einmitt ekki í þeim vísindalega anda sem hann virðist vera að gagnrýna pistil minn fyrir að skorta.  Enda er vandséð af hverju Gauti telur ástæðu til að fjalla um bloggpistil eins og um vísindaritgerð sé að ræða, og það án þess að reyna að hrekja þær staðhæfingar sem mikilvægastar eru í pistlinum.  Því má vel vera að ég gangi hér í þá gildru að taka alvarlega það sem er í raun kaldhæðin ádeila, sett fram í yfirlætislegum umvöndunartón.  En, af því ég veit að ekki líta allir á þetta sem brandara hjá Gauta tel ég rétt að svara því helsta sem hann segir.

Hvert var markmið bloggpistilsins?

Pistill minn ber yfirskriftina „Þarf að reka 80% háskólakennara á Íslandi úr 40% af starfi sínu?“ og Gauti segir:

,,Við lestur greinarinnar kemur líka í ljós að þetta er ekki nein „rannsóknaspurning“ heldur einfaldlega retorísk spurning sem svara á með já, enda er það gert beinlínis í greininni þar sem segir „það er því varla ofreiknað að 80% akademískra starfsmanna háskóla á Íslandi séu á launum við að stunda rannsóknir sem ekkert vit er að setja peninga í“. Hvaðan höfundur hefur þekkingu til að kveða upp úr um hvaða rannsóknir vit sé að setja peninga í kemur ekki fram og ekki vísar hann til neinna rannsókna um það efni.“

Það er rétt  hjá Gauta að spurningin í fyrirsögninni er retórísk.  Hins vegar ekki að henni beri að svara með já, enda eru retórískar spurningar gjarnan settar fram til að fá fólk til að hugsa út frá nýju sjónarhorni, í þeirri von að það komist að niðurstöðu sem ekki er endilega jafn einföld og spurningin gefur til kynna.  Eins og ljóst er af lestri pistils míns bendi ég á að hægt er að fá óháða erlenda aðila til að meta gæði rannsókna íslensku háskólanna, og skipuleggja starf þeirra í samræmi við það, til dæmis með því að skipta upp í rannsóknaháskóla annars vegar og kennsluháskóla hins vegar.  Auk þess bendi ég í pistlinum á miklu ítarlegri tillögur um endurskipulagningu háskólakerfisins, þar sem ljóst er að ekki er verið að gefa sér fyrirfram hver hlutföllin ættu að vera í slikri skiptingu.

Varðandi það hvort ég hafi þekkingu til að “kveða upp úr um hvaða rannsóknir vit sé að setja peninga í”  legg ég einmitt ekki til að mitt mat á því yrði lagt til grundvallar.  Og auðvitað get ég alls ekki metið gæði rannsókna á öðrum sviðum en mínu eigin þrönga, ef um er að ræða eitthvað sem ekki er augljós þvæla.  En, það þarf  oft enga sérþekkingu til að sjá að tilteknar ritsmíðar, sem birtar hafa verið af starfsmönnum háskólanna á vettvangi sem haldið er fram að sæti ritrýningu, eru tóm þvæla.  Ég gæti hæglega talið upp slatta af slíkum greinum, en ætla að veigra mér við því enn um sinn, af því að með því er hætt við að ég særi fólk sem ekki er endilega sjálft við að sakast (heldur leiðbeinendur og ritstjóra sem eiga að vita betur).

Eru tölurnar sem ég nefni of ónákvæmar?

Gauti fettir fingur út í þá ónákvæmni sem fram kemur í pistli minum varðandi hlutfallstölur, þótt ég bendi á strax í upphafi, eins og hann segir, að tölurnar séu ekki nákvæmar.  Ástæða þess að ég tel ekki þurfa nákvæmar tölur um þetta eru eftirfarandi: Á Íslandi er fjöldi nemenda í háskólanámi svipaður því sem mest gerist (hlutfallslega) í heiminum.  Allir akademískir starfsmenn ríkisháskólanna fá greitt fyrir að helga stóran hluta starfs síns rannsóknum og sama gildir um mjög marga starfsmenn í HR (þótt þar gangi ekki eitt yfir alla, sem er ástæða þess að ég undanskildi HR í upphafi pistils míns, og Gauta fannst furðulegt).  Það er nokkuð augljóst þeim sem einhverja innsýn hafa í háskólakerfi sambærilegra landa að þetta er einstakt fyrir Ísland; í engum öðrum löndum með jafn hátt hlutfall háskólanema er nema lítill hluti kerfisins með alla akademíska starfsmanna í rannsóknastöðum.  Til glöggvunar bæti ég hér við svolitlum upplýsingum um þetta mál, til að auðvelda lesendum að skoða samanburðinn sem ég gerði:

Til samanburðar við Ísland tók ég dæmið um Kaliforníu af því að þar er auðvelt að finna upplýsingar um fjölda nemenda og gróflega um skiptinguna milli rannsókna- og kennsluskóla.  Það er rétt hjá Gauta að upplýsingarnar um þennan nemendafjölda blasa ekki við á þeirri Wikipedia-síðu sem ég tengdi á, en í kaflanum sem ég tengdi beint á er lýst þrískiptingu kerfisins og þar eru tenglar á síður um hvern þessara þriggja hluta, þar sem koma fram tölur um nemendafjölda.  Hér er svo síða sem ég hefði átt að tengja líka á, með lista yfir nemendafjölda m.a. í stóru einkareknu háskólunum í Kaliforníu.  Með því að skoða þessar tölur er auðvelt að sjá að hlutfall nemenda í rannsóknaháskólum er lítið.  Í pistlinum sagði ég það líklega vera 10-15% (byggt á lauslegum útreikningi út frá þeim gögnum sem ég nefni hér), en þótt það væri 50% væri það samt gríðarlegur munur í samanburði við Ísland.

Ég nefni líka eitt og annað sem skekkir þennan samanburð, Íslandi í óhag, nefnilega að margt öflugt íslenskt háskólafólk starfar erlendis, að afar fáir útlendingar starfa við íslensku háskólana, en hins vegar mikill fjöldi útlendinga við rannsóknaskólana í Kaliforníu.  Burtséð frá því ætti niðurstaðan samt að vera ljós: Á Íslandi eru hlutfallslega margfalt fleiri á launum við rannsóknir í háskólum.  Sama gildir um Norðurlöndin, þar sem mikið er af kennsluháskólum auk rannsóknaskólanna.  Sem dæmi má nefna að í Svíþjóð eru um 190.000 nemendur í þeim háskólum sem flokkaðir eru sem “universitet”, sem samsvarar, miðað við fólksfjölda, að um 7.000 nemendur væru í slíkum skólum á Íslandi, en ekki nánast allir 20.000, eins og raunin er. Þar að auki hafa mjög margir kennarar í þessum háskólum í Svíþjóð litlar eða engar rannsóknir sem hluta af starfi sínu, svo talan sem miða ætti við er ekki 7.000 nemendur (eða 35%) á Íslandi, heldur er hún miklu lægri.

Í stuttu máli þekkist það hvergi í löndum með jafn umfangsmikið háskólakerfi og það íslenska að (nánast) allir akademískir starfsmenn fái stóran hluta launa sinna fyrir rannsóknir.  Þessa staðhæfingu hefur Gauti ekki reynt að hrekja, af skiljanlegum ástæðum.

Spurningin er því ansi áleitin hverju þetta sæti:  Eru Íslendingar (nánar tiltekið þeir sem búa á Íslandi) svo miklu öflugra fræðafólk að upplagi að það skýri þennan gríðarlega fjölda?  Eða getur verið að meira sé gert úr gæðum rannsókna alls þessa fólks en efni standa til?  Mikið er gert úr þessum gæðum, því bæði HÍ og HR, sem samtals eru með 90% háskólastarfsins, þykjast ætla að komast framarlega á alþjóðavettvangi í rannsóknum og forysta HÍ hefur staðið stöðugan vörð um það kerfi sem greiðir öllum akademískum starfsmönnum fyrir rannsóknir, líka þeim sem engum afrakstri skila, eða bara afrakstri sem ekki er birtur á þeim alþjóðavettvangi sem HÍ segist vilja gera sig gildandi á.

Mælikvarðar á fræðastörf — undirmáls- og afburðafólk

Gauti gerir athugasemdir við að ég tali um “undirmálsfólk” og að ég segi að talsvert sé af fólki í HÍ sem stendur framarlega á alþjóðavettvangi á sínu sviði, og segir:

„Hér verður að gera ráð fyrir að þetta góða fólk sé í mesta lagi 20% og það er sorglegt til þess að vita að það skuli líða fyrir hvernig fénu er varið í „undirmálsfólk“, en þetta hugtak og þessi hugsunarháttur á reyndar einkum heima í hugarheimi þeirra sem aðhyllast það sem í lýðræðis- og mannréttindaríkjum teljast vera býsna annarlegar skoðanir. Vegurinn þangað er a.m.k. ekki langur.“

Hér talar Gauti eins og ekki séu lagðir mælikvarðar á störf fræðafólks um allan heim, og að á þeim kvörðum lendi óhjákvæmilega margir í því að vera “undirmáls”, en aðrir taldir afburðafólk.  Auðvitað veit Gauti að þannig er þetta, svo dylgjur hans um að hugmyndir mínar séu fjandsamlegar “lýðræði” og “mannréttindum” eru ekki sérlega heiðarlegar.

Kannski hefði ég átt að útskýra þetta nánar fyrir þeim sem, öfugt við Gauta, eru ekki vel inni í þessum málum.  Þar sem ég var sífellt í pistlinum að tala um alþjóðleg viðmið  gerði ég ráð fyrir að mælikvarðarnir sem ég átti við lægju í augum uppi , nefnilega þeir mælikvarðar á gæði sem alþjóðavísindasamfélagið á hverju sviði hefur.  Þar er ekki um að ræða nákvæm mælitæki, og erfitt getur verið að meta framlag einstaklinga.  Það er hins vegar auðvelt í þeim tilfellum þegar viðkomandi hefur nánast ekkert lagt af mörkum á þeim alþjóðavettvangi sem nánast allt vísindastarf tilheyrir.  Um slíkt framlag eru til gagnagrunnar (t.d. Web of Knowledge og Google Scholar, þar sem sá síðarnefndi finnur nánast allt sem birt hefur verið á ritrýndum vettvangi, og margt fleira en það).  Það er því fljótlegt að skoða framlag fjölmargra starfsmanna íslensku háskólanna, og komast að því að margra þeirra sér hvergi stað.  Það er líka einfalt mál að skoða ritaskrár sem starfsmenn birta sjálfir á netinu, og þar er ekki síður fljótlegt að finna marga, jafnvel prófessora, sem aldrei hafa lagt neitt af mörkum á alþjóðavettvangi.  Aftur veigra ég mér við að nefna nöfn, því þeir sem kæra sig um að setja sig inn í þetta eiga auðvelt með það.  Ég myndi hins vegar með glöðu geði aðstoða forystu HÍ við að staðfesta þetta með ítarlegri úttekt, kærði hún sig um það.

Birtingar á íslensku

Gauti talar svo um gagnrýni mína á birtingar í íslenskum tímaritum:

„Höfundur agnúast síðan út í að verið sé að sinna vísindum og fræðum á íslensku og því að „gefinn út urmull af “ritrýndum fræðiritum” á íslensku, á sviðum eins og menntavísindum, hjúkrunarfræði, sálfræði, verkfræði og viðskiptafræði.““

Ástæða gagnrýni minnar er að ofangreind fræðasvið eru alþjóðleg í eðli sínu, og fræðafólki ber að birta niðurstöður sínar því fræðasamfélagi sem það tilheyrir.  Það gerir maður augljóslega ekki með því að birta á máli sem bara örlítill hluti þess samfélags getur lesið.  Auk þess fer það augljóslega í bága við yfirlýsta stefnu HÍ um sókn á alþjóðavettvangi að birta ekki á þeim vettvangi.

Ennfremur segir Gauti:

„… þá verður að spyrja sig hverjum höfundur telur að rannsóknirnar eiga að þjóna? Akademíunni einni og þeim fræðimönnum sem þar starfa eða því þjóðfélagi sem borgar brúsann í formi skatta? Rannsóknir tengjast kennslu og hún fer fram á íslensku að miklu leyti. Það er líka eðlilegt því fólkið sem kemur úr greinunum sem höfundur telur upp, og raunar fleirum, starfar síðan með fólki sem talar það mál fyrst og fremst og á fullan rétt á því.“

Fræðilegar birtingar á flestum sviðum eru þess eðlis að aðrir en sérfræðingar á viðkomandi sviði eiga mjög erfitt með að lesa þær sér til gagns, auk þess sem nánast allir þeir sem geta haft minnsta gagn af slíku lesa ensku, sem er það mál sem yfirgnæfandi meirihluti fræðigreina í heiminum er birtur á. Þess vegna er engum greiði gerður með því að birta á íslensku.  Að því ĺeyti sem háskólafólk á að miðla almenningi af fræðum sínum þarf það að gerast með allt öðrum hætti en birtingum í fræðiritum (og þar hefur t.d. Vísindavefur HÍ unnið frábært starf).

Ritrýni á íslensku

Gauti segir:

„Höfundur heldur því fram að það liggi „í augum uppi að það er ekki hægt að viðhafa alvöru ritrýningu í svo örlitlu fræðasamfélagi sem Ísland er, því þeir örfáu sérfræðingar sem til eru á hverju sviði þekkjast allir, og starfa gjarnan í sömu háskóladeildinni.“ Vont ef satt væri, en svona er það ekki. Höfundur benti sjálfur á í fyrri hluta greinar sinnar að margir Íslendingar væru háskólakennarar erlendis og ritstjórar tímarita á íslensku geta vel leitað til þeirra þegar þörf krefur bæði til að fá ritrýni og auk þess birta þeir líka greinar í tímaritunum íslensku.“

Þeir sem lesa íslensku í veröldinni eru varla fleiri en 400 þúsund, þ.e.a.s. um 0,00006% jarðarbúa, eða um 0,0004% af þeim milljarði sem býr í löndum með álíka umfangsmikið háskólakerfi og Ísland.  Á nánast engum fræðasviðum sem íslenskt háskólafólk starfar á eru þeir sem lesa íslensku nema örlítið brot af viðkomandi sviði, þótt með sé talið allt íslenskumælandi háskólafólk erlendis, auk þess sem langflest slíkt fræðafólk á þessum sviðum starfar við íslenska háskóla eða hefur mikil persónuleg tengsl við þá sem þar starfa.  Það er því fráleitt að tala um það sem kallað er óháð ritrýning í alþjóðlega fræðasamfélaginu inni í þessum örheimi sem íslenska háskólasamfélagið er, enda er jafnan talsverð vinna fyrir ritstjóra að finna hæfa ritrýnendur þótt þeir hafi úr að moða fræðasamfélagi alls heimsins á viðkomandi sviði.

Enn fremur segir Gauti um þetta:

„Höfundur kýs hins vegar að fullyrða án þess að benda á nokkurt dæmi að „engum sæmilegum háskóla [dytti]  í hug að vera með sín eigin tímarit, sem tækju við greinum bara frá starfsmönnum skólans, sem væru svo ritrýndar eingöngu af starfsmönnum sama skóla.“ Fyrir það fyrsta er það alls ekki óalgengt á háskólaútgáfur erlendis gefi út tímarit og í öðru lagi virðist hann einnig telja öll þessi svið svo ógnarlítil að ekki sé unnt að sinna nafnlausri ritrýni. Ég var um tíma ritstjóri Ritsins sem er ritrýnt tímarit Hugvísindastofnunar og veit um mörg dæmi þess að menn gagnrýndu og höfnuðu greinum kollega sinna enda vissi hvorugur af hinum og hafi þá grunað eitthvað létu þeir það ekki trufla sig, enda treystu þeir nafnleysinu.“

Ég er nokkuð viss um að engin háskólaútgáfa tekur bara við verkum frá starfsmönnum eigin skóla, hvað þá að hún láti ritrýnina fara fram innan sama skóla.  En auðvitað hefði verið betra hjá Gauta að benda á slík dæmi, ef hann telur þau vera til (og það getur hann auðvitað gert með ummælum við þennan pistil).  Í öðru lagi segir umrædd reynsla Gauta alls ekki að ritrýnin hafi verið í lagi; það sannast ekki af því að greinum sé hafnað, því slíkt getur líka gerst á ófaglegum forsendum, t.d. vegna persónulegrar óvildar.

Alþjóðlegt eðli rannsókna

Gauti segir:

„Höfundur telur reyndar „undirmálsfólkið“ skáka í skjóli tungumálsins sem hann telur ekki á vetur setjandi enda sé það „að sjálfsögðu fáránlegt að gefa út “fræðirit” á íslensku á sviðum sem augljóslega eru alþjóðleg í eðli sínu.“ Hugtakabeitingin hér er afar hæpin, enda er erfitt að skilgreina „alþjóðlegt eðli“. Er það eitthvað sem er bara á ensku? Eða eitthvað sem snertir ekki veruleika manna einungis á einum tilteknum stað eins og til dæmis loftslagsbreytingar? Eða eru það fræði sem enginn þarf að fjalla um eða skilja nema vísindamennirnir sem stunda þau? Undirrituðum sýnist að þetta þýði í þegar öllu er á botninn hvolft að vísindi hafi ekki neina merkingu nema þau séu sett fram á ensku.  Sé sú nærtæka ályktun rétt, mætti kannski segja (takið eftir fræðilegu fyrirvörunum og viðtengingarhættinum) að höfundur sé kominn í flokk með bisnesshetjum gróðærisins sem kölluðu eftir „tvítyngdri“ þjóð. Margir þeirra voru reyndar ágætlega menntaðir erlendis og einn sá frægasti við MIT, meira að segja, en eitthvað virtist „alþjóðlegt eðli“ viðskipta þvælast fyrir þeim.“

Það þarf enga nákvæma skilgreiningu á “alþjóðlegu eðli” til að fullyrða að hjúkrunarfræði og verkfræði, til dæmis, séu alþjóðleg fræðasvið, þar sem þekkingarleitin á þessum sviðum er alls ekki háð þjóðerni.  Ágiskanir Gauta um enskuna og tvítyngið og meinta afstöðu mína eru svo augljóslega í engu samræmi við það sem ég sagði að ég læt vera að svara þeim hugarburði.

Stigakerfi ríkisháskólanna

Enn segir Gauti:

„… fram kemur mikil vandlæting yfir því hægt sé að fá fleiri rannsóknastig fyrir grein í íslensku tímariti en þau „mikilvægustu“ erlendis. Þetta er efnislega rangt þar sem fleiri stig eru gefin fyrir erlendu tímaritin í hæsta flokki, en í þeim er ekkert íslenskt tímarit. Höfundur tínir til að þetta stafi af fjölda höfunda á erlendu greinunum, en kemur svo með dæmi um grein þar sem hann nefnir einn höfund að grein í tímaritinu Nature sem á að fá færri stig en tveir höfundar greinar í einu af þessum íslensku tímaritum sem engu máli skipta í „alþjóðlegu“ vísindasamfélagi. Vafalaust hafa verið fleiri höfundar að þessari grein, en ekki er látið svo lítið að nefna þá breytu og sýna svona vinnubrögð ekki mikinn skilning á vísindalegum vinnubrögðum eða einfaldlega kröfuna um skýrleika í texta sem þekkt er frá Hórasi, a.m.k.“

Í ummælum (sem Gauti vísar hér til) við pistil minn sagði ég eftirfarandi:

“… stigagjöfin í þessu kerfi ríkisháskólanna er slík að það fást að jafnaði miklu fleiri stig fyrir grein birta í íslensku tímariti en einhverju af þeim tímaritum sem erfiðast er að fá inni í í heiminum. Af því að það eru, í svo mörgum greinum, nánast alltaf margir höfundar á grein, þótt flestir þeirra vinni óskaplega ĺitið verk. Eitt mest sláandi dæmið um þetta er grein í Nature þar sem Freysteinn Sigmundsson er fyrsti höfundur (um lærdóma af Eyjafjallajökulsgosinu). Fyrir hana fær hann miklu færri stig en fæst fyrir tveggja höfunda grein í Tímariti um stjórnmál og stjórnsýslu eða einhverju af öllum þessum íslensku tímaritum þar sem sumar “ritrýndu” greinarnar virðast vera skrifaðar af mistækum menntaskólanemum.”

Í þessum ummælum mínum (sem ekki eru hluti af pistlinum sjálfum) kemur fram að ástæða þessa misvægis er sá mikli fjöldi meðhöfunda sem er að jafnaði á greinum sem birtast í tímaritum á borð við það sem hér er um rætt, og sem er reyndar algengur á mörgum sviðum raunvísinda.  Skýringuna sem Gauti telur vanta til að þessi ummæli í athugasemd við bloggpistil geti talist “vísindaleg vinnubrögð”  er sem sagt að finna í ummælunum sjálfum.

Lokaorð

Að síðustu má svo velta fyrir sér af hverju Gauti telur ástæðu til að fjalla um bloggpistil á sama hátt og um fræðilega ritgerð væri að ræða, og enn fremur af hverju hann reynir ekki að hrekja þær tölfræðilegu staðhæfingar sem ég set fram, þrátt fyrir megna vandlætingu hans á þessum vinnubrögðum mínum.

En, kannski var þetta sem sagt tómur misskilningur hjá mér, og Gauti var einfaldlega að draga sundur og saman í háði þær molbúahugmyndir um vísindastarf sem eru því miður svo algengar, og svo ráðandi, í íslenska háskólakerfinu, og þá undirliggjandi sýn sem er náskyld fyrirhrunshroka fjármálafyrirtækjanna, þar sem Íslendingar voru kynntir sem slíkt afburðafólk að ekki væri hægt að bera þá saman við aulana sem búa í öðrum löndum.

[/container]


Comments

2 responses to “Gauta svarað, um gæði íslenskra háskóla”

  1. Hér er stutt samantekt á því sem ég hef fjallað um í þessum pistlum mínum:

    http://blog.pressan.is/einar/2013/10/14/lygasagan-um-gaedi-islenskra-haskola/

  2. Grétar Amazeen Avatar
    Grétar Amazeen

    Það er virkilega áhugavert að skoða þau lélegu vinnubrögð og þær rökvillur sem birtast í “ritrýningu” Gauta í ljósi þess að hann virðist halda því fram að vinnubrögð hjá ritrýnendum íslenskra fræðirita séu heilt yfir ásættanleg.

Leave a Reply

Your email address will not be published. Required fields are marked *

Mix Parlay


yakin jp

yakin jp

yakin jp

rtp yakinjp

yakinjp

Togel Online Resmi

pola ritme turbo stop go rahasia sopir angkot cuan 95 juta

strategi kode kuno petugas arsip bongkar rahasia 120 juta otomatis

karyawan minimarket temukan jam hoki pola tap cepat saldo meledak

trik tahan putar penjual mainan cuan 78 juta tanpa boncos

analisis frekuensi wild tukang fotokopi berbuah jackpot ratusan juta

timing free spin anti rungkad kunci kemenangan maksimal

pola step bet mikro desainer interior jaga profit stabil 65 juta

strategi gacor juru parkir manfaatkan jam sepi raih big win

ahli kopi reset modal cerdas saat multiplier drop wd pasti

kombinasi bet anti zonk pelayan restoran menu kombo hasilkan 110 juta

deteksi server hoki montir ac bawa pulang maxwin sebelum siang

ritme putaran beruntun guru ngaji pecahkan jackpot x500

pola turbo jeda pedagang kain kelola volatilitas tetap untung

taktik push berjenjang skema 3 2 1 barista kafe cuan 82 juta

manajemen dana anti rugi penjahit jas modal kecil untung besar

pola simbol berbaris petani padi ciptakan combo wild raksasa

kondektur bus uji frekuensi scatter akurat wd 135 juta

trik tumpuk wild pola sisir vertikal tukang cukur bonus berantai

sinkronisasi jari dan rtp teknisi lift profit tetap melejit

deteksi akurat server rungkad penjaga toko anti boncos total

kombinasi jam hoki dan pola khusus pedagang buah anti zonk x1000

mahasiswi desain mode pola putaran bintang paling gacor auto maxwin

penjual hewan trik scatter emas jitu cuan 450 juta sekejap

ahli geologi temukan urutan permata jackpot 85 juta kaya mendadak

seniman tato pahami ritme jarum pola putaran cepat maxwin tanpa batas

nelayan malam pola penyebaran hitam viral waktu hoki terbongkar

admin medsos filter real time analisis akurat rtp live tembus x500

strategi sultan agen properti fitur spin turbo cuan cepat anti rugi

petugas keamanan pola anti rungkad saat server padat wd aman

manajemen risiko saldo besar sopir truk logistik sebelum pecah maxwin

konsultan pajak pola penggandaan profit tanpa limit cuan fantastis

akuntan publik deteksi akurat waktu terbaik free spin auto sultan

buruh pabrik lacak mesin panas jam hoki terbaru pola spin jebol maxwin

karyawan bank uji skema kredit cepat kuasai fitur beli putaran anti zonk

juru masak deteksi bumbu rahasia kombinasi bet anti zonk hadiah x500

pedagang pulsa cadangkan saldo dana mini recovery anti boncos total

teknisi listrik trik petir x500 anti rungkad bawa pulang maxwin besar

pekerja konstruksi fondasi step up bet anti ambruk jackpot beruntun

penjual tanaman hias siraman interval timing spin tumbuh jackpot ratusan juta

nelayan pagi strategi ikan hoki anti rungkad bawa pulang 150 juta

cleaning service reset modal cerdas saat multiplier mandek wd cepat

juru pijat refleksi pola putaran cerdas x1000 anti rungkad terbaru

strategi jam hoki terbaik penjaga kolam ikan cuan 120 juta sekejap

penulis novel gunakan plot twist analisis pola terbaru pasti untung

guru les musik skema nada 3 5 7 pola push bertahap tingkat pengembalian 99

pedagang kopi keliling pola putaran cerdas untung 80 juta seminggu

montir mobil uji sprint spin 15 menit cetak big win cuan 90 juta

reset modal cerdas sapu bersih cleaning service wd cepat

penjaga toko buku uraikan indeks simbol free spin naikkan untung 50 juta

teknisi drone pola stabil bet terbang rendah pecah maxwin 800 juta

desainer grafis grid tempo pola turbo pause jaga volatilitas cuan x1000

penjual emas strategi sultan kombinasi spin cerdas anti boncos total

tukang sayur pola 3 baris wild emas modal 50 ribu langsung sultan

koki restoran deteksi bumbu rahasia kombinasi bet anti zonk 400 juta

pedagang asongan trik putaran maut 9 jitu scatter emas nembak

petugas pemadam kebakaran deteksi server panas pecah jackpot 750 juta

sopir taksi online buktikan cuan besar pola simbol khusus biru jaminan wd

tukang kebun raup ratusan juta analisis pola anti rungkad auto sultan

pegawai negeri ubah nasib trik buy spin cerdas perkalian x1000 berkali kali

pemuda desa buktikan pola 7 baris wild biru raup 950 juta tidak masuk akal

karyawan swasta 650 juta pola lonceng emas mahjong ways 2 scatter hijau

ibu rumah tangga x1000 sweet bonanza analisis maxwin

mahasiswa 888 juta pola bintang jatuh wild emas starlight princess

pemain medan pola batu petir gates of olympus jackpot 15 miliar

tukang ojek waktu emas scatter 5 baris wild west gold

pebisnis 788 juta pola keberuntungan game dewi fortuna x500

sopir ojol rahasia mahjong ways 1 spin otomatis

tukang sayur pola simbol khusus sugar rush cuan 90 juta

fotografer freelance shutter pace vs rtp gates of olympus wd konsisten

penata rias layer wild starlight princess bonus berantai auto jackpot

operator pabrik shift malam cooldown 7 10 profit maksimal

pedagang ikan kelola gelombang multiplier tarik profit aman anti boncos

petugas keamanan cek area gelap pola anti rungkad wd terjamin

karyawan toko pola 4 simbol merah kemenangan puncak bocoran resmi

pemain bali bongkar jam hoki wild emas ajaib auto sultan 999 juta

mahasiswa kedokteran taktik scatter emas kombo liar cuan 180 juta

ibu rumah tangga kaya raya pola ikan hoki scatter hijau terbukti akurat viral

pemuda desa mengubah nasib kisah bayaran x100 modal receh cuan maksimal

pemain jakarta berhasil trik spin turbo kemenangan puncak 1 miliar

pedagang ikan gelombang multiplier profit mahjong ways sebelum drop

auto sultan strategi gol juventus 750 juta trik ampuh

cuan mendadak pola kemenangan roma 650 juta tukang kopi fenomenal

starlight princess pola bet kecil wd trik bintang x200 beruntun

stop rungkad rtp live habanero terbaik pola putaran otomatis

mahjong ways 3 pola scatter hitam bocor analisis maxwin 777 juta

wild west gold jackpot miliar slow spin 3 baris emas kaya mendadak

gates of olympus pola batu petir x500 tersembunyi mahasiswa maxwin

aztec gems pola quick spin cuan 100 juta tanpa rungkad anti buntung

koi gate fenomena wild gold trik manajemen modal mini jackpot 95 juta

sweet bonanza pola permen bergaris mega jackpot jam hoki buy spin

starlight princess wild emas berantai gamer profesional cuan 170 juta

mahjong ways 2 kunci utama wd trik spin santai pegawai minimarket

bukan isapan jempol rtp live pragmatic play malam ini pola bet efektif

the dog house megaways maxwin instan sopir ojol ubah nasib

gates of olympus pola petir merah terbukti akurat jam gacor jitu

wild west gold scatter biru viral bet naik turun cuan 60 juta

sweet bonanza pola permen manis x500 anti rungkad ibu beli mobil

mahjong ways 1 rahasia kuno pola spin manual jebol jackpot

starlight princess petir bintang x100 tiap jam pola putaran cerdas

aztec bonanza cuan maksimal taruhan minimalis pekerja pabrik 280 juta

koi gate trik simbol hoki tercepat pola spin turbo 15 kali auto jackpot

klaim jackpot joker jewels malam ini trik jam hoki mahasiswa cuan x100

tukang cukur teknik spin halus mahjong ways anti boncos

terapis pijat pola bet mahjong ways mengalirkan jackpot

pilot drone atur batas rugi mahjong ways aman

arsitek metode buy free spin mahjong ways 2 stabil modal

kasir baca pola simbol mahjong ways turbo spin

resepsionis transisi spin mahjong ways 4 manual ke auto

programmer kode pola binary ritme bet mahjong ways 3

pustakawan pilih jam hoki mahjong ways royal

sales timing tarik dana mahjong ways sebelum drop

montir kapal selam batas maksimal putaran mahjong ways 1

mahjong ways 2 pola wild berantai tukang ojek mega jackpot

starlight princess anti rungkad petir bintang x1000 wd pasti

stop boncos wild west gold buy spin cerdas karyawan cuan 90 juta

maxwin pengali x1000 sweet bonanza terbaru

waktu emas wild west gold scatter 5 baris

pola sayap kupu kupu mahjong ways 3 wd pasti

strategi bet stabil gerbang ikan koi rtp 99

pola bintang jatuh princess starlight 888 juta

trik putaran turbo permen manis cuan x500

petir biru x500 olympus waktu gacor terkini

pola sinar bulan putri bintang jackpot instan

jam keberuntungan harta karun aztec 400 juta

pola 4 simbol merah gerbang kaca terbaru

jackpot 999 juta gold bonanza spin cerdas

strategi naga hitam raja kerbau scatter wild

pola mekanik emas hoki nexus untung besar

maxwin simbol biru emas koboi liar terjitu

analisis rtp langsung jam gacor slot pragmatic

koi gate viral pola ikan tersembunyi pemuda desa maxwin 180 juta

aztec gems maxwin trik spin manual 5 detik jackpot 70 juta

naga emas mahjong ways 3 pola bet kecil cuan miliar

joker jewels anti zonk strategi bet minimalis menang 99 persen

sweet bonanza xmas pola scatter kombo ibu rumah tangga 200 juta

gates of gatot kaca pecah analisis jam hoki sopir taksi x500

the dog house mega jackpot pola spin turbo pelajar sma 110 juta

mahjong ways scatter kombo gila teknik wild emas 420 juta

tercepat pola putaran maut starlight princess x500 nonstop

wild west gold gacor malam ini scatter emas anti rungkad sultan

koi gate pola naga biru terbongkar rtp 98 persen anti boncos

kisah pedagang sayur maxwin 150 juta pola bet stabil aztec bonanza

mahjong ways 2 pola naga hitam viral jackpot 600 juta otomatis

petir biru x1000 meledak jam gacor terbaru gates of olympus

sweet bonanza rahasia multiplier emas waktu hoki auto sultan

starlight princess anti rungkad rtp live 98 pola gacor

aztec gems trik bet minimalis jackpot 90 juta

rahasia sultan trik spin cepat the dog house maxwin

analisis pg soft pola spin cerdas mahjong ways 3 jackpot

kisah viral karyawan toko cuan 75 juta pola habanero anti rugi

panduan rtp slot pyramid bonanza kemenangan 99 persen

power of thor megaways trik gelegar x500 pola profesional

modal receh cuan maksimal pola great rhino megaways hoki

analisis jam hoki pragmatic pola spin normal jackpot

pola scatter hitam gates of olympus viral waktu hoki zeus

rahasia tersembunyi joker jewels trik keuntungan 50 juta

bocor tuntas analisis persentase menang sweet bonanza xmas

pola rahasia mahjong ways 1 sopir ojol cuan miliaran spin otomatis

jebol jackpot ratusan juta pola scatter merah wild west gold

strategi sultan trik spin turbo gems bonanza

pola gajah wild biru great rhino kaya mendadak

panduan rtp live aztec gems trik anti rungkand

bocoran pola scatter dog house anti boncos

trik buy feature buffalo king megaways x500

pola wild komplit madame destiny megaways maxwin

strategi anti gagal sugar rush tercepat wd

jam gacor poseidon megaways perkalian akurat

pola scatter koin money train 3 cuan menggila

taktik pola scarab emas legacy of dead receh untung

strategi putaran maut wild kraken release the kraken

Suara Cilok Scatter

Jam Hoki Petani Kopi

Gerakan Kipas Sate

RTP Wild West Gold

Teknik Tambal Ban

Prediksi Real Madrid

Manchester City vs Bournemouth

Barcelona vs Elche

Arsenal vs Burnley

Man United vs Forest

The Dog House Megaways Viral

Psikologi Warna Candy Bonanza

Mitos vs Fakta Justice League

Trik Skip Intro Playboy Gold

Moon Princess 1000 Cetak Rekor

Pola Triple Hot Hot Fruit

Zeus Howling Thunder CQ9

Pola Efisien Wild Safari

Strategi Ritme Dog House

Mekanik Rahasia Candy Bonanza

Prediksi Liverpool vs Aston Villa

Derby London Chelsea vs Spurs

Taktik Atletico vs Sevilla

Expected Goals Haaland

Analisis 15 Menit Terakhir

Analisis Mahjong Ways 3

Pola Ngantuk Mahjong Ways

Ritual Kucing Hitam

Taktik Rahasia RTP

Panduan Tukang Parkir

Pep Guardiola City

Arsenal vs Burnley

Tottenham vs Chelsea

Derby London Chelsea Spurs

Trik Menang Pragmatic

Analisis Data Akurat Mahjong Ways

Pola Ngantuk Satpam Mahjong Ways

Ritual Kucing Hitam Mahjong Wins

Taktik Rahasia Pola RTP Jember

Panduan Spin Turbo Tukang Parkir

Sistem Xavi Anti Kebobolan Barca

Kontroversi Kartu Merah Derby London

Filosofi Sepak Bola Modern London

Prediksi Liverpool vs Aston Villa

Statistik Clean Sheet Barcelona Elche

Mode Hemat Data Scatter

Filosofi Ngopi Hitam Pro

Pola Spin Tukang Ojek

Pola Scatter Koi Gate

Taktik Cuci Piring Spin

Misteri Anfield Liverpool

Arsenal vs Burnley 22 Menit

Pelatih Tertekan Ten Hag

Ketergantungan Gol Madrid

Tottenham vs Chelsea Modern