De afgelopen jaren hebben eerstejaarsstudenten Engels kennis gemaakt met het Writing Mentors-programma, georganiseerd door dr. Sarah Haas in het kader van de lessen ‘Engelse Taal- en Tekstvaardigheid’ (ETTV). De mentors trachten studenten te helpen met hun schrijfopdrachten, zowel tijdens de lessen als tijdens persoonlijke mentorsessies, door met hen te praten over eventuele moeilijkheden tijdens het schrijven of problemen in de tekst zelf. Die extra mogelijkheid tot ondersteuning moet het voor studenten gemakkelijker maken om schrijfopdrachten tot een goed einde te volbrengen. Toen het tijd werd om na te denken over mijn masterscriptie had ik er al twee jaar opzitten bij de mentors; het idee om hen als onderwerp te gebruiken, borrelde dan ook snel op. Gelukkig was Sarah Haas ook meteen bereid om als promotor voor dit project te fungeren.
Het idee van zo’n mentorprogramma is op zich niet nieuw: in de Verenigde Staten zijn dergelijke initiatieven nagenoeg standaard, en ook in verschillende Europese landen vinden zulke programma’s steeds meer voet aan wal. Onderzoek heeft al aangewezen dat mentors een verschil kunnen maken, onder meer omdat zij, als medestudenten, beter aanvoelen waar de moeilijkheden voor studenten liggen, en omdat ze gemakkelijker aanspreekbaar zijn dan een lesgever. In onze eigen setting was er ook de indruk dat de mentors een goede invloed hadden: studenten gaven informeel aan dat ze een mentorsessie nuttig vonden en/of zich achteraf beter voelden over hun geschreven werk. De lesgevers Schrijven van ETTV merkten op dat de studentenessays merkbaar beter waren na een mentorsessie. Dat waren echter slechts subjectieve meningen: na twee jaar was er een zekere nood aan meer objectieve data. Zonder zulke gegevens kon men moeilijk weten of het programma nu echt nuttig was en of eventuele bijsturingen nodig waren. Dat leidde tot mijn uiteindelijke onderzoeksvraag: hoe effectief is het mentorprogramma en waar kan er nog verbeterd worden?
De effectiviteit van het programma werd bepaald aan de hand van twee onderzoeksmethoden. De eerste piste was tekstvergelijking: de voorlopige versie van de tekst waarmee studenten naar de mentor kwamen, werd vergeleken met de finale versie die studenten indienden bij hun lesgever. Hiervoor gebruikte ik de laatste schrijfopdracht van ETTVI, waarbij alle studenten verplicht een mentorsessie moesten bijwonen. Zo waren er bijna 200 verschillende teksten ter beschikking als datapakket. Uiteindelijk werden vijftien teksten geselecteerd, elk bestaande uit twee versies (de tekst voor de mentorsessie, en de ‘finale’ versie). Elke tekst werd gelezen en gequoteerd aan de hand van het framework van dr. Sarah Haas (dat iedere ETTV-student wel kent: “fried eggs”, anyone?). Om subjectieve scores zo veel mogelijk te vermijden, werd iedere tekst gelezen door mijzelf en twee andere lezers die het framework goed beheersen.
Na wat light statistiek bleek al snel dat mentors wel degelijk een positief effect kunnen hebben: gemiddeld stegen de scores 27,29% nadat studenten een mentor gesproken hadden. Sommige teksten, die op zich al goed waren, zagen een kleinere vooruitgang. Aan de andere kant waren er uitschieters waarbij de score met 60% of zelfs 80% omhoog ging na de mentorsessie. Bij deze schrijfopdracht werd van studenten vooral verwacht dat hun teksten geen zware structuurfouten vertoonden (de zogenaamde “HOCs” – Higher Order Concerns: zaken zoals tekstsamenhang, rangorde van informatie, etc.). In de teksten voor de mentorsessie zaten samen zo’n 110 HOC-fouten; na de mentorsessie bleek dat zo’n 74 daarvan gecorrigeerd waren. Als je weet dat een mentorsessie gemiddeld slechts een twintigtal minuten duurt, is dat zeker geen slecht resultaat. Hier kwamen ook een aantal werkpunten uit voor mentors. Bijvoorbeeld: het merendeel van de overblijvende HOC-problemen was gerelateerd aan de HOC Focus (ETTV-studenten kennen dit monster wel: de zogenaamde ‘rode draad’ doorheen je tekst). Dat kan een aanwijzing zijn dat mentors daar nog meer de nadruk op mogen leggen tijdens hun gesprekken met studenten.
Naast tekstvergelijking was er ook een tweede methode. We weten nu wel dat, als je de cijfers bekijkt, mentors een goeie invloed kunnen hebben, maar wordt dat ook zo aangevoeld door de studenten? Als de studenten het initiatief namelijk niet nuttig vinden, is er sprake van een disconnect tussen de feiten en de perceptie, die van de baan geholpen moet worden. Bovendien kunnen we door de studenten te ondervragen ontdekken of er nog noden of vragen zijn waarmee ze blijven zitten na een mentorsessie. De tweede onderzoekspiste keek daarom naar de reflectieve essays van de ETTVI-studenten, die ook bij dezelfde schrijfopdracht hoorden. Na die een paar keer grondig gelezen te hebben, vond ik 229 verschillende stukjes commentaar over mentors, gaande van een zin tot een halve tekst. Die commentaren werden vervolgens herlezen en ingedeeld in thematische categorieën. Dat proces werd een aantal keer herhaald tot we een aantal verfijnde, concrete categorieën krijgen, zoals “praktisch nuttig” of “helpt om de theorie (eindelijk) te begrijpen”.
Wat blijkt nu daaruit? Zo’n 93% van de studenten gaf aan dat ze een positieve ervaring hadden. Zo’n 35% daarvan apprecieerde de mentorsessie vooral omdat het gewoon praktisch nuttig is (je ontdekt bijvoorbeeld fouten die je de eerste keer niet zag). Ongeveer even veel studenten hadden het daarnaast ook over psychologische voordelen: ze voelden zich zelfverzekerder, kregen terug zin om (verder) te schrijven, of waren blij dat mentors hen zelf lieten nadenken over mogelijke oplossingen voor een bepaald probleem in de tekst. Sommigen vroegen zelfs of het niet mogelijk was om zo’n mentorsessies verplicht te maken voor alle schrijfopdrachten – mooier commentaar kan je eigenlijk niet krijgen.
Zijn er dan geen werkpunten voor mentors? Natuurlijk wel. Een kleine minderheid (zo’n 3%) vond de sessie minder nuttig. Uit hun commentaren leren we dat mentors duidelijker moeten zijn over wat we wel en niet doen om geen misvattingen te creëren (neen, mentors herschrijven je volledige tekst niet). Ook het feit dat mentors slechts indirect helpen (wij praten, jij doet het werk) stuitte op wat wrevel. Toch zijn zulke commentaren nuttig: ze leidden (en zullen leiden) tot aanpassingen in de werkwijze van mentors voor volgende jaren.
Ik begon mijn thesis met de vraag of writing mentors eigenlijk wel nuttig zijn. Het is een vraag die menig ETTV-student zich in de afgelopen jaren wel zal gesteld hebben. Uit de resultaten blijkt dat daar zeker met “ja” op geantwoord mag worden. Er lijkt echt wel een verbetering in tekstkwaliteit te zijn, en studenten uit vorige jaren geven aan dat ze het zelf ook nuttig vonden, om zowel concrete als minder concrete redenen. Dat wil niet zeggen dat er voor mentors geen werk aan de winkel is. Daarom passen we ons voortdurend aan, in de hoop studenten beter te kunnen helpen. Ik ben dan ook enorm blij en tevreden dat ik daar met mijn thesis een steentje aan heb kunnen bijdragen.
Thijs Gillioen