Utvärderingsarbete Vårshowen

En text som handlar om vad en utvärdering är och gör. Den handlar också om hur vi kan använda oss av utvärderingar för att utveckla vår egen verksamhet. Texten skrevs som en uppgift på kursen Kvalitetsarbete och utvärdering i pedagogiska verksamheter på Mittuniversitetet i maj 2014.

 

Bakgrund

På Sundsvalls gymnasium finns en tradition att varje år sätta upp en musikföreställning eller konsert kallad Vårshow. Vårshowen visas både för kommunens grundskolor på dagtid samt för allmänheten under tre kvällar. Sedan ett tiotal år är det elever på skolans musikestetiska program som står på scenen. Vårshowen har flera syften och detta är ibland ett problem. Här följer en beskrivning av några av dessa syften:

  • Showen är en galjonsfigur för hela skolan och för det musikestetiska programmet. Den har en funktion av varumärke. Ett talande exempel för detta är att när tidpunkten för showen flyttades från våren till vintern ändrade vi också namnet till ”Show på Hedbergska”, men namnet ”Vårshow” var ändå det som användes av massmedierna.
  • Showen är en del av marknadsföringen riktad mot grundskolorna. Alla kommunens elever i årskurs åtta och nio bjuds in för att se föreställningen gratis. Eftersom det finns många gymnasiefriskolor i kommunen är skolan konkurrensutsatt.
  • Showen är höjdpunkten på läsåret för eleverna på musikestetiska programmet. Alla elever är med och skapar minnen för livet.
  • Showen är ett redovisningstillfälle i några musikkurser samt ett tillfälle där programmålen kan blir realiserade.
  • Showen är en inkomstkälla för programmet. Dock har de senaste två åren inte gått med vinst. Showen har en budget på drygt 100.000 SEK.

De olika syftena gör att vissa beslut blir svåra att komma fram till. Vid vissa tillfällen blir vissa syften tyngre och vid andra tillfällen väger andra syften tyngst. Det finns ingen skriven ”projektplan” utan showen har utvecklats utifrån vad lärare och elever tycker är viktigt. De utvärderingar som eleverna gör efter varje show ger tips och råd inför nästa års planering. Man skulle kunna uttrycka det i termer av kultur och institution. Vårshowen är en del av kulturen på programmet och på skolan och förändras i samma takt som kulturen, vilket innebär ganska långsamt.

Med en tydligare bild av showens syften skulle det bli tydligare vad som diskuteras och besluten skulle bli mer förankrade i syftena. Med hjälp av en välplanerad klargörande utvärdering tänker jag mig att mindre tid kommer att läggas på diskussioner i lärarlaget och att förutsättningarna för utveckling av Vårshowen blir klarare.

Utvärdering

Denna utvärdering som beskrivs här utgår till största del från den teoretiska bas som presenteras i Owen (2007). Den kan komma att bli en del av ett arbete på längre sikt, med fler delar som kan benämnas utvärdering, men här betraktas endast den första delen.

Planering

För att kunna planera en utvärdering måste några frågor besvaras: Vad ska utvärderas? Vilka människor är inblandade? Vilket är syftet? I det här fallet är det inte svårt att svara. Vårshowen är ett årligt projekt som är begränsat i tid och mänskliga resurser. Arbetet består i stort av planering, repetitioner, framförande, marknadsföring och scenteknik. Inblandade i showen är framför allt musiklärarna och eleverna på estetiska programmet, inriktning musik. Det är dock lärarna som har ansvaret för showen och därför blir denna utvärdering endast utförd av dem. Syftet med utvärderingen är att förtydliga eller klargöra syftet eller syftena med showen. I förlängningen kan resultaten av utvärderingen bilda en grund för en skriven projektbeskrivning, vilken alltså inte finns idag. Utifrån syftet med utvärderingen kan en utvärderingsform väljas. Jag har här valt en så kallad klargörande utvärdering (Owen, 2007), med motiven att denna utvärderingsform passar för att tydliggöra interna strukturer och funktioner samt att ”the need to outline or define the logic usually arises when a program has not been fully specified or described, even though it is in operation” (s. 42), vilket alltså stämmer väl med rådande läge.

I planeringsfasen är det viktigt att jag som intern utvärderare funderar över vilka reaktioner som kan förväntas av kollegorna. Alla utvärderingar har en maktaspekt (Foss Lindblad & Lander, 2009) och denna måste tas hänsyn till. Owen (2007) betonar vikten av förhandling innan en utvärdering startar och i detta fall har förhandlingen gått till så att jag har pratat med de berörda lärarna och involverat dem i arbetet med att ta fram olika tänkbara syften med showen. Maktaspekten har blivit synlig i förhandlingen på så sätt att vissa reaktioner kan tolkas som en rädsla och osäkerhet om utvärderingen kan leda till stora förändringar. Eftersom Vårshowen är att betrakta som en institution, styrd av normer och antaganden snarare än medvetna beslut, är det svårt att hitta ett insteg till ett nytt sätt att utvärdera. De utvärderingar av Vårshowen som genomförs varje år är kan också benämnas som institutionaliserade och faller inom en institutionell logik (Dahler-Larsen, 2012). Detta innebär att resultaten av dessa utvärderingar inte alls klarar att utmana det rådande grundtillståndet:

”…the central idea is that an element is taken for granted because it is supported by norms, values, and other sources of legitimacy. […] There is no guarantee of any overall consistency or coherence.” (Dahler-Larsen, 2012, s. 67)

Den nya utvärderingen fungerar alltså på ett annat sätt och uppfattas med rätta som en utvärdering som kan utmana den institutionaliserade normen. Det är därför av vikt att förhandla om utvärderingens innehåll och utformning. I en organisation där det finns en vana av utvärdering, som skolan, kan personalen snabbt se att resultatet av vissa utvärderingar av kvalitativ art kommer att leda till eget merarbete och man kan då bli negativt inställd och svara på ett sådant sätt att status quo upprätthålls (Dahler-Larsen, 2012). Detta blir ett ytterligare argument för god förhandling och tydlig syftesförklaring.

Genomförande

Då utvärderingen främst syftar till att klargöra syftet eller syftena med Vårshowen har jag utformat den som en övning i att rangordna några tänkbara syften. Dessa är en blandning av mer eller mindre övergripande syften. Några av dem kommer från samtal med kollegorna och andra har jag tänkt ut själv[1]. Det är 19 syften och en del är öppna för tolkningar och andra överlappar varandra. Här följer några exempel:

  • Personlig utveckling
  • Scenisk erfarenhet
  • Kursmål
  • Musikalisk utveckling
  • Marknadsföring för programmet
  • Marknadsföring för skolan
  • Ekonomi

Vid utvärderingstillfället får varje musiklärarkollega 19 lappar med ett syfte skrivet på varje lapp. Han eller hon rangordnar sedan dessa efter hur viktiga man tycker de är. Det är fritt att sätta syfteslapparna sida vid sida om man upplever att de betyder samma sak eller att de är lika viktiga. Man kan också skriva en kommentar för att förtydliga sin mening. Jag fotograferar sedan lappkolumnerna för analys. Analysen kan redovisas för lärarna kvantitativt eller kvalitativt. En kvantitativ redovisning kommer att visas som de olika syftena med olika ”poäng” eller som diagram. Diagram gör resultatet visuellt och kan bidra till en förståelse för vilken vikt olika syften har getts av lärarna. Ett problem med detta sätt att redovisa är att de föreslagna syftena inte utesluter varandra utan istället överlappar varandra. Dessutom har friheten givits att under utvärderingen kommentera och förtydliga i sin egen rangordning. Detta talar mot en enbart kvantitativ redovisning då en sådan kan bli svårhanterlig då.

Resultat

Utvärderingen ger alltså svar på vilka syften som de flesta i musiklärarkollegiet finner som mest angelägna, men även vilka syften som, enligt lärarna, har minst berättigande. Svaret bildar en grund för fortsatt diskussion om vad showen bör vara och inte bör vara. Denna diskussion kan också ses som en vidare förhandling mot tydligare mål och ramar. Ifall konsensus kan nås och om en djupare förståelse för de syften som lärarlaget har tagit fram som de viktigaste kan en beskrivning för projektet Vårshowen tas fram. Denna beskrivning kan användas som grund för arbetslagets fortsatta utvecklingsarbete med Vårshowen och gör den lättare att utvärdera. Den kan också fungera gentemot eleverna som en tydliggörare vad gäller syfte och vilka krav som kan ställas på dem själva och på lärarna. Man kan även tänka sig liknande dokument för andra skolaktiviteter med projektkaraktär. Det skulle då bli enklare att förstå skolans aktiviteter som ett system med kompletterande funktioner. Ett tänkbart exempel är att ifall fokus för Vårshowen ligger på marknadsföring kanske fokus för julkonserten ligger på elevernas kreativitet och att detta blir synligt i de olika projektbeskrivningsdokumenten.

Diskussion

Då all utvärdering innehåller frågor om makt kan man fråga sig på vilket eller vilka områden denna utvärderings maktspel försiggår. Det skulle kunna handla om min makt som utvärderare genom att ta kontroll över vad som bör värderas i Vårshowen. Det kan också handla om att uppvärdera Vårshowen gentemot skoledning att genom utvärdering ge föreställningen ett större berättigande (Dahler-Larsen, 2012). I en förlängning skulle detta på motsvarande sätt också kunna påverka synen på hela det estetiska programmet.

En förhoppning är med detta arbete är att det skulle kunna påverka hur arbetslaget tänker om olika verksamheter. Om resultatet bidrar till en ökad tydlighet och minskad arbetsbelastning kan detta sätt att utvärdera spridas till andra områden. Om denna ökade tydlighet också kan komma eleverna tillgodo genom ökat lärande finns det goda motiv att fortsätta.

Källförteckning

Dahler-Larsen, P. (2012). The Evaluation Society. Stanford: Stanford business books

Foss Lindblad, R. & Lander, R. (red.) (2009). Att säkra det osäkra – Redskap för reflektion och makt i skoland utvärdering. Lund: Studentlitteratur

Owen, J. M. (2007). Program Evaluation – Forms and Approaches. New York: Guilford

[1] Jag har inte haft möjlighet att samtala med alla kollegor före själva utvärderingstillfället. Det hade dock varit en möjlighet att utveckla förhandlingsdelen av utvärderingsarbetet genom att föra enskilda kvalitativa intervjuer med alla kollegor och utifrån dessa plocka ut syften.

Annonser

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s