etusivu - työkalupakki - orientoidu/arviointi

BENCHMARKING YLIOPISTOJEN KEHITTÄMISEN TYÖKALUNA

Kimmo Kuortti
Oulun yliopisto

Benchmarking (BM) on kehittämisvälineenä levinnyt laajalle yritysten ja organisaatioiden piirissä. BM:n varhaisia esimerkkejä on Rank Xeroxin toteuttama projekti (Rolstadås 1995, Dervitsiotis 2000). BM-työ, joka yrityksessä tehtiin, pelasti yrityksen toiminnan tiukassa kilpailutilanteessa. Vaikka BM ei ehkä aina tulekaan aivan näin dramaattiseen tarpeeseen, antaa Xeroxin tapaus hyvän esimerkin menetelmän potentiaalista. Tämän potentiaalin reaalistuminen vaatii kuitenkin osallistujien omistautumista ja yhteisen sävelen löytymistä.

Tekstin rakenne on lyhyesti seuraava:

Johdanto: käsitteenmäärittelyä, BM:n eri ulottuvuudet, BM:n filosofinen pohja
BM-työkalun esittely: BM:n käytön edellytykset ja prosessin osat
BM:n eri soveluksia: kilpailukyvyn parantaminen, creative benchmarking, sisäinen - ulkoinen
BM ja yliopistot: organisaatiokulttuurit, joustavat sovellukset

Johdanto: käsitteenmäärittelyä, BM:n eri ulottuvuudet, BM:n filosofinen pohja

BM:stä löytyy monenlaisia määritelmiä. Tarkastelen aluksi kolmea määritelmää, joiden kautta benchmarkingin eri ulottuvuudet tulevat hyvin esiin.

1) “… benchmarking is defined as the systematic study and comparison of a company’s key performance indicators with those of companies and others considered best-in-class in a specific function, …” (Dervitsiotis 2000)
2) “Eri toimialojen johtavien yritysten jatkuva ja systemaattinen arviointiprosessi, jonka tavoitteena on määrittää ne liiketoiminta- ja työprosessit, jotka edustavat parhaita käytäntöjä ja antavat pohjan realistisille suoritustavoitteille.” (Ericsson 1993)
3) ” … involves analyzing performance, practices and processes within and between organisations to obtain information for self improvement.” (Stetar 1999)

Dervitsiotiksen määritelmässä korostuu systemaattisuus. Tämä on BM:nonnistumisessa olennaista. Vertailua ja oppimista voidaan toki toteuttaa epäsystemaattisestikin, ilman perusteellista suunnitelmaa, ilman tiukan systemaattista työkalua ikään kuin katselemalla ja ihmettelemällä turistimaisesti. Tällainen lähestyminen ei kuitenkaan ole tiukasti ottaen BM:a, vaikka se voikin tuottaa oppimista ja kehittämisideoita. On kuitenkin jatkoksi todettava, että vaikka edellä kuvailemani epäsystemaattinen lähestyminen ei ole BM:a, on siinä mukana kuitenkin sellaisia ominaisuuksia, joista benchmarkkaajakin voi hyötyä. Tietty avoimuus ja kyky ihmetellä ovat ehdottomasti BM:n kautta kehittymistä tavoittelevalle ihmiselle tärkeitä ominaisuuksia. Systemaattisuus vaatii kehitettävän prosessin jäsentelyä, jotta siitä saadaan vertailuun kelvollista tietoa. Tästä enemmän työkaluosiossa.

Ericssonin kuvaamassa BM:ssa huomio kiinnittyy erityisesti työn prosessiluonteeseen. On tärkeää muistaa, että BM-prosessissa tulee koko ajan esille uutta tietoa, jota ei pystytä ennakoimaan parhaimmissa suunnitelmissakaan. Siksi on tärkeää, että tähän on varauduttu ja kaikille on selvää kuinka toimitaan, jotta yllättäväkin tieto voidaan käyttää hyväksi. Myös BM-työllä on alku ja loppu, jotka on syytä määrittää etukäteen.

Stetar (1999) korostaa BM:n tarjoamaa mahdollisuutta oman toiminnan kehittämiseen. Tämä onkin perinteisen BM:n keskeinen tavoite. BM-kumppaniksi valitaan sellainen yritys tai organisaation, jossa asia tai prosessi, jota benchmarkataan, hoidetaan erityisen hyvin. Hyvyyden mittarina voi olla esimerkiksi jokin julkinen laatustandardi, jonka kyseinen yritys tai organisaation on saavuttanut. Benchmarkkina voi olla myös vaikkapa opiskelijoiden valmistumisaika, positiivinen opiskelijapalaute, työntekijöiden tyytyväisyys tai oppimateriaalin saavutettavuus, joista on selkää määrällistä tai laadullista tietoa.

Edelliset kolme aspektia; systemaattisuus, prosessiluonne ja oman toiminnan kehittäminen ovat BM:n tunnuspiirteitä riippumatta siitä, miten BM:a konkretisti sovelletaan. Näiden lisäksi on vielä hyvä ottaa esille yksi filosofisempi lainaus:

”Benchmarking on ihmisen luontainen utelias tapa toimia ja kartoittaa yhteistyön ja ystävyyden edellytyksiä.” (Karjalainen, Kuortti, Niinikoski 2001)

Määritelmä näkee ihmisen luontaisesti uteliaana ja ottaa myös kantaa ihmisen tarpeeseen varmistaa ystävyyden edellytykset, olla varuillaan mahdollisen vaaran vuoksi. Näkemys on mielenkiintoinen, koska se painottaa ihmisen luonnetta saalistajana, petoeläimenä. Toisaalta määritelmä viittaa myös ihmisen tärkeään varmuuden etsimisen tarpeeseen, jonka juuret taas juontanevat ihmisen saaliseläimenä kokemaan epävarmuuteen.

Erilaisia BM-orientaatiota on kirjallisuudessa kuvattu runsaasti (vrt. Kulmala 1999, 38). Kuten Karjalainen artikkelissaan (Karjalainen 2002) osuvasti esittää on näissä kyseessä kuitenkin lähinnä käytännöllisen orientaation kuvaus. Sen sijaan BM-kirjallisuudessa ei ole kovin paljon pohdittu menetelmän filosofista ja ihmisen toimintaan liittyvää ulottuvuutta. BM on liitetty esimerkiksi arviointiin (Karjalainen 2002) ja erityisesti laatutyöhön organisaatiossa, mutta nämä ovat riittämättömiä määritelmiä BM:n olemuksen kuvauksina.

BM:n pohjalla lienee varmuuden tavoittelu ja siihen mahdollisesti liitettävä koettu muutostarve. Tätä aspektia korostaa implisiittisesti myös BM -prosessin valmisteluvaiheen huolellinen pohjatyö ja kehitettävään prosessiin osallistuvien työntekijöiden itseymmärryksen lisääminen.

BM--työkalun esittely: BM:n käytön edellytykset ja prosessin osat

Aivan aluksi on saavutettava yhteisymmärrys kehittämistarpeesta niiden työntekijöiden osalta, joiden työtä BM koskee. On hyvä muistaa, että BM koskee aina ihmisten työtä, prosesseja, joissa he ovat osallisina ja tekijöinä. Tämän jälkeen kehittämistarpeeseen voidaan tarjota erilaisia työkaluja, joista yksi on BM.

Työ on syytä aloittaa kehitettävän tai arvioitavan (riippuen mihin BM:a halutaan käyttää ensisijaisesti) prosessin kuvauksesta. BN:n katsotaan soveltuvan parhaiten sellaisten kohteiden kehittämiseen, jotka voidaan määritellä selväpiirteisenä prosessina. Kuvaus voi olla aluksi yleinen ja väljä, mutta tässä vaiheessa on syytä tietoisesti ohjata työskentelyä siten, että kehitettävän prosessin kuvaus täsmentyy ja jalostuu hyvin pitkälle. Tälle vaiheelle ominaista on myös, että kuvattavan prosessin sisältä alkaa paljastua osaprosesseja. Tämä on BM-työn kannalta hyvä tilanne. On nimittäin syytä todella pohtia, mikä onkaan se prosessi, johon halutaan keskittyä. Onko jokin osaprosessi itse asiassa se asia, jota olisi syytä benchmarkata ja kehittää? Mikä osaprosessi vaikuttaa kaikkein eniten kokonaisprosessin onnistumiseen ja laatuun? Mitkä osaprosessit liittyvät tiiviimmin yhteen? Kuvausvaiheen parasta antia on itseymmärryksen lisääntyminen. On syytä myös muistaa, että vaikka alun perin yhtenä prosessina näyttäytynyt toiminta sitä analysoitaessa jakautuukin pienempiin prosesseihin, ei pidä kadottaa näkyvistä kokonaisuutta. Missä määrin on järkevää hajottaa kokonaisuus osaprosesseihin? Benchmarkattavasta asiasta täytyy päästä yhteisymmärrykseen ja tässä on kaikkien osallistujien panos tärkeä. Prosessin määrittelyn tekevät ne työntekijät, jotka siinä työskentelevät. BM:a ei voi mielekkäästi toteuttaa, elleivät mukana ole kehitettävän prosessin työntekijät. Esimerkiksi virtuaaliyliopiston tarjontaa suunniteltaessa on tarpeen hahmottaa suunnitteluprosessin eri osat ja osallistujat aina yksittäisestä opintokokonaisuudesta ja opettajasta (oppijaa unohtamatta) aina kokonaistarjontaan, yhteistyön koordinointiin ja toiminnan strategiseen suunnitteluun saakka.

Toinen tärkeä vaihe on benchmarkattavasta prosessista laaditun kuvauksen auki kirjoittaminen. Tavoitteena pitää olla kuvaus, jonka tuleva BM-partnerikin ymmärtää. Edellisessä vaiheessa saavutettu itseymmärrys pitää siis pystyä myös kommunikoimaan ulospäin.

Melko vaikeaksi voi osoittautua benchmarkin löytäminen. Benchmark tarkoittaa tiukasti ottaen vertailukohtaa tai mittaustulosta, johon omaa tulosta verrataan. On kuitenkin heti muistutettava, että BM:ssa ei ole kysymys vain oman ja benchmarkiksi valitun mittaustuloksen vertaaminen vaan ennen muuta sen tutkiminen kuinka vertailukohdaksi valittuun mittaustulokseen on päästy. Toisin sanoen BM:ssa halutaan selvittää mikä on se prosessi, jonka seurauksena jokin yritys tai sen osa saavuttaa vertailukohdaksi valitun hyvän tuloksen.

Aina ei ole aivan yksinkertaista löytää yksiselitteisiä vertailukohtia prosessien tuloksille. Esimerkiksi asiakastyytyväisyys, opetuksen laatu, oppimistulokset tai hallinnon tehokkuus eivät välttämättä taivu helposti ja yksiselitteisesti mitattaviksi tunnusluvuiksi. Myös niitä prosesseja, jotka ovat vaikuttamassa edellä mainittuihin tuloksiin (tai tuottavat näitä tuloksia), on vaikea mitata ja tulokset voivat olla moniselitteisiä. Siksi kannattaakin tehdä erottelu mitattavien ja kuvailtavien benchmarkkien välillä. Prosessista on löydettävä sen osat, arvioitava ja kuvattava niiden vaikutus lopputulokseen ja löydettävä ne osat, jotka juuri nyt kaipaavat kehittämistä Kuinka mitata benchmarkattavaa prosessia ja sen tuloksia? Onko löydettävissä kuvaavia tunnuslukuja? Kuinka laatia laadullisia mittareita? Onko itseymmärrys oman prosessin laatutekijöistä selkeä ja perusteltu? Mikä on se prosessin osa, joka tällä hetkellä aiheuttaa ongelmia? Mitä prosessin osaa kehittämällä saadaan tuotteen laatua kohotettua eniten? Kuinka varmistaa, että prosessin muut osat eivät kärsi ja kokonaislaatu näin laske?

Palveluprosessien, jollaisia virtuaaliyliopistoonkin liittyy, mitattaviksi osiksi voivat soveltua materiaalien ja oppimisympäristöjen tavoitettavuus (saatavuus, käytön helppous, toimintavarmuus) sekä oppimisprosessin seuranta (palaute, ohjaustoimenpiteet ja -teho).

Kun on päästy käsitykseen benchmarkattavasta prosessista irtoavasta vertailukelpoisesta tiedosta on aika löytää BM-partneri. Tämä partneri on siis sellainen organisaatio, jossa benchmarkattavaksi valitsemamme prosessi tehdään erityisen hyvin ja/tai se tuottaa erityisen hyviä tuloksia. Kireässä markkinakilpailutilanteessa voi olla vaikeaa löytää partneria, joka tahtoisi paljastaa oman toimintansa saloja kilpailevalle organisaatiolle. Valtion ja kuntien organisaatiot ovat tässä mielessä helpommassa asemassa, koska ne eivät usein ole näin suorassa kilpailuasetelmassa. Yhteydenoton on oltava joka tapauksessa selkeä ja BM:n tavoitteet on tehtävä selväksi. Myös eettiset pelisäännöt on syytä sopia. Millaista tietoa halutaan? Kellä on tietoon käyttöoikeus? Kuinka julkinen BM-prosessi on? Voidaanko tuloksia julkistaa? Kenelle raportoidaan? Eettisiin sääntöihin voi perehtyä esimerkiksi (Laatukeskus 1998, 48)

BM-partneri voi joutua itsekin ensimmäistä kertaa laatimaan kuvauksen prosessista, johon liittyen yhteydenotto on tullut. Tämä vie tietysti aikaa, mutta yhteydenottaja voi olla kuvauksenteossa apuna. Toisaalta on kuitenkin todennäköistä, että partneri on analysoinut omaa toimintaansa ainakin jonkin työkalun avulla, koska on päässyt prosessissaan hyviin tuloksiin.

Kun partnerin kanssa on saatu benchmarkattavan prosessin kuvaukset kuntoon on aika verrata prosessien eroja ja yhtäläisyyksiä. Tunnuslukujen taakse on syytä katsoa pitkään ja syvään, koska silloin paljastuvat ne prosessien kriittiset erot, jotka osaltaan selittävät mitattavia tai kuvattavia tuloseroja. On hyvin todennäköistä, että molemmat BM-partnerit oppivat toisiltaan ja saavat eväitä toimintansa kehittämiseen.

Tärkeä vaihe on myös oman toiminnan kehityssuunnitelma BM-tulosten pohjalta. Nyt on kriittistä huomata mistä partnerin toimissa voidaan oppia, mikä on sovellettavissa omaan prosessiin ja mikä taas vaatii juuri meidän prosessiin sopivan ratkaisun löytämistä. Kaikki hyvä partnerin prosessissa ei ole suoraan sovellettavissa omaan toimintaan. Organisaatiokulttuurien erot voivat olla tähän liian suuria.

Jotta BM onnistuisi on edellä mainittujen työvaiheiden huolellisen toteutuksen lisäksi syytä painottaa kolmea reunaehtoa:

• johdon tuki

Takaa, että vertailun tulokset voidaan hyödyntää ja panna täytäntöön oman toiminnan kehityssuunnitelma.

• aikataulutus

On syytä olla melko tiivis ja on hyvä sopia myös etapit BM-kumppanin kanssa tehtävään työhön.

• oikeat ihmiset

Johdon tuen lisäksi on mukana oltava ne ihmiset, jotka benchmarkattavassa prosessissa työskentelevät, jotta voidaan varmistua, että tehdään heidän tarpeistaan lähtevää BM:a.

BM:n eri sovelluksia: kilpailukyvyn parantaminen, creative benchmarking, sisäinen - ulkoinen

BM:n erilaiset sovellukset sopivat erilaisiin tarpeisiin. Yksi vaihtoehto on toteuttaa sisäistä BM:a. Tällöin vertailukohtia etsitään oman organisaation sisältä. Näin voidaan päästä tuloksiin huomattavan nopeasti ja lisäksi tietämys oman organisaation sisällä työskentelevien yksiköiden tai osastojen välillä lisääntyy mikä voi jo sinällään auttaa kehitystyössä. Erityisesti verkko-opetuksen kehittämiseen vertailu oman oppilaitoksen sisällä saattaa antaa paljon ajatuksia ja kehitysmahdollisuuksia. Aina ei tarvitse lähteä merta edemmäs kalaan.

Ulkoisesta BM:sta on kerrottu edellä ja sen perinteiset sovellukset tähtäävät yleensä kilpailukyvyn tai tuottavuuden parantamiseen. BM:a voidaan tehdä myös useamman organisaation välillä kuten esimerkiksi Helsingin, Tukholman ja Amsterdamin yliopistot tekivät (Virtanen 2001 ja Virtanen & Mertano 1999).

BM voi olla myös yhteistyöhön tähtäävää. Tällöin luodaan yhteisen vertailuprosessin kautta yhteinen tai uusikin benchmark, jota yhteistyössä lähdetään saavuttamaan. BM-prosessi on tällöin eräänlaisena idea hautomona, jossa molemmat osallistujat arvioivat ensin omaa toimintaansa, vertaavat sitä sitten toisen toimintaan ja yhdistävät sitten voimansa jonkin yhteistyöprosessin luomiseksi. (vrt. Karjalainen, Kuortti ja Niinikoski 2001)

Mielenkiintoisen esimerkin BM:n käytöstä yhteisten mittareiden luomiseksi antaa Benvic –projekti (www.benvic.odl.org). Projektissa kehitettiin, testattiin ja luotiin virtuaalikampusten arviointityökalua. Työn pohjalla oli viisi virtuaaliyliopistotapausta (case), joita tarkasteltiin eri näkökulmista. Projekti on myös esimerkki yhteistyötä kartoittavasta BM:sta ja antaa perusteellisen tapauskuvauksen BM-prosessin kulusta.

Monet BM:n vapaammat sovellukset eivät perinteisessä mielessä ole oikeaoppisia. Niissä BM antaa usein lähtökohdan tai luovan sysäyksen toiminnalle, joka ei tähtää ainakaan yksiselitteisesti ja pääasiassa kilpailukyvyn tai tuottavuuden parantamiseen. BM:n voidaankin nähdä antavan metaforisen kehyksen, jossa toimitaan uudella tavalla.

BM ja yliopistot: organisaatiokulttuurit, joustavat sovellukset

Korkeakouluja ulkopuolelta tarkkaileva voisi pikaisuuksissaan tehdä johtopäätöksen, että korkeakoulut eivät ole kovin rationaalisia organisaatioita, mistä johtuen BM:n vaatima rationaalinen vertailu voi olla vaikeaa. Yliopiston osien joskus autoritääriseltäkin vaikuttava autonomia akateemisen vapauden äärimuotoineen on haaste organisaation kokonaiskehitykselle. Samalla tämä autonomia kuitenkin antaa liikkumatilaa ja ainakin teoriassa sen pitäisi mahdollistaa esimerkiksi tiedekuntien tai laitosten/osastojen omien strategioiden luomisen ja niiden johdonmukaisen toimeenpanon. Toimintakulttuuri ei kuitenkaan ole muotoutunut sellaiseksi, että tällaista paljoa tapahtuisi. Organisaatioiden toiminnan ongelmien kuvauksena sopii tähänkin oivallisesti mm. deVootin käyttämä malli (deVoot 1996).

Epätyypilliset, uudemmat akateemiset rakenteet, joihin luen esimerkiksi virtuaaliyliopistot, ovat usein innovatiivisia ja valmiita kehittämään toimintaansa rohkein avauksin. Tämä johtuu varmasti osittain siitä, että ne ovat jo lähtökohtaisestikin organisaatioiden välisiä, joustavia olentoja.

Tulosjohtamisen ja strategiatyön sisäänajo yliopistoissa ei ole vielä kantanut sellaista hedelmää, kuin yhdeksänkymmentä luvulla toivottiin. Toimintaympäristön muutos on toki koskettanut yliopistoja, mutta yliopistojen toimintakulttuurin muutos tapahtuu hitaasti. Tieteenteon itseohjautuva ja itsekorjaava prosessi on akateemisen vapauden jykevän linnakkeen vallihauta. Sen yli ei tahdota päästää sellaisia voimia, joiden katsotaan uhkaavan tätä varjeltua vapautta eli akateemista itsemääräämisoikeutta. Tämä on osa tervettä akateemista kriittisyyttä. Yliopistot eivät kuitenkaan ole koskaan olleet totalitäärisen riippumattomia vaan yhteiskunnan ja akatemian välillä on aina ollut vuorovaikutusta ja kontrollisuhteiden verkosto.

Nyky-yliopiston haaste on nyt löytää niitä sopeutumismekanismeja, joilla akateeminen itsemääräämisoikeus voi yhdistyä modernin yhteiskunnan tarpeisiin. Yksi tapa etsiä uutta on katsoa rohkeasti oman järjestelmän ulkopuolelle – myös ulkomaille. Yliopistot voivat kehittää toimintaansa merkittävästi vertailemalla prosessejaan esimerkiksi valtion muihin organisaatioihin, muiden maiden yliopistoihin tai teollisuusyrityksiin. Koulutusorganisaatio on toki erilainen kuin vaikkapa paperitehdas, mutta esimerkiksi teollisuusyritysten tuotekehitysyksiköt voisivat tarjota mielenkiintoisia vertailukohtia yliopistojen koulutussuunnitteluun.

Kaikkein tärkein edellytys yliopistojen eri yksiköiden ja prosessien vertailevaan, organisaation ulkopuolisia esikuvia käyttävään kehittämiseen on juureva strategiatyö. Tässä yhteydessä on otettava esiin myös vallankäytön näkökulma. Kädestä suuhun – todellisuuden hyväksyminen, suunnitelmallisuuden mahdottomuuden korostaminen, lyhytnäköiseen projektirahoituskierteeseen hakeutuminen ja oman tontin silmitön puolustaminen palvelevat vanhakantaisten rakenteiden keinotekoista ylläpitoa, jossa aidolle kehitykselle ei ole sijaa. Kieltäytyminen kehitysvastuusta ja linjapäätösten teosta siirtää vallan seuraavaksi ylemmälle tasolle, jonka on taas puolestaan mahdoton tehdä johdonmukaisia kehityssuunnitelmia. Siksi strategiatyön on lähdettävä yliopiston pienimmästä strategiayksiköstä. Lopulta se lähtee meistä jokaisesta ja se näkyy kaikessa tekemisessämme: jokaisen kurssin sisällössä, jokaisessa tutkimussuunnitelmassa, jokaisen professorin valinnassa, jokaisessa päivässä. Vain tällainen organisaatio on valmis todelliseen oppimiseen ja on avoin erilaisilta, yllättäviltäkin esikuvilta oppimiseen.

Luovan BM:n soveltaminen yhteistyössä uutta etsin ja yhteisiä benchmarkkeja asettaen voi antaa virtuaaliyliopiston kaltaiselle organisaatiolle väkevän kehittymistyökalun. Luovassa BM:ssa on luonteenomaista juuri yhteistyössä kehittyminen, ei niinkään jonkin asian kehittäminen. Tämä sanaleikiltä kuulostava ero pohjaa voimaantumisen ja oman työn omistajuuden periaatteeseen, jotka ovat olemassaolonsa lahjomattomalla itsetutkiskelulla sisäistäneen organisaation ja ihmisen ylivertaisen tietoisuuden peruskalliota.

Erityisen hyödyllinen BM voisikin siis olla strategiatyön kehittämiseen. Työkaluksi vertailun aloittamiseen käy esimerkiksi Tasapainotettu mittaristo. Siitä voisimme me korkeakouluissa ja virtuaaliyliopistossa mainiosti aloittaa ja ottaa BM-kumppaniksemme jonkin organisaation tai yrityksen, jossa strategiatyö on johdonmukaista, tuloksekasta, elämänmakuista ja muhevaa.

Lähteet:

Dervitsiotis, K.N. 2000. Benchmarking and business Paradigm Shifts. Total Quality Management. Vol 11, 4/6&6, 641 – 646.

de Woot, P. 1996. Managing Change at University. Journal of the Association of European universities - CRE-action No 109.

Ericsson, R. 1993. In Benchmarking 1993. Helsinki: PA Consulting Group.

Karjalainen, A. 2002. Teoksessa: Hämäläinen, K. & Kaartinen-Koutaniemi, M. (toim.) 2002: Benchmarking korkeakoulujen kehittämisvälineenä. Helsinki: Edita

Karjalainen, A. & Kuortti, K. & Niinikoski, S. 2001. Luova koulutusohjelmavertailu. Ajatuksia kansainvälistä benchmarking -arviointia varten. Oulu: Oulun yliopistopaino.

Kulmala, J. 1999. Benchmarking ammatillisen aikuiskoulutuskeskuksen toiminnan kehittämisen välineenä. Tampere: Acta Universitatis Taperensis.

Laatukeskus. 1998. Benchmarking –käsikirja. Helsinki: Laatukeskus.

Rolstadås, A. (ed.) 1995. Benchmarking – Theory and Practise. London:Chapman & Hall.

Stetar, J. 1999. Benchmarking Teaching and Learning in Higher Education: Workbook. Tampere: University of Tampere

Virtanen, A. 2001. Benchmarking av förvaltningen – Vad lärde vi oss, hur utvecklades verksamheten? http://www.nuas.org/nuas2001/abstracts/303_608_virtanen.pdf

Virtanen, A & Mertano, S. (eds)1999. Learning by Comparing. The Benchmarking of Administration at the University of Helsinki. Helsinki: Edita.

http://www.benvic.odl.org