Miksi Zeffi on tieteellisesti tarkin kyselytyökalu?

Tiivistelmä kirjasta: Sähköä kyselyyn! Web-kysely tutkimuksessa ja tiedonkeruussa. 2008.
Suvi Ronkainen & Anne Karjalainen (toim.) Lapin yliopiston menetelmätieteiden laitoksen tutkimuksia. Rovaniemi: Lapin yliopistopaino.

*Terminologiaa ja nimiä: ZEF on tieteellinen menetelmä, joka on Zeffi-järjestelmän perusta. Se on myös yrityksemme nimen ZEF Oy taustalla. ZEF-menetelmän taustalla on emeritus-professori Esko Alasaarela.

1. Johdanto
2. Kvalitatiivisuus, kvantitatiivisuus ja sähköinen kyselytutkimus
3. Graafisen kyselylomakkeen suunnittelu
4. Visuaalisuus ja interaktiivisuus sähköisessä kyselyssä
5. Kaksiulotteinen kysymys
6. Otanta, edustavuus ja kadon analyysi
7. ZEF-kyselyn laatiminen 
8. Tulosraportti ja tulkinta

I. Johdanto

”Sähköä kyselyyn! Web-kysely tutkimuksessa ja tiedonkeruussa” –kirjan taustalla on Lapin yliopiston menetelmätieteiden laitoksella tehty tutkimus, jossa selvitettiin sähköisen kyselyn mahdollisuuksia ja rajoituksia. Teoksessa käsitellään sähköisten kyselyjen tekemistä, laadullisuutta ja määrällisyyttä kyselytutkimuksissa sekä erityisesti kaksiulotteisten kysymysten laatimiseen ja käyttöön liittyviä näkökohtia. Opas johdattaa web-kyselyjen maailmaan ja ”kysymisen kysymyksiin” yleisellä tasolla sekä Z-scored Electronic Feedback –menetelmään, eli ZEF-kyselyihin sähköisten kyselyiden esimerkkinä.

II. Kvalitatiivisuus, kvantitatiivisuus ja sähköinen kyselytutkimus

ZEF-kyselyissä kysymystyyppeinä voidaan käyttää vaihtoehto- ja monivalintakysymyksiä, vapaapalautekysymyksiä sekä janakysymyksiä. Kiinnostavin kysymystyyppi on kuitenkin kaksiulotteinen kysymys eli nelikenttä. Tämän visuaalisuuteen perustuvan kysymystyypin voi ymmärtää arviointitehtävänä, joka edellyttää kysytyn asian pohdintaa kahden ulottuvuuden suunnasta. Se kehystää henkilön ajattelua ja ohjaa merkityksellistämään tutkittua asiaa ulottuvuuksien avulla.

Kaksiulotteiseen kysymykseen vastatessaan vastaaja suhteuttaa ja arvioi kysyttyä asiaa ulottuvuuksien kautta. Hänen vastauksensa kertyvät näkyviin ns. kokoomatauluksi. Vastaaja siis näkee nelikenttään asettamansa pisteet saman kysymysryhmän vastausten osalta. Tämä vahvistaa kysyttävien asioiden suhteuttamista toisiinsa, jolloin tärkeäksi tulee kysyttävien asioiden saama keskinäinen järjestys ja välimatka toisiinsa.

Visuaalisuus tekee myös tulosraporteista helppolukuisia, ja siksi ZEF-kyselyä on hyödynnetty paljon erilaisten muutosprosessien osana keskustelujen virikkeenä. Vaikka keskustelijat eivät ymmärtäisi yhtikäs mitään keskiarvoista, hajonnoista tai suorista jakaumista, he pystyvät keskustelemaan vastausten eroista visuaalisen esityksen avulla. ZEF-kyselyn tulosraportit toimivat hyvin myös yksilöhaastattelujen virikkeenä, strategiasuunnittelussa ja sen tutkimisessa.

ZEF-kysely hälventää perinteistä rajaa kvalitatiivisen ja kvantitatiivisen tutkimuksen välillä. Se yhdistelee piirteitä molemmista tutkimustavoista. Esimerkiksi janakysymys on kysymysmuotona määrällisen ja laadullisen välimaastossa. ZEF-kyselyn aineiston hankinta muistuttaa enemmän perinteisesti laadullisessa tutkimuksessa käytettyä näyte-näkökulmaa ja edellyttää sisällöllisen kattavuuden huomiointia. Ohjelman hyödyntämä matemaattinen analysointi nojaa perinteisen mittaamisen sijaan laadullisten erojen visualisointiin, mikä sopii kuvailevaan analyysiin.

III. Graafisen kyselylomakkeen suunnittelu

Kaikki kyselyt edellyttävät huolellista etukäteistyötä. On tutustuttava kyselyn aiheeseen, kokeiltava, muokattava ja testattava kysymysten eri versioita. Kaikenlaisten kyselyiden suunnittelua ohjaa kaksi asiaa – etukäteistieto ja se, mihin tutkimuksen pitäisi vastata sekä ns. kysyttäväksi muotoileminen. Lopullisen kyselyn muotoiluun vaikuttavat lisäksi kyselyn pituus ja sen eri versioiden testaamisesta saadut tulokset. Kaiken kaikkiaan kyselyn suunnittelu on ”monivaiheista tuunailua”, jossa on huomioitava sekä kyselyn kokonaisuus että yksityiskohdat.

Kyselyt voivat olla joko strukturoituja tai avoimia. Ne siis perustuvat joko rajattuun tiedon tarpeeseen ja valmiisiin vaihtoehtoihin tai ovat pikemminkin kartoittavia, vaihtoehtoja hakevia. Se, miten kysely kannattaa tehdä, riippuu paljolti tiedon tarpeesta.

Kysymyksiä ja kyselykokonaisuutta muotoillessa on usein hyödyllistä hahmottaa ensin tutkittava asia ilmiönä. Mistä tutkittava asia rakentuu, mitä konteksteja tutkimuskohteeseen liittyy ja mitkä ihmisryhmät ovat osa sitä? Aiheen hahmottelun pohjalta tutkittava kohde voidaan pilkkoa osakysymyksiin tai jakaa aihealueisiin. Tämän jaottelun pohjalta mietitään seuraavaksi taustakysymyksiä, joiden avulla vastaajia erotellaan ja vasta sen jälkeen pohditaan itse tutkimuskohdetta koskevia kysymyksiä.

Alustavien kysymysten ja kaksiulotteiseen kysymykseen liittyvien ulottuvuuksien laatiminen alkaa siis vasta tutkittavan kohteen hahmottamisen jälkeen. Tässä yhteydessä puhutaan ”kysyttäväksi muotoilemisesta”. Vaikka jokin asia olisikin kysymisen arvoinen, sitä voidaan kysyä vain, jos kysymys voidaan muotoilla ymmärrettävällä tavalla. Kyselyn reliabiliteetin varmistamiseksi tulee pyrkiä siihen, että kaikki kyselyyn osallistuvat ymmärtävät kysymyksen samalla tavalla.

Kysymystyyppien valinnassa ja kysymysten muotoilussa tulee huomioida kyselyn kohdeyleisö. Minkälaista osaamista, kognitiivista kapasiteettia ja motivaatiota kyselyyn vastaaminen edellyttää? Jotta kysely olisi vastaajaa opastava, kannattaa hyödyntää samankaltaisia kysymisen muotoja peräkkäin ja mahdollisuuksien mukaan kysymysryhmittäin siten, että kysymystyyppien vaihteluun tulee jonkinlainen selkeä rytmi. Kyselyn pääkysymyksiä hyvä kysyä muutenkin kuin vain avokysymyksellä, koska niiden kohdalla vastausprosentti usein pienenee.

Kysymykset kannattaa kerätä kysymysryhmiin niin, että ne etenevät loogisesti ja teemoittain. Kyselyn selkeyden lisäämiseksi kysymykset kannattaa muotoilla lyhyiksi, ytimekkäiksi ja helposti ymmärrettäviksi – helpot kysymykset sijoitetaan kyselyn alkuun ja vaikeammat loppuun. Kyselyn voi rakentaa itseohjaavaksi lisäämällä ohjetekstejä kysymysten kylkeen. Sähköiseen kyselyyn on helppoa lisätä paljonkin ohjeita, mutta kannattaa ottaa huomioon, että liika informaatio saattaa turhauttaa vastaajaa.

Kyselyn ensimmäinen versio kannattaa testauttaa ja kyselyn loogisuutta arvioida vastaajanäkökulmasta. Loppusilauksena kyselyn visuaalinen ilme laitetaan kuntoon ja laaditaan kyselykutsu. Ennen lopullisen kyselyn eteenpäin lähettämistä kannattaa testata sen toimivuus vielä uudestaan henkilöllä, joka kuuluu kyselyn kohderyhmään tai on lähellä sitä maailmaa, jota halutaan tutkia. Kutsuviestissä vastaajia voi sitouttaa kyselyyn esimerkiksi vaikutusmahdollisuuksia ja kyselyn hyötyjä korostamalla.

IV. Visuaalisuus ja interaktiivisuus sähköisessä kyselyssä

Graafisen web-pohjaisen kyselyn etuna verrattuna perinteiseen paperikyselyyn on se, että kyselyn ulkoasusta saa tehtyä helposti houkuttelevan ja itse kyselystä interaktiivisen. Toisaalta tämä saattaa tehdä kyselyn suunnittelusta myös haastavampaa.

ZEF-kyselyn kantavana ideana on vastaajaystävällisyys. Interaktiivisuus korostuu esimerkiksi siinä, että vastaaja voi selata kyselyä eteen- ja taaksepäin niin paljon kuin haluaa. Hän voi myös muuttaa vastauksia niin kauan, kun hän ei ole päättänyt kyselyä tai mahdollisesti jopa sen jälkeenkin.

ZEF-kyselyn visuaalisessa näkymässä näkyvät samanaikaisesti kaikkien kysymysryhmien otsikot sekä aktiivisen kysymysryhmän kaikki kysymykset. Näin vastaaja saa hyvän kokonaiskuvan kyselystä. Vastattava kysymys esitetään yksi kerrallaan, mikä korostaa kysymyksen merkitystä ja pysäyttää vastaajan pohtimaan vastaustaan. Nämä ominaisuudet yhdistettynä koko kysely toimii vastaamisen kontekstina samalla, kun vastaaja pohtii yksittäistä kysymystä. Tämä johtaa vastaamisen johdonmukaisuuteen.

ZEF-kyselyn erikoispiirteisiin kuuluu janakysymyksen ja kaksiulotteisen vastausten esitystapa ns. kokoomatauluna. Vastaukset kertyvät niin, että kun useampi kysymys on kysytty samassa kysymysryhmässä, ne kertyvät vastaajalle samaan kokoomatauluun palloina. Se, että vastaaja näkee samaan kysymysryhmään liittyvät vastaukset kokoomataulussa, rakentaa vastaamiseen liittyvää visuaalista yhteyttä. Siksi vastaajan on helppo rakentaa vastausten välisiä suhteita. Kokoomataulu ohjaa vastaajien huomiota nimenomaan vastaamiseen ja omien vastausten prosessointiin ”mekaanisen robottiklikkailun” sijaan.

V. Kaksiulotteinen kysymys

ZEF-kyselyn spesialiteetti on kaksiulotteinen kysymys, joka pakottaa ajattelemaan kysymysten laadinnasta totutusta poikkeavalla tavalla. Kaksiulotteisen kysymyksen kehittelyn pohjana on ollut Kotlerin liiketoiminnan ja markkinoinnin suunnitteluun ja analysointiin painottuvat mallit sekä SWOT-analyysi. Kaksiulotteisessa kysymyksessä vastaajaa pyydetään ottamaan kantaa kysyttyyn asiaan samanaikaisesti kahden ulottuvuuden, kuten tärkeyden ja realistisuuden suhteen.

Kysymys on myös visuaalisesti erilainen – ulottuvuudet virittävät välilleen kentän tai alueen, jossa vastaaminen tapahtuu. Tämän vuoksi kysymystyyppiä kutsutaan myös nelikentäksi. Vastaaja sijoittaa vastauksensa kahden ulottuvuuden, x- ja y-akseleiden väliin muodostuvalle alueelle. Visuaalisuuden lisäksi kysymystyypin etuna on, että vastaaja suhteuttaa kysymysryhmän sisällä kysyttyjä asioita toisiinsa.

Kriittisintä kysymyksen laadinnassa on ulottuvuuksien valinta ja itse kysymyksen selkeys. Kaksiulotteisuutta hyödyntävä kysymys voidaan jakaa osaväitteisiin, alakysymyksiin tai ilmiön kannalta kiinnostaviin tai erityisiin ominaisuuksiin. Näin kysymysryhmän yksittäiset kysymykset tukevat toisiaan ja kokonaisuus kehystää vastaamista.

1. Haluatko vahvistaa kysymyksen näkemistä enemmän nelikenttänä vai kaksiulotteisena kysymyksenä?
2. Mihin ulottuvuuksien nollakohta tai neutraali alue sijoittuu luontevasti?
3. Ovatko ulottuvuudet laatuja, ilmiöitä vai sisällöllisiä asioita – ja mikä on ulottuvuuksien suhde toisiinsa?
4. Laitetaanko ulottuvuuksiin näkyviin mitta-asteikot, ja jos laitetaan, mitä ne ovat?
5. Kuinka monta kysymystä tulee samaan kokoomataulukkoon eli on osa samaa kysymysryhmää?

Ulottuvuuksia voi rakentaa, muotoilla ja nimetä useilla eri tavoilla, ja niitä voi myös täydentää ja ohjeistaa monin tavoin. Rajoitteena on ainoastaan kysymyksen ymmärrettävyys. Ulottuvuudet voivat olla laadullisia, esim. suoriutuminen/tärkeys, suhteuttavia sisällöllisiä ulottuvuuksia, jolloin jotakin asiaa arvioidaan suhteuttamalla se kahteen erilaiseen asiakokonaisuuteen tai esimerkiksi aikaa tai rahaa kuvaavia määreitä. Visuaalisilla ratkaisuilla ja ulottuvuuksien nimeämisellä voi vaikuttaa siihen, hahmotetaanko ulottuvuuksien välille jäävä alue perinteisenä nelinkenttänä vai dimensioiden väliin jäävänä alueena.

Kaksiulotteiseen kysymykseen liittyy ns. piilotettua matematiikkaa. Vaikka asteikkojen ääripäät määritellään vastaajalle laadullisesti sanoina, ohjelma laskee vastaukselle arvot hyödyntäen liukuvaa asteikkoa 0-100. Tämä mahdollistaa vastauksen määrittämisen hyvinkin tarkasti desimaalien avulla. Vaikka vastaaja siis ajattelee vastaavansa alueelle, tulosraportissa vastauksille annetaan matemaattiset lukuarvot, joihin keskiarvo- ja hajontalukujen laskeminen perustuu.

VI. Otanta, edustavuus ja kadon analyysi

Laajoja tutkimuksia tehtäessä on mahdotonta tutkia kaikkia tutkimusaiheeseen liittyviä ihmisiä. Täytyykin tyytyä jonkin kokonaisuutta edustavan osan tutkimukseen. Siksi tehdään otanta eli tutkitaan osajoukkoa, jonka periaatteessa pitäisi sisältää niitä erilaisuuksia ja siinä suhteessa, jossa ne koko joukossakin ilmenevät.

Sähköisten kyselyiden ongelma on, että ne tyypillisesti perustuvat sähköpostitse lähetettävään kutsuun, eikä otannan tekeminen ole käytännössä useinkaan mahdollista. Sähköisillä menetelmillä ei voida tehdä esimerkiksi väestötason otantakyselyjä ainakaan niin, miten niitä on perinteisesti totuttu tekemään.

Sähköisissä kyselyissä onkin painotettava vahvemmin tutkimuksellisen edustavuuden analysointia ja vastaajien katoa sekä mietittävä, millaisella tavalla aineisto on valikoitunut ja minkälaisen näkökulman aineisto tarjoaa tutkittavaan kohteeseen. Aineistoa rakennettaessa taas on tärkeää miettiä, millaista näkökulmaa ilmiöön aineistolla saadaan, millaisia ryhmiä tutkimusaineistoksi kutsuu ja miten nämä ryhmät ovat saavutettavissa.

Kun sähköisissä kyselyissä osallistumiskutsu lähetetään usein sähköpostitse, ei halutakaan ketä tahansa vastaajia, vaan vastaajiksi haetaan tiettyä ryhmää. Aineiston rakentuminen muistuttaa laadullisen tutkimuksen aineiston muodostumista. Tärkeää on, että tutkija pystyy kertomaan, millaisen ja keiden näkökulman aineisto avaa tutkittavaan asiaan. Puhutaan teoreettisesta näytteestä, jossa aineisto suhteutetaan tutkittavaan ilmiöön kysyen, millaisen joukon kokemuksista tai näkemyksistä on kyse, onko tämä joukko suhteessa tutkittavaan ilmiöön kattava vai jääkö jotain ilmiön kannalta oleellista pois. Tilastollisen edustavuuden sijaan tai ohella pyritään aineiston sisällölliseen relevanttiuteen.

Sähköisissä kyselyissä konkreettinen tavoitettavuuden ehto on sähköpostiosoitteiden olemassaolo ja se millaisilla tavoilla osoitteet on hankittavissa. Jo taustakysymyksiä muotoillessa on huomioitava, että joskus kyselykutsu lähetetään esimerkiksi yrityksen yleiseen osoitteeseen ja vastaaja voi olla missä asemassa tahansa. Kyselyitä voidaan sähköpostin lisäksi jakaa myös virtuaalisissa verkostoissa, esimerkiksi keskustelupalstoilla. Sähköisen kyselyn selkeä plussa onkin, että siihen voidaan vastata mistä päin maailmaa tahansa.

Katoanalyysillä tarkoitetaan sen tutkimista, onko vastaamatta jättäminen systemaattista vai satunnaista, jolloin vastanneiden taustamuuttujia verrataan otokseen valikoimisen kriteereihin. Aineiston keräämisen jälkeen on tärkeää arvioida, miten hyvin saatu aineisto kuvaa tilastollisesti sitä ryhmää, jota sen pitäisi kuvata. Kun sähköinen kysely lähetetään sähköpostitse vastaajille, tutkijalla on melko hyvä perustieto siitä, millaiseen ryhmään tutkimus kohdistuu.

VII. ZEF-kyselyn laatiminen

ZEF-kyselyä voi käyttää monentyyppisten ilmiöiden tutkimisessa, niin isojen kuin pienienkin kyselyiden tekemiseen. Sovellus on suunniteltu ennen kaikkea käytännön soveltavan tutkimuksen tarpeisiin. Kyselyn laadinta tehty mahdollisimman helpoksi, hallinta yksinkertaiseksi ja tulosten raportointi automatisoiduksi ja reaaliaikaiseksi. Siksi se säästää reilusti aikaa perinteisiin lomakekyselyihin verrattuna.

Laadi oma Zeffi-kyselysi:

VIII. Tulosraportti ja tulkinta

ZEF:in tarjoama automaattinen tulosraportti esittää vastaukset mahdollisimman pitkälle visualisoituna niin, että kyselyn laatija saa yleiskuvan tuloksista helposti. Tulosraportissa kokoomatauluista näkyy keskiarvopisteiden sijoittuminen ja keskihajonta, jota visualisoidaan keskiarvopisteen ympärillä näkyvänä kehänä. Raportti antaa automaattisesti myös esimerkiksi vastausten suorat jakaumat (eli prosenttiosuuden vastanneista ja vastausten absoluuttisen määrän).

Tutkijan tärkein päätös tulosraporttia muotoiltaessa on se, haluaako hän tulokset suhteellisilla vai absoluuttisilla arvoilla. Absoluuttisissa raporteissa vastausten keskiarvot sijoittuvat täsmälleen vastauspisteiden mukaan. Suhteellisilla eli normeeratuilla arvoilla raportissa keskiarvot asettuvat keskelle tauluja ja pisteet hajoavat tasaisesti. Normeerattuja arvoja ei siis lueta enää ”oikeina arvoina”, mutta ne antavat hyvän yleiskuvan kyselyn tuloksista.

Tutkija voi myös ryhmitellä vastauksia taustamuuttujin, eli suodattaa tuloksia esimerkiksi valikoimalla tarkasteltavaksi jonkin vastaajaryhmän. Myös kaksiulotteinen kysymys tulostuu vastaajaryhmittäin, mikä helpottaa vertailua.

Vaihtoehto- ja monivalintakysymykset tulostuvat raporttiin pylväskuvioina, joihin on sisällytetty frekvenssit ja prosenttiluvut. Jana- ja kaksiulotteisissa kysymyksissä tulosraportit perustuvat keskiarvoihin, ja lisäksi tulostauluissa keskiarvojen ympärillä himmeästi näkyvät ellipsit kuvaavat vastausten hajontaa.

ZEF:issä raportti on ennen kaikkea visuaalinen ja kuvaileva graafisine kuvioineen, joihin tilastomatematiikka on piilotettu. Se onkin tarkoitettu nopeaan, kuvailevaan analyysiin ja yleiskuvan hahmottamiseen. Tällaisen raportin ehdottomana etuna on sen toimivuus niin ryhmä- kuin yksilöhaastatteluissa keskustelun virikkeenä ja osana erilaisia toiminnallisia muutosprosesseja erityisesti kokoomataulujen avulla. Tulostauluja voidaan käyttää kätevästi myös ideoinnin välineinä tai strategisen hahmottamisen keinona.