Tilastot ovat jänniä, kun ne kuvaavat jonkin asian tilaa. Tutkijat voivat sitten tulkita tuloksia ja esittää päätelmiä siitä, miten kyseiseen asiantilaan on päästy. Lisäksi voidaan esittää arveluita siitä, miten asiantila tulee muuttumaan nykyisellä järjestelmällä.
Kritiikkiäkin voi (ja pitää!!) esittää. Mutta millainen kritiikki on aiheellista ja millainen kritiikki saa ulkopuolisen pohtimaan, että onko tutkija ihan vaadittavalla taitotasolla? Alla muutama yleinen kritisoinnin aihe.
Käytän esimerkkinä hypoteesia, että salmiakin syönti aiheuttaa laksatiivisia vaikutuksia. Tästä voisi johtaa tutkimusasetelman, jossa koehenkilöille syötetään salmiakkia ja sitten seurataan heidän vessassa käyntiä. Ja sitten kritiikkiin.
1) Epätarkka raportointi
Mikäli tutkimusasetelma ja -tulokset on raportoitu liian suppeasti, ei voida arvioida, pitävätkö tulokset paikkaansa tai onko asetelmassa mahdollisesti ollut tekijöitä, jotka ovat saattaneet vaikuttaa tuloksiin. Tutkimustulokset tulisi raportoida selkeästi. Mielellään niin yksityiskohtaisesti, että koe voidaan toistaa muiden toimesta.
2) Kausaalisuuden puute
Erinäisten asioiden väliltä voi löytyä korrelaatiota, mutta se ei tarkoita, että niiden välillä olisi kausaalisuutta. Tässä esimerkissä voitaisiin esim. havaita, että koehenkilöt menevät vessaan syötyään salmiakkia, mutta se ei välttämättä tarkoita, että vessaan meno johtuisi juurikin salmiakin syönnistä. On osattava myös selittää, mihin kausaalinen suhde perustuu.
Eräs keino selventää suhteita on käyttää kontrolliryhmiä. Tässä tapauksessa muuten samaan testiasetelmaan asetetaan joukko, joka ei syö salmiakkia. Jos hekin käyvät vessassa, niin salmiakki siihen tuskin on syynä.
3) Tilastollinen epäpätevyys
Ei ole aivan selvää, milloin ilmiö voidaan yleistää suurempaan joukkoon. Jos esim. tässä asetelmassa syötämme vain kahdelle henkilölle salmiakkia, niin tuloksia ei voida yleistää koskemaan koko maailman väestöä.
Mikäli meillä on vaikkapa 1000 henkeä testattavana, niin tulokset ovatkin jo pätevämpiä. Mutta, jos näistä esim. 600 oireilee, niin ei voida siltikään sanoa, että hypoteesi on oikea. Vaikka suurempi osa henkilöistä saa oireita, niin ero ei ole vielä suhteellisesti riittävän merkittävä.
Mikäli 990 henkilöä (tuhannesta) saisi oireita, niin selitys on tarpeeksi uskottava. Mutta, jos samalla myös 900 kontrolliryhmän henkeä (tuhannesta) saa oireita, niin ero on taas liian pieni.
4) Satunnaiset muuttujat
Erinäiset muuttujatkin tulee huomioida. Mikäli kontrolliryhmässämme sattuu olemaan teräsvatsaisia henkilöitä ja testiryhmässä vain kroonisen vatsataudin omaavia, niin ei ole ollenkaan ihme, jos oireita ilmenee testiryhmässä enemmän. Tällaiset tekijät pitää ottaa huomioon.
5) Virheelliset päätelmät
Vaikka tilastot olisivatkin täysin päteviä, niistä voidaan silti tehdä erilaisia tulkintoja. Osassa tulkinnoista on loogisia virheitä tai vaikka pieniä kömmähdyksiä. Ja vaikka tulkintakin olisi oikea, siitä tehtävä päätelmä saattaa olla väärä. Esimerkiksi, jos osottautuisi, että salmiakki aiheuttaa laksatiivisia vaikutuksia, niin voidaan tehdä virheellinen tulkinta siitä, miten voimakkaita vaikutukset ovat. Mikäli vaikutus on olemassa, mutta suhteellisesti melko mitätön muuhun ruokailuun nähden, niin salmiakin pannaan julistaminen ei ole looginen päätelmä tutkimuksen valossa.
6) Laadullinen analyysi
Laadullista analyysia voi tehdä lukuisilla tavoilla ja käytännössä katsoen siinä on aina mukana ainakin hitunen subjektiivista näkemystä. Mikäli subjektiivinen näkemys peittää allensa aineistosta havaittavat ilmiöt, ollaan jossain menty pieleen. Esimerkiksi, jos testihenkilöiltä kyseltäisiin, millaisia tuntemuksia heillä on vatsansa suhteen salmiakin syönnin jälkeen ja tutkija sitten kategorioisi tuntemukset, niin on hänen päätäntävallassaan, mihin kategoriaan mikäkin tuntemus menee. Esim. meneekö "kupliva vatsa"-tuntemus kategoriaan "vellova" vaiko "epävakaa". Jotenkin materiaali pitää kuitenkin tiivistää esitysmuotoon.
(Tämä nyt ei ehkä ollut kaikkein paras esimerkki)
[Osa lukijoistani on varmaan vannoutuneita kvantitatiivisen tutkimuksen kannattajia ja pohtivat, minkä takia kvalitatiivista tutkimusta ylipäätään tehdään. Selityksiä on lähinnä kolme. Ensimmäinen on, että kohdan 5 ongelmat saadaan minimoitua. Toinen on se, että pelkkä tilasto ei riitä kertomaan miten tilaan päästiin tai miten sieltä päästään pois. Tarvitsee analyisoida syitä ja seurauksia. Tilastoilla näitä on vaikea selittää, joskin helppo todentaa. Kolmas syy laadulliselle tutkimukselle on se, että ymmärretään, miten on järkevää tehdä tilastointi. Se, että esimerkissämme tarkastellaan vain vessassakäyntejä ei huomioi sitä, kuinka kauan siellä vietetään aikaa. Laadullisella analyysillä voidaan ensin selvittää, kumpaa pitäisi tarkastella.]
Tiede yleensä
On myös huomattava, että yksi tutkimus ei yksistään ole juurikaan relevantti. Tulokset tulee yhdistää muihin tutkimuksiin, pohtia niiden yhteyksiä ja kokonaisuutta. Lisäksi tutkimuksia toistetaan, ehkä hieman eri asetelmalla tuoden uusia näkökulmia ja poistaen pahimpia kritiikin kohteita. Jos vaikkapa esimerkissämme on syytä olettaa, että salmiakin syöntiä edeltänyt lounaat vaikuttivat tuloksiin, niin seuraavalla kerralla sitten katsotaan tarkemmin, että lähtöasetalma on kaikilla mahdollisimman yhtenevä.
-PYO
Ei kommentteja:
Lähetä kommentti