Tässä tarinassa kerron, miten pyrin tulkitsemaan tutkimuksia.Tämä on aihe, josta pitäisi kirjoittaa moniosainen kirjoitussarja. Mutta juuri siksi haluan kokeilla, selventääkö, vaiko hämmentääkö tällainen kuvaus asiaa? Lukijoiden näkemykset ja vasta-argumentit ovat suotavia 🙂

1. Jätän koe-eläintutkimukset marginaaliin

En yleensä raportoi eläintutkimuksien tuloksia, koska on perin tavallista, että koe-eläintuloksia ei voida vahvistaa ihmisellä. Poikkeuksia on, mutta yli 95 % tapauksista olen sitä mieltä, että eläinkokeiden tulokset ovat merkityksellisiä lähinnä tutkijoille. Tutkimustiedon suodattajan ei kannata niihin sotkeutua. Liika koe-eläinkokeiden raportointi voi olla sumutuksen merkki. En ymmärrä lainkaan miksi lehdistö iskee näihin. Paitsi tietysti, että niistä revitettyä raflaavia otsikoita.

2. Selvitän ensiksi tutkimuksen luonteen

Vakuuttavimmat tutkimukset ovat ylhäällä, vähiten vakuuttavat alhaalla

Koska tutkimusasetelma on ratkaisevan tärkeässä asemassa, luulisi tämän asian ilmenevän helposti. Joskus sen onkiminen on kuitenkin työlästä, se pitäisi kuitenkin ilmoittaa menetelmät -osassa (methods).

3. Tutkittavien määrä?

Paljonko on osallistujien määrä eli n-luku? Mitä suurempi sen parempi. Västötutkimuksissa erityisesti on oltava paljon koehenkilöitä.  Myös kohdan 1 tutkimukset vaativat suuren n-luvun varsinkin, jos tutkitaan kuolemien määrää. Kohdan 3 tutkimuksessa voi olla usein 10-20 potilasta. Joskus tämä voi olla riittävästi, usein kuitenkaan ei. Tässä esimerkki väestötutkimuksesta jossa on liian vähän tutkittavia, tässä esimerkki vastavanlaisesta tutkimuksesta, jossa on paljon koehenkilöitä (n. 900 vs 80 000).

4. Tutkittu populaatio?

Oliko otos edustava, mitä muita hoitoja koehenkilöt saivat? Ikä, sairaustausta, lääkitykset, muut hoidot, rekrytointi jne. Esimerkiksi vain IBS-potilailla tehtyjä tuloksia FODMAP -ruokavaliosta ei voi yleistää välttämättä muihin toiminnallisin vatsavaivoihin (dyspepsiaan, ummetukseen, tai diagnosoimattomaan sairauteen jne).

5. Onko tutkimuksen ”päätulos” ensisijainen, tai ylipäätään ennalta päätetty päätemuuttuja?

Joskus tutkimuksista julkaistaan ns. Ad hoc -tuloksia. Nämä ovat tuloksia jotka on löydetty jälkikäteen aineistoa mylläämällä. Näiden painoarvo ei ole kovin suuri, koska sattuma voi olla ilmiön takana. Jos esillä oleva tulos on ensisijainen (primary) vähintään toissijainen  muuttuja (secondary outcome) vahvistaa se tuloksen merkittävyyttä. Paljon julkisuutta saaneet kalsiumia ja sydänsairauksia koskevat tiedot perustuivat Ad hoc -tuloksiin.

6. Drop-out?

Miten moni pystyi olemaan tutkimuksen loppuun? Yli 80 % koehenkilöiden mukanaolosta tutkimuksen lopussa on hyvä saalis. Monissa tutkimuksissa saatetaan jäädä 50-60 %:iin, tämä on huono tulos nykykäsityksen mukaan. Mitä enemmän tutkimuksesta tippuu pois sitä todennäköisempää on, että tulokset vääristyvät. Esimerkki VHH -tutkimuksesta, jossa drop-out on liian suuri, löytyy tästä (vain 53 potilasta 132:sta aloittaneesta oli tutkimuksessa täydet kolme vuotta).

7. Päätuloksien kokoluokka (magnitude)?

Suurissa tutkimuksissa tilastollinen ero saatetaan pystyä osoittamaan ilman, että ero on kliinisesti (käytännössä) merkittävä. Mielestäni esimerkiksi tässä tutkimuksessa havaittu 7-9 % ero ei ole käytännössä merkittävä. ”Sattumman epätodennäköisyyttä” kuvaava p=arvo pitää olla alle 0,05  ja luottamusvälit pitää huomioida.

8. Mitä asioita pähkäillään diskussio-osassa?

Diskussiossa pitäisi  pähkäillä päätuloksia ja suhteuttaa niitä muuhun olemassa olevaan tietoon. Myös tutkimuksen puutteita pohditaan vain ja ainoastaan tässä vaiheessa. Puutteiden pohtiminen on kuitenkin lähes poikkeuksetta pinnallista, eikä kaikkia puutteita pyritä aidosti tuomaan esiin.

9. Oliko tutkimuksen yhteydessä pääkirjoitus (editorial)?

Tutkimuksen yhteydessä julkaistava pääkirjoitus kannattaa lukaista, sillä siinä laitetaan usein jäitä hattuun, ja laitetaan tutkimus kriittisemmin kokonaiskuvaan, kun miten itse tutkijat useinkaan rohkenevat tehdä. Lue esimerkikki jäitä hattuun -kirjoituksesta tästä (VHH ja kokonaiskuolleisuuden lisääntyminen Fung et al. tutkimuksessa).

10. Onko aiheesta viimeaikaista meta-analyysiä?

Jos tutkimustulos vaikuttaa merkittävältä, yllättävältä, oudon surkealta tai tosi vakuuttavalta, kannattaa tarkistaa löytyykö teemasta meta-analyysiä samalla tai eri tutkimusmenetelmällä tehtynä. Onko tutkimustulos linjassa meta-analyysin kanssa? Esimerkiksi K -vitamiini osteoporoosin hoidossa, meta-analyysi ja sen jälkeinen uusi samansuuntainen tutkimustulos.

11. Mitä muut samalla menetelmällä tehdyt tutkimukset sanovat samasta asiasta?

Jos kysymyksessä sattuisi olemaan esimerkiksi sydäntautien ja foolihapon yhteys. Väestötutkimuksissa oli aiemmin saatu runsaasti tuloksia, joiden mukaan foolihapon vähäinen saanti on sydäntautien riskitekijä. Vahvemmissa päätetapahtumatutkimuksissa (RCT) foolihappolisä ei estänytkään sydäntauteja. Yksi tällainen ”nollatulos -RCT” ei olisi vielä ehkä riittänyt, mutta useat samansuuntaiset RCT -tulokset naulasivat asian -foolihaposta ei ole sydänlääkkeeksi.

Nyt on harvaisen tuskainen tilanne juuri omega-3 rasvahappojen hyödyistä sydäntaudeissa. Uudet RCT tulokset ovat ristiriitaisia siihen nähden, miten me Suomessa (itseni mukaanlukien) ja erityisesti Harvard ylistää omega-3 rasvahappoja.

12. Mitä muut eri tutkimusmenetelmillä toteutetut tutkimukset sanovat samasta asiasta?

Jos kysymyksessä sattuisi olemaan esimerkiksi ravinnon ja suolistosyövän väestötutkimuksien meta-analyysi, niin mitä muut eri päätetapahtumaa käyttäneet tutkimukset sanovat? Esimerkiksi mitä tiedetään kuidun merkityksestä suolistosyöpien ilmaantumiseen RCT -tutkimuksissa? Näyttää melko samanlaiselta evidenssiltä (ehkä pientä etua, ei ainakaan haittaa).

13. Onko aiheesta tehty vankemman evidenssin tutkimuksia?

Jos tutkitaan vaikka sydän- ja verisuonitaudin riskitekijää LDL-kolesterolia tyydyttynyttä rasvaa vähentämällä, niin tiedetäänkö lyhyiden syöttötutkimusten perusteella havaitun edullisen LDL-muutoksen varmuudella kääntyvän myös hyödyksi sairastumisissa ja kuolemissa? Katso esimerkki tutkimuksesta, jossa 10 % kokonaiskolesterolin lasku ei kääntynyt kliiniseksi hyödyksi vaan ehkä päinvastoin (Corn Oil -Study). Corn Oil -tutkimuksen yläpuolelle nousee vielä meta-analyysi jonka mukaan LDL:n lasku rasvojen vaihtokauppaa koskevissa tutkimuksissa toi jonkinasteista kuolleisuus- ja sairastavuushyötyä (Mozafarian et al. 2010)

14. Mihin tutkimuksiin ja näyttöön perustuu vastakkainen tieto asiasta?

Kurkistus sellaisten tutkimusten antiin jossa on saatu päinvastaisia tuloksia, on tietenkin kiinnostavaa. Löytyykö sellaisia tuloksia paljon, vai onko havaittu tulos pääasiassa samansuuntainen aiemman tiedon kanssa. Mikä voisi selittää eron? Tässä esimerkkinä tutkimus D-vitamiinista, jossa jättiannosa D-vitamiini yllättäen lisäsi murtumia (kerran vuodessa annosteltuna). Tämän oudon tuloksen saattaa selittää epätavallinen annostelu.

Vastakkaisen tiedon hankkinen ja sen julkaiseminen on erityisen vastenmielistä meille ihmisille, varsinkin jos mahdollinen vastakkainen tieto on vastoin omia ihanteita ja asenteita.

Lopuksi

Kirjoitin tämän kirjoituksen intuitiivisesti, ja siitä saattaa puuttua hyvinkin jotakin oleellista, enkä varmaan pysty noudattamaan tätä prosessia kunnolla itsekkään. Tämä on siis lähinnä vinkkilista kiinnostuneille, mielellään kuulisin myös sinun tapojasi lukea tutkimuksia.

Olen kiinnostuneena seurannut erilaisia ravitsemuskatsauksia viime aikoina. Minusta on hämmentävää kuinka usein jätetäään toteamatta, mihin näytön  ”kastiin” jokin tutkimus kuuluu (vertaa kuva yllä). Välillä tulee eittämättä sellainen vaikutelma, että jokin epämieluisan meta-analyysin tai päätetapahtumatutkimuksenkin tulos saatetaan jättää mainitsematta. Vaikka se nimenomaan toisi ylemmän tason evidenssiä. Ja yllättävän usein väitetään olemassa olevan tutkimusaineiston olevan täysin yhdensuuntaista. Minuun ainkaan tällainen vääristely ei pure, ja uskon että monet pitävät tällaista koppavana ja harhaanjohtavana käytöksenä.

Erittäin tavallista on myös väestötutkimuksien väärinkäyttö ravintolisien markkinoinnissa. Se, että jonkin ravintoaineen määrä ravinnossa on käänteisessä (tai suorassa) yhteydessä johonkin sairauteen, ei vielä tarkoita sitä, että kyseisellä ravintotekijällä pillerinä olisi terveysvaikutuksia. Tästä on useita viimeaikaisia esimerkkejä, kuten foolihapon reputus sydänsairauksien hoidossa, ja itselle ainakin karvas omega-3 rasvahappojen riman alitus erilaisten sydänsairauksien ehkäisyssä ja hoidossa (ainakin osassa tutkimuksia).

Jäitä hattuun pitää laittaa myös tutkimusevidenssin jahtaamisessa. Kaikista sairauksista ei voi olla, eikä tule olemaan kattavaa ravitsemustieteellistä tutkimusta. Syöpä lienee yksi esimerkki tällaisesta haastavasta tutkimuskentästä. Myös moni ”nuori” tauti tai ei-rampauttava tauti jää usein vähäisesti tutkituksi. Ravitsemustiede tuntuu keskittyvän liikaa sydän- ja verisuonisairauksiin.

Mutta välillä oikein havahtuu, että asiat menevät myös eteenpäin. Yhden tällaisen havahduksen koin kun luin osteoporoosin ehkäisyyn ruokavalion keinoin liittyvää Juhana Harjun uutta kirjaa. Osteoporoosinkin ravitsemustekijöistä tiedetään näköjään tosi paljon, paljon enemmän kuin itse tiesinkään tai vaikkapa lääkärit tietävät. Mitenhän monta muuta vastaavaa ”löytöä” voisi tehdä?

Miten Sinä kommentoisit tutkimusten tulkintaa tai vaikkapa tutkimustulosten käsittelyä eri foorumeilla?