-------------------------------------------
Perjantaina törmäsin BBC:n uutisessa tutkimukseen, jossa oli käynyt ilmi yhteys huonolla hammashygienialla ja sydänongelmilla. BBC:n uutinen.
Sekä otsikossa ja että varsinaisessa tekstissä käy ilmi löydetyn yhteyden vakava seuraus:
"Taking into account factors that affect heart disease risk, such as social class, obesity, smoking and family history, the researchers found those with the worst oral hygiene had a 70% increased chance of developing the condition compared with those who brush their teeth twice a day."
Hui kamalaa. Jopa 70 % suurempi riski saada sydänsairaus. Tämä uutinen oli kuitenkin kohtuullisen maltillisesti kirjoitettu. Siinä oli esimerkiksi tekstissä toppuuttelevaa tekstiä tutkijoilta, ettei tämä ole suora syy-seuraus-yhteys, koska mm. huonosti hampaita hoitavat saattavat hyvinkin hoitaa myös muuta terveyttään huonommin. Lisäksi uutisesta löytyy linkit varsinaiseen julkaisuun.
Mutta 70 % hui. On se kova luku. Mitä se tarkoittaa? Palaan tähän kohta.
Monille tämän blogin seuraajille Bad Science kirja on tuttu. Siinä Ben Goldacre teki useaan otteeseen avoimen pyynnön journalistien ja tutkijoiden suuntaan, että julkisissa kirjoituksissa käytettäisiin todellisia lukuja suhteellisien riskien sijaan. Todellisilla luvuilla tarkoitetaan esimerkiksi tutkimustuloksissa, että montako ylimääräistä kuolemaa jostakin haittatekijästä tulee selkeää lukumäärää kohti. Esimerkiksi tuhannesta yhden askin päivässä tupakoivista kuolee 10 ihmistä keuhkosairauksiin, mutta tuhannesta kahden askin päivässä tupakoitsijasta 15 ihmistä kuolee keuhkosairauksiin, jolloin tulee siis 5 ylimääräistä kuolemaa tuhatta kohti. Prosentin keuhkosairaustiheydestä tulee 1,5% ja kasvua 0,5% (Esimerkin luvut on täysin keksittyjä. Todellisuudessa luvut ovat varmasti synkempiä). Valitettavasti yleisempi uutisointi tapa on puhua suhteellisista riskeistä, jolloin yllä oleva keksitty esimerkin voisi ilmaista, että ylimääräinen aski lisää keuhkosairauksien riski on kasvanut 50 prosentilla. Eli tämän tyyppisissä tapauksissa 0,5 % ja 50 % voi olla sama asia. Ongelma suhteellisilla riskeistä puhuttaessa on se, että ne saavat tieteen kuulostamaan abstrakteilta totuuslauseilta auktoriteettihahmoilta, eikä normaali kaduntallaaja usein osaa muodostaa yhteyttä tuloksien ja oman arkensa välille.
Joten mitä se 70 % tarkoitti tässä uutisessa, ja kuinka tutkimus uutisoitiin muualla? Olinko liian kyyninen?
Julkistettua tutkimusta voi kaikki käydä penkomassa täällä.
Tutkimus oli laaja ja pikaisesti silmäiltynä kaikki tuntuu olevan asiallisest. BBC:n uutisen tiedot löytyy. Julkaisusta löytyy tietenkin tilastot hammashygienian ja sydänsairauksien suhteesta.
Kaiken kaikkiaan sydänsairauksia oli seurantaryhmällä 555 : 11869; kahdesti päivittäin harjaavilla 308:8481 (3,6 %) [1,0 *]; yhdesti päivittäin harjaavilla 180 : 2850 (6,3%) [1,3] ja alle kerran päivässä harjaavilla 59 : 538 (10,9%) [1,7*]. Huomiomerkki * tarkoittaa siis suhteellista riskiä kun tuloksissa on otettu huomioon tupakointi, ikä ja painoideksit. Eli siis 7,3 % muutos kahdesti harjaavien ryhmästä harvoin harjaaviin 3,6 % -> 10,9 % olisi korjattuna sama kuin 70 % suurempi riski.
Voisi luulla, että ihmiset arvostaisivat sitä, ettei heidän terveyttään koskevia tiedeuutisia tyhmennettäisi raflaavien otsikoiden toivossa. Olisiko kamalaa kokeilla joskus tehdä tiedeuutinen todellisilla luvuilla? Jos kirjoittaisi, että huonosti suuhygieniasta huolta pitävistä (mm. alle kerran päivässä hampaansa harjaavista) seitsemän ylimääräistä sataa kohti sairastuu sydän sairauteen vuosittain verrattuna hampaansa kahdesti päivässä harjaaviin. Tuo olisi helppo tieto pitää mukana. Raflaavalla 70 % kasvaneiden riskien isoilla otsikoilla saat aikaan hyvän kahvipöytäkeskustelun kunnes joku kysyy, että ”70 % mistä?”.
Miten asia sitten uutisoitiin muualla? Alla pari huonoa esimerkkiä huonoimmasta päästä lehdistä, joilta ohilyöntejä voisikin odottaa.
”Harjaa hampaasi - se suojaa sydäntäkin
Tutkimuksen perusteella niillä, jotka eivät pitäneet huolta suun hygieniasta, oli 70 prosenttia suurempi sydänsairauksien riski kuin kaksi kertaa päivässä hampaansa harjaavilla. "
- lltalehti pe 28.5.2010
“How failing to clean your teeth twice a day can give you a heart attack” Otsikko Daily Mail
Se mitä Goldacre toivoi tutkijoilta ja journalisteilta ei toteutunut ainakaan tämän tutkimuksen osalta. Aiheutetut vahingot tällä uutisella on enemmänkin tieteen uskottavuuden ja tiedon hyödyntämisen puolella. Eli jos tästä joku pelästyisi, voisi se olla pelkästään hyvä juttu ainakin sen lukijan hampaille. Mutta jos haluamme saada tieteestä uskottavampaa tai parempaa tiedejournalismia, on muutosta ilmeisesti vain alettava kauniisti pyytämään. Vai onko liian houkuttavat otsikot liian houkuttavia?
- Timo M.
Ihan loistava artikkeli. Vaan että "huonohampaiset" kirjoitetaan yhteen. ;]
ReplyDeleteSe on täysin Timon häpeä!
ReplyDeleteNo melkein näin. Mutta jos luvut olivat kuten tässä artikkelissa luki (en tarkistanut BBC:n artikkelia), eli 3,6/100 tai 10,9/100, niin kaikki tähän asti esitetyt luvut ovat todella väärin.
ReplyDeleteTodellisuudessahan hampaita harjaamattomien todennäköisyys saada sydänsairaus oli kolminkertainen verrattuna kahdesti päivässä hampaansa harjaaviin. Eli 200% suurempi. Jos taas puhutaan tuosta 70%:sta, niin sitä ei vaan mitenkään saa tässä esitetyillä luvuilla aikaiseksi.
Hampaita harjaamattomien todennäköisyys sairastua oli 10,9% ja kahdesti harjaavien 3,6%, eli eroa on 7,2%-yksikköä. Ilman tuota "yksikköä" sanaa tuosta ei saa mitään järkevää lukua.
Eli 3,6% --> 10,9% on joko noin 200%:n kasvu tai sitten 7,2%-yksikön kasvu.
Jos halutaan käyttää tuota lukua 70% ilmaisemaan jotain kasvua ja kantaluvuksi otetaan 3,6% riski, niin 70%:n kasvu tarkoittaisi:
3,6 * 1,7 = 6,12
Joka on siis melko lähellä tuota kasvanutta riskiä kahdesti harjaavista yhdesti harjaaviin (6,3%).
Riskin kasvu sairastumiseen yhdesti harjaavista ei lainkaan harjaaviin on:
100 * (10,9-6,3) / 6,3 = 73%
Jos olen väärässä, niin mielellään joku varmasti oikaisee ja ilmoittaa oikeat laskelmat.
Lari: jutussa mainitut luvut onkin parempi tarkistaa jutusta löytyvässä linkissä julkaisuun ja sen tilastoihin. Siellä löytyy varsinaiset luvut.
ReplyDeletehttp://www.bmj.com/cgi/content-nw/full/340/may27_1/c2451/TBL2
Olet varmaankin ihan oikeassa suhteellisen riskin kasvun laskutavoissasi. Jutussa on kuitenkin maininta, että suhteellisen riskin laskentaan on otettu huomioon tupakoinnin, iän ja painoindeksin vaikutus. Julkaisusta en heti löydä miten paljon nämä vaikuttavat lukuihin, mutta suoraan ei voida sanoa tätä vaikutusta tietämättä, että kasvu 3,6%-ryhmästä 10,9 %-ryhmään olisi 200%.
Tuo 70 % riskin kasvu saatiin monimuuttuja-analyysillä jossa on yritetty kompensoida tunnettuja riskitekijöitä. Pitäisi olla alkuperäinen data jotta sen voisi kaivaa esiin.
ReplyDeleteTällaisissa epidemiologisissa tutkimuksissa käytetään yleensä noita suhteellisen riskin muutoksia, koska suhteellinen riskitaso on luku, joka tulee suoraan ulos monimuuttuja-analyysistä. Tuloksia ei siis tyhmennetä ketään varten, päinvastoin. Tutkimusten varsinainen yleisö eli siis lääkärit ja muut tutkijat ovat tottuneita niihin ja osaavat verrata uusia tuloksia vanhoihin.
Timon toivomia absoluuttisia riskitasoja ei taas ole mitään mieltä ilmoittaa tai verrata mihinkään, koska saatavilla ei ole mitään absoluuttista referenssitasoa, johon tutkimusryhmiä voitaisiin verrata. En ole Goldacren kirjaa lukenut, mutta tuskin hänkään toivoo, että tiedeuutisia popularisoitaisiin jollain Stetson-Harrison-menetelmällä kehitetyillä luvuilla.
Sinänsä näissä epidemiologisissa tutkimuksissa on heikkoutensa. Monimuuttuja-analyysillä on hankala puhdistaa tulosta kaikista riskitekijöistä. Esimerkiksi tuo hampaiden harjaamattomuus korreloi hyvin piittaamattomuuden kanssa, eivätkä tutkijat oikein pysty arvioimaan koehenkilöiden piittaamattomuutta. Esimerkiksi kananmunien syöminen voisi olla hyvä proksi piittaamattomuudelle, takavuosina kananmunien syöntiä pyrittiin rajoittamaan koska niiden kuviteltiin aiheuttavan sydän- ja verisuonisairauksia, mutta nykyisen tietämyksen valossa kanamunat voivat haitata vain harvinaisista perinnöllisistä aineenvaihdunnan sairauksissta kärsiviä ihmisiä. Tom Naughtonilla on hyvä juttu aiheesta (englanniksi).
Pekka Pessi:
ReplyDeleteTuo 70 % riskin kasvu saatiin monimuuttuja-analyysillä jossa on yritetty kompensoida tunnettuja riskitekijöitä. Pitäisi olla alkuperäinen data jotta sen voisi kaivaa esiin.
Suhteellinen riski todellakin tulee analyyseistä, mutta onko mitään estettä esittää saman analyysitavan tuloksia voida esittää absoluuttisen riskin luonnollisilla luvuilla. Ymmärtääkseni ei ole. Bloggauksen laskennat olisi tietenkin olleet tarkemmat samalla analyysillä. Tutkimuksen tuloksissa ei liene vikaa (ainakaan vielä tullut esiin), mutta ongelma onkin tuloksien esityksessä.
Pekka Pessi:
Tällaisissa epidemiologisissa tutkimuksissa käytetään yleensä noita suhteellisen riskin muutoksia, koska suhteellinen riskitaso on luku, joka tulee suoraan ulos monimuuttuja-analyysistä. Tuloksia ei siis tyhmennetä ketään varten, päinvastoin. Tutkimusten varsinainen yleisö eli siis lääkärit ja muut tutkijat ovat tottuneita niihin ja osaavat verrata uusia tuloksia vanhoihin.
Timon toivomia absoluuttisia riskitasoja ei taas ole mitään mieltä ilmoittaa tai verrata mihinkään, koska saatavilla ei ole mitään absoluuttista referenssitasoa, johon tutkimusryhmiä voitaisiin verrata.snip
Ei tähän tarvita absoluuttista referenssitasoa. Suhteellisilla riskeilläkin tulokset esitetään tutkimuksessa määriteltyy tasoon (harjaus-jutussa se oli kaksi kertaa päivässä harjaavat). Näin ollen absoluuttisen riskin ero on todellakin samalla referenssillä kuin suhteellisen riskin.
On huomattavasti älyttömämpää esittää tulokset suhteellisella riskillä. Silloin esimerkiksi erään tutkimuksen sydänlääkkeen sydänkohtauksien 54% vähentämä suhteellinen riski kuulostaa hyvältä, kun toisaalta samojen tuloksien mukaan se vähentää sydänkohtauksien absoluuttista riskiä 0,37 per 100 henkilövuodesta 0,17 per 100 henkilövuoteen (tästä lisää linkistä lopussa). Kummastakohan riskitiedosta olisi esimerkiksi lääkärille hyötyä enemmän riippumatta mihin hän on tottunut? Mihin tässä tarvitsee absoluuttisen referenssitason?
Absoluuttisen riskin reduktiolla ja luonnollisilla luvuilla esitettynä tuloksilla on paljon enemmän kontekstia sekä tutkijoille, että yleiselle yleisölle, ja siten myös paljon hyödyllisempää ja vertailukelpoisempaa.
http://en.wikipedia.org/wiki/Absolute_risk_reduction
http://en.wikipedia.org/wiki/Relative_risk
Tarkemmin Goldacren mielipiteestä linkissä. Tuossa on vähän vanhempi hyvä kirjoitus häneltä samasta aiheesta:
http://www.badscience.net/2008/11/you-are-80-less-likely-to-die-from-a-meteor-landing-on-your-head-if-you-wear-a-bicycle-helmet-all-day/
Edelliseen viestiin korjaava lisäys. Oli siis tarkoitus kysyä erillisen absoluuttisen referenssitason tarpeellisuutta kahdessa kohtaa.
ReplyDeleteTuloksien hatusta repimisellä vitsailu on aika vähättelevää vittuilua tärkeässä asiassa kunnon perusteluiden puuttuessa.
Goldacren yllä mainitussa jutun lopussa on muuten mielenkiintoisia tutkimustuloksia, miksi riskien esitystavalla on merkitystä myös lääkäreille yms., joten kannattaa käydä lukemassa.
Ei tähän tarvita absoluuttista referenssitasoa.
ReplyDeleteTietysti tarvitaan. Tämä tutkimus on hyvä esimerkki siitä. Tuloksilla on koko lailla eroa jos referenssiryhmäksi ottaa 2 kertaa päivässä harjaavat (harjaamattomuus lisää, öh, tapahtumia 70 % eli 2,5 tapahtumaa per 100 ihmistä per 8,1 vuotta ) tai alle 1 kerran päivässä harjaavat (harjaaminen vähentää 41 % tapahtumia eli 4,5 tapahtumaa per 100 ihmistä per 8,1 vuotta).
Tarkemmin Goldacren mielipiteestä linkissä. Tuossa on vähän vanhempi hyvä kirjoitus häneltä samasta aiheesta:
http://www.badscience.net/2008/11/you-are-80-less-likely-to-die-from-a-meteor-landing-on-your-head-if-you-wear-a-bicycle-helmet-all-day/
Goldacre avautuu tässä interventiotutkimuksesta. Interventiotutkimuksissa tutkimushenkilöt pitäisi pyrkiä jakamaan ryhmiin niin, että niiden välillä ei ole eroa missään tunnetuissa riskitekijöissä. Intervention, eli tässä tapauksessa rosuvastatiinilääkityksen, pitäisi olla ainoa ero ryhmien välillä.
(Goldbacrelle antaisin kyllä myös sapiskaa, hänen esimerkkinsä on aika kaukaa haettu. JUPITER-tutkimuksessa kun yritettiin "hoitaa" periaatteessa täysin terveitä ihmisiä. Yleensä lääkkeitä syötetään jotain sairautta poteville.)
Epidemiologisissa tutkimuksissa halutun tekijän vaikutus pyritään löytämään monimuuttuja-analyysimalleilla. Mallista saatava suhteellinen riski on se peräänkuuluttamasi todellinen luku.
Tuloksien hatusta repimisellä vitsailu on aika vähättelevää vittuilua tärkeässä asiassa kunnon perusteluiden puuttuessa.
Se ei ollut vittuilua. Se oli spekulaatiota, joka nähtävästi pitää paikkansa. Esimerkiksi tämä olisi vittuilua:
Et tunnistaisi perustelua vaikka se olisi käynyt panemassa sinua perseeseen joka lauantai vuosien ajan.
Pekka Pessi:Ei tähän tarvita absoluuttista referenssitasoa.
ReplyDeleteTietysti tarvitaan. Tämä tutkimus on hyvä esimerkki siitä. Tuloksilla on koko lailla eroa jos referenssiryhmäksi ottaa 2 kertaa päivässä harjaavat (harjaamattomuus lisää, öh, tapahtumia 70 % eli 2,5 tapahtumaa per 100 ihmistä per 8,1 vuotta ) tai alle 1 kerran päivässä harjaavat (harjaaminen vähentää 41 % tapahtumia eli 4,5 tapahtumaa per 100 ihmistä per 8,1 vuotta).
Lisäyksessäni yritin lisätä aikaisempaan viestiini sanan erillistä absoluuttisen referenssitason eteen. Tuloksilla on koko lailla eroa myös suhteellisilla riskeillä riippuen, minkä tahansa ottaa referenssiryhmäksi. Ei vain ole mitään estettä käyttää samaa ryhmää referenssinä sekä suhteelliselle riskille että absoluuttiselle riskille, vai onko?. Tulokset ovat tällöin yhtä oikeita. Toinen on vain huomattavasti ymmärrettävämpi ja toinen houkuttelevampi. Jopa itsesi pyöräyttämissä luvuissa on paljon enemmän kontekstia kaikille tutkimustuloksista kuin uutisissa esitetyssä prosentissa. Suhteellisen riskin prosentti on täysin turha, jos sen rinnalla ei ole selkeästi esitetty minkä kokoinen muutos on todellisuudessa.
Lainataan vaikka wikipediaa ihan piruuttaan, kun sitä et viitsinyt käydä lukemassa:
In epidemiology, the absolute risk reduction or risk difference is the decrease in risk of a given activity or treatment in relation to a control activity or treatment.[1]...
http://en.wikipedia.org/wiki/Absolute_risk_reduction
Pekka Pessi:
Goldacre avautuu tässä interventiotutkimuksesta. Interventiotutkimuksissa tutkimushenkilöt pitäisi pyrkiä jakamaan ryhmiin niin, että niiden välillä ei ole eroa missään tunnetuissa riskitekijöissä. Intervention, eli tässä tapauksessa rosuvastatiinilääkityksen, pitäisi olla ainoa ero ryhmien välillä.
Osaat ilmeisesti lukea. Hienoa. Osassa kirjoituksesta puhuttiin todella interventiotutkimuksesta ja heikosta sellaisesta. Jutun pointti oli kuitenkin tuloksien erilaisten esittämistapojen merkityksestä. Kirjoituksessa oli myös muita esimerkkejä ja tutkimustuloksia aiheesta. Oletko koskaan miettinyt, miksi sinulta puuttuu muistista pieni pala jokaisesta lauantaista?
Poimitaan vaikka tuloksia yhdestä niistä Goldacren mainitsemista tutkimuksista. Tutkimuksessa käydään läpi kliinisten tutkimuksien tuloksien esitystavan merkitystä ammattilaisille, jotka mielestäsi ovat niin tottuneet niihin. Keksitkö jotain syytä, miksi näitä tuloksia ei voi soveltaa epidemiologisiin tutkimustuloksiin?
http://www.bmj.com/cgi/content/full/309/6957/761
This study highlights the necessity for medical literature to provide information from clinical trials in such a manner to eliminate inconsistencies in clinical decision making resulting from differences in the presentation of estimate of risk reduction. Because the exclusive reporting of relative risk may overstate the effectiveness of a treatment, actual event rates and absolute changes in risk should be reported. Improved training of physicians in critical appraisal of the medical literature and in techniques to tailor information from clinical trials into meaningful information for the management of individual patients is essential.9,10...
Sählis:
ReplyDeleteEpidemilogia on toki oma tieteenalansa, mutta tässä keskusteltiin kardiologiasta. Kun puhuin epidemiologisesta tutkimuksesta, käytin alan (amerikkalaista) slangia mutta kerroin kyllä mistä oli kyse.
Jos asia ei muuten mene jakeluun, niin kyseessä oli tutkimus, jossa aineiston ja käytettyn metodin eli monimuuttuja-analyysin vuoksi tuottaa luvun, joka kuvaa suhteellisen riskin muutosta. Kun tutkitaan lääkkeiden vaikutusta, pyritään tekemään tutkimuksia, joissa päästään suoraan mittaamaan absoluuttista riskiä.
Vetosit auktoriteettiin, Goldacreen. Goldacre ei kuitenkaan missään linkittämässäi kirjoituksessa ehdottanut, että tutkijoiden pitäisi esittää tutkimuksensa tulokset absoluttisen riskin muutoksina, jos tutkimus ei sellaista tulosta tuota. Kaikki hänen esimerkkinsä ja toiveensa koskivat tutkimuksia, joissa tuloksena oikeasti saadaan absoluuttisen riskin muutos.
Nyt kyseessä on suhteellinen riskin muutos, jota ei voi tuloksia tahallaan tyhmentämättä muuttaa absoluuttisen riskin muutokseksi. Ymmärtääkseni kannoit huolta juuri siitä, että lehdet tyhmentävät tieteellisten tutkimusten tuloksia saadakseen raflaavia otsikoita. Nyt haluaisit tyhmentää tuloksia, koska 1) et ymmärrä suhteellisen riskinmuutoksen käsitettä ja 2) pelkäät, että lääkärit ja potilaat eivät osaa laskea.
"70 % mistä" on tietysti hankala kysymys.
Vastaukseen voi päästä myös toista kautta, tyhmentämättä.
Länsimaissa suunnilleen kolmasosa ihmisistä kuolee sepelvaltimotautiin tai sen komplikaatioihin (wp). Se on työikäisten ykköstappaja Suomessa (kasaamalla kaikki mahdolliset alkoholinkäytön aiheuttamat kuolemat kirrooseista kännipäissä tehtyihin tappoihin yhteen päästään sen ohi).
70 % prosentin lisäys (tai 43 % vähennys) tällaisen tappajan riskiin ei ole missään tapauksessa mitätön. (Merkittävin riskitekijä taitaa olla tupakanpoltto, se lisää riskiä 100 %.
Toinen tapa lähestyä tutkimusta ja sen tulosta vaatii sitten vähän enemmän taustatietoa. Viimeiset 50 vuotta on tutkittu, mikä aiheuttaa sepelvaltimotaudin, eli arterioskleroosin valtimoissa, jotka huolehtivat sydämen verenkierrossa. Valmista ei ole tullut. Maailmalla aika suosittu hypoteesi on verisuonten pitkäaikanen tulehdus. Tulehduksen aiheuttajina olisivat suun bakteerit, kuten Streptococcus mutans, bakteeri joka useimmilla ihmisillä aiheuttaa kariesta.
Joillakin ihmisillä ei ole S. mutansia, tai heidän suussaan elävä S. mutans -kanta ei aiheuta kariesta. Tällaiset "hyvähampaiset" ihmiset tuppaavat laiminlyömään hampaiden pesun, koska heidän purukalustoonsa ei tule reikiä ja ne ovat priimakunnossa harjaamatta. Suun bakteerit voivat siitä huolimatta aiheuttaa arterioskleroosia. Toisin sanoen, otsikkokin oli harvinaisen huonosti valittu. Nimenomaan hyvähampaisten pitää varoa.