Strategier til at skabe prædiktionsmodeller

Araz Rawshani

Strategier til at bygge statistiske modeller til prædiktion, estimere effekt og teste hypoteser

Dette kapitel præsenterer strategier og metoder til at bygge en prædiktionsmodel. Med prædiktionsmodel menes alle metoder, hvis formål er at belyse sammenhænge mellem flere variabler for at foretage en prædiktion. Vi vil også diskutere strategier til at estimere effekter (oftest associationer) og teste hypoteser ved hjælp af statistiske modeller.

Valg af prædiktionsmodel

Der findes et stort antal mere eller mindre avancerede modeller til at belyse sammenhænge mellem variabler. Den klassiske statistik domineres af regressionsmodeller (eksempelvis lineær regression, logistisk regression, Cox-regression osv.). Disse er ofte fuldt tilstrækkelige modeller til strukturerede data (data med værdier i tabelformat $* e n g * . * t a b u l a r d a t a, s t r u c t u r e d d a t a *$ ). I de senere år har machine learning vist sig at være klassisk regressionsanalyse overlegen med hensyn til prædiktiv evne. Til gengæld tilbyder machine learning ikke de letfortolkelige parametre, som regressionsanalyse indebærer (f.eks. oddsratio, hazard ratio, koefficienter osv.). Til analyse af ikke-strukturerede data (fotografier, billeder, videoer) dominerer machine learning og deep learning (dyb læring). Der er tre vigtige grundprincipper at tage i betragtning:

Den bedste model til dine data er ukendt, indtil der er foretaget en formel sammenligning mellem forskellige modeller (se At sammenligne og vælge mellem modeller).
Man bør vælge den bedste enkleste model, medmindre formålet er maksimal prædiktiv evne, hvilket kræver, at man vælger den bedste model uanset kompleksitet.
Hvis formålet er estimering af sammenhængenes styrke (i stedet for prædiktion), bør enkle modeller, der tilbyder letfortolkelige parametre, foretrækkes (eksempelvis regressionsanalyser).

Definition af udfaldsmål (Y)

Udfaldsmålet skal altid være meningsfuldt og relevant for forskningsspørgsmålet. Oftest er det enkelt at definere udfaldsmålet, men der findes situationer, hvor det er vanskeligt. Hvilket udfaldsmål man vælger, påvirker flere aspekter af et studie. Et af disse er studiepopulationens størrelse. Generelt kræves en mindre studiepopulation (for at påvise forskelle mellem grupper), hvis udfaldsmålet er kontinuert (eksempelvis kropsvægt, indkomst osv.). Dette er tiltalende, hvis studiet kræver dataindsamling, hvilket er omkostningstungt. I undersøgelser, hvor man måler tid til en hændelse (eksempelvis tid til hjerteanfald eller til et boliglån er tilbagebetalt), kræves der som regel større studiepopulationer for at opdage forskelle. Dette er en sandhed med modifikationer, men formålet er at belyse, at udfaldsmålet kan påvirke studiepopulationens størrelse.

Et andet spørgsmål, som ofte bliver aktuelt, er, om kontinuerte udfaldsmål skal kategoriseres eller ej. Det kan være tiltalende at kategorisere kontinuerte variabler, fordi det ofte fører til stærkere associationer. Sammenlign eksempelvis, hvordan risikoen for hjerteanfald stiger, hvis et individ tager 1 kg på i kropsvægt, sammenlignet med at individet går fra normalvægt til overvægt; sidstnævnte sammenligning giver kraftigere associationer, og derfor har forskere en tilbøjelighed til at kategorisere både kontinuerte prædiktorer og kontinuerte udfald. Der kan naturligvis være gode grunde til at kategorisere kontinuerte variabler, men en lang række eksperter fraråder det kraftigt, fordi man bevidst forkaster information (en kontinuert variabel er mere informativ end dens kategoriserede variant). Uanset situationen skal udfaldsmålet altid være meningsfuldt og belyse forskningsspørgsmålet.

Variabelselektion

Variabelselektion indebærer, at man afgrænser, hvilke variabler der inkluderes i modellen. En model bør have tilstrækkeligt mange variabler, men ikke flere. Overflødige variabler kan introducere støj, som reducerer modellens præcision. I mange sammenhænge er det ukendt, hvilke variabler der er overflødige, og så skal samtlige inkluderes for at identificere og ekskludere overflødige variabler. Metoder til variabelselektion diskuteres i kapitlet Variabelselektion.

Modelspecifikation

For visse modeller er det nødvendigt at specificere modellens struktur. Det mest almindelige eksempel er regressionsanalyser, som kræver manuel specifikation af modellen. Nedenfor laver vi en lineær regression, hvor vi prædikterer bmi ud fra fire prædiktorer.

lm(bmi ~ age + sex + income + education, data=my_data)

Dette er en model uden interaktioner, og alle prædiktorer modelleres lineært. Vi kan bruge funktionen rcs() til at lade en variabel modelleres ikke-lineært (mere fleksibelt) og multiplikationstegnet (*) til at skabe interaktioner mellem variabler. Vi lader variablen age udvise maksimalt 4 variationer i sammenhængen med bmi ved at skrive rcs(age, 4):

lm(bmi ~ rcs(age, 4) + sex + income*education, data=my_data)

Dette er en anden model, selv om det er samme udfald og samme prædiktorer i modellen. Du indser hurtigt, at andre interaktioner og ikke-lineære sammenhænge kan introduceres, hvilket betyder, at der findes et meget stort antal modeller, som kan afprøves.

Ovenstående er en af forklaringerne på, at machine learning er tiltalende, eftersom de modeller ikke kræver, at modellen specificeres på ovenstående måde.

At vælge analysemetode: hypotesetest, regressionsanalyse eller machine learning

Antag, at vi undersøger sammenhængen mellem alkoholforbrug og cancer. Til dette formål har vi en studiepopulation med 500 cancertilfælde og 500 personer uden cancer. For disse 1000 personer findes der information om cirka 50 variabler, som karakteriserer deres helbred, levevaner osv., før en eventuel cancerdiagnose blev stillet. En af disse variabler er alkoholforbrug, som er en kontinuert variabel (antal glas, personen drikker pr. måned). Forskningsspørgsmålet er: er der en sammenhæng mellem alkoholforbrug og koloncancer?

Selv om der findes forskellige metoder til at besvare spørgsmålet, bør man altid tage udgangspunkt i en hypotese. Statistiske modeller, der munder ud i P-værdier, koefficienter og konfidensintervaller, tager altid afsæt i en nulhypotese ( $H_0$ ), som siger, at der ikke er nogen forskel i alkoholforbrug mellem grupperne.

$H_0: μ_1 = μ_2$

$μ_1 =$ alkoholforbrug blandt cancertilfælde

$μ_2 =$ alkoholforbrug blandt kontroller

Nulhypotesen kan belyses med et af følgende alternativer:

En statistisk test: Hvis alkoholforbrug er en kontinuert normalfordelt variabel, kan en t-test afklare, om forbruget er det samme i begge grupper. En t-test giver os en P-værdi (sandsynlighed) for, at nulhypotesen er korrekt. Hvis P-værdien er meget lille (<0,05), forkaster vi nulhypotesen og tror i stedet, at der er en forskel mellem grupperne. Statistiske tests er oftest enkle og bygger på få antagelser.
Regression: En regressionsmodel giver større muligheder for at kortlægge associationen mellem alkoholforbrug og cancer. Hvis udfaldsmålet (Y) er cancer (ja/nej), kan eksempelvis logistisk regression bruges til at afklare, om alkohol er en statistisk signifikant prædiktor for cancer. Ud over P-værdien får vi også koefficienter (som beskriver associationens retning, form og styrke) og et konfidensinterval (som beskriver, hvor den sande association findes med en vis sikkerhed). En regressionsmodel gør det desuden muligt at prædiktere risikoen for cancer hos nye individer i fremtiden.

Uanset hvilken metode vi vælger, vil resultatet (med hensyn til forskningsspørgsmålet) være det samme. T-testen er ækvivalent med lineær regression med én prædiktor. Samme analogi gælder for flere andre hypotesetests og regressionsmodeller; de er nært beslægtede.

Man bør altid tilstræbe enkelhed, men undgå at miste værdifuld information. Det betyder, at man i valget mellem enkle tests og regressionsmodeller bør foretage en omhyggelig afvejning. Statistiske tests er enkle, bygger på få antagelser, men giver begrænset information. Regressionsmodeller er mere komplicerede, bygger på flere antagelser og kræver en større arbejdsindsats. Til gengæld giver regressionsanalyse mere information og mulighed for at skabe prædiktioner (forudsigelser).

Regressionsmodeller kan altså bruges til at teste hypoteser, og i denne henseende er der mange ligheder med almindelige statistiske tests. Det betyder også, at flere faldgruber, der gør sig gældende for statistiske tests, også skal tages i betragtning ved regressionsanalyse. På samme måde som man fraråder at teste for mange nulhypoteser i jagten på statistisk signifikans, bør man heller ikke teste for mange prædiktorer i en prædiktionsmodel (hvis formålet er at identificere associationer).

Stikprøvens størrelse (sample size) har betydning både for statistiske tests og regressionsmodeller. Kravet til stikprøvestørrelse er lige så stort for statistiske tests (f.eks. t-test) og regressionsmodeller (f.eks. lineær regression).

Regressionsanalyse til prædiktion eller effektestimering

Ovenfor blev regressionsanalyse til at teste en nulhypotese diskuteret. Her diskuteres brugen af regressionsanalyse til at skabe prædiktionsmodeller eller estimere effekten (associationens styrke) af en prædiktor ( $X$ ) på et udfald ( $Y$ ). Husk, at termen effekt egentlig er misvisende, fordi den har en kausal klang, og klassiske regressionsmodeller er ikke kausale analyser (se Kausal inferens). Alligevel bruges betegnelsen effektestimering ofte.

Effektestimering: Estimer effekten (associationen) af en eller flere prædiktorer

Effektestimering foretages, når der er en eller flere prædiktorer ( $X$ ) af særlig interesse, for at karakterisere sammenhængen mellem prædiktoren/prædiktorerne og udfaldet ( $Y$ ). Det er muligt at lave en regressionsmodel, som udelukkende omfatter udfaldet ( $Y$ ) og prædiktoren ( $X$ ). Oftest inkluderer man dog yderligere kovariater for at justere for disse. Justering for kovariater mindsker confounding.

Variabelselektion (valg af kovariater) og modelspecifikation bør foretages af en ekspert på området. På den måde kan man sikre, at modellen omfatter de kovariater, der er nødvendige for så vidt muligt at kvantificere effekten af den prædiktor, man er interesseret i. Modeller til effektestimering kan således specificeres ud fra subject matter knowledge (Harrell). Det kræver ingen kompliceret algoritme at selektere variabler eller specificere modellen.

Nedenstående figur viser, hvilke trin der indgår i effektestimering.

graph LR;
Datainsamling["Dataindsamling"] --> Y("Definér prædiktorer (X)<br> og udfaldet (Y)") --> M("Vælg og specificér model<br> f.eks. logistisk regression") --> Analysera["Analysér"] --> Rapportera["Rapportér"]

Prædiktion: At forudsige $Y$

I ovenstående fiktive undersøgelse om cancer fandtes der information om ca. 50 variabler. Sandsynligvis kan flere, men ikke alle, af disse bruges til at prædiktere risikoen for cancer. Hvis målsætningen er at forudsige, hvem der vil udvikle cancer, er prædiktion formålet med regressionsmodellen. Modeller, der skal bruges til prædiktioner, kræver mere omhu sammenlignet med modeller beregnet til effektestimering. Nedenstående figur illustrerer de trin, der indgår i disse modeller.

graph TD;
Datainsamling["Dataindsamling"] --> Y("Definér prædiktorer (X)<br> og udfaldet (Y)") -->
M(Vælg kandidatmodeller, der skal sammenlignes) & R(Definér, hvordan modeller skal sammenlignes) --> X(Specificér for hver model, om/hvordan prædiktorer skal transformeres eller selekteres) --> C(Sammenlign modeller) --> Eval(Evaluér slutresultatet) --> Pars(Undersøg, om en parsimonious model er lige så god) --> Rapportera["Rapportér"]

Formålet med de fleste prædiktionsmodeller er, at de skal bruges af mange, og så bør modellen være pålidelig, udvise høj præcision og desuden være sparsom (eng. parsimonious) med hensyn til antallet af prædiktorer i modellen. Jo flere prædiktorer (og jo sværere tilgængelige prædiktorerne er), desto mindre anvendelig er modellen.

Den samme regressionsmodel kan bruges til både prædiktion og effektestimering. En regressionsmodel estimerer altid effekten af prædiktorerne (β, koefficienterne), og ligeledes kan man altid prædiktere med en færdig model (selv om den ikke er udviklet specifikt til prædiktion).

Machine learning: ensemblemetoder og deep learning (dyb læring)

I de senere år har regressionsanalyse fået hård konkurrence fra machine learning (ML), som indebærer, at man bruger forskellige algoritmer til at dechifrere data. I dag bruges machine learning meget flittigt inden for alle sektorer, fra medicin til fremstillingsindustri. På Kaggle (www.kaggle.com) samles mange af verdens førende analytikere for at konkurrere om at løse prædiktionsproblemer. Præmiesummerne er høje, og stort set samtlige konkurrencer vindes med machine learning. Machine learning er en del af kunstig intelligens (AI).

Flere af de mest populære metoder inden for machine learning efterligner menneskets fremgangsmåde ved beslutningstagning. De første populære metoder til machine learning var træbaserede modeller (tree-based methods). Disse er konceptuelt enkle at forstå og en forudsætning for at forstå mere komplicerede algoritmer. Figuren nedenfor illustrerer (konceptuelt), hvordan en træbaseret algoritme partitionerer (opdeler) data i mindre portioner.

graph TD;
Alla(Alle observationer) --> Men(Mænd) & Wom(Kvinder)
Men --> MS1("Fedme") & MS2("Normalvægtig")
Wom --> WS1("Fedme") & WS2("Normalvægtig")
MS1 --> A(Motionerer) & B(Motionerer ikke)
MS2 --> C(Motionerer) & D(Motionerer ikke)
WS1 --> E(Motionerer) & F(Motionerer ikke)
WS2 --> G(Motionerer) & H(Motionerer ikke)
B --> D1(Diabetes)
D --> D2(Diabetes)
F --> D3(Diabetes)
H --> D4(Diabetes)
A --> F1(Rask)
C --> F2(Rask)
E --> F3(Rask)
G --> F4(Rask)

De mest populære træbaserede algoritmer er random forest, gradient boosting og extreme gradient boosting. Disse metoder kan bruges til at prædiktere både kontinuerte og kategoriske udfaldsmål ( $Y$ ). Prædiktorerne kan ligeledes være kontinuerte og/eller kategoriske. Det betyder, at træbaserede metoder kan bruges i de samme situationer, som man bruger regressionsanalyse i. Træbaserede metoder bruger algoritmer, der partitionerer data. Partitionering indebærer, at den oprindelige datamængde opdeles i mindre og mindre grupper ved hjælp af kriterier, som identificeres af algoritmen. Her følger et enkelt eksempel på, hvordan data kan partitioneres:

Forklaring til billedet ovenfor

Algoritmen begynder med at opdele populationen efter køn, hvilket betyder, at mænd og kvinder havner i separate grupper.
Algoritmen fortsætter med at inddele grupperne efter kropsvægt.
Algoritmen fortsætter derefter med at adskille observationer, der motionerer, og dem, der ikke motionerer.
Algoritmen prædikterer, om deltageren har diabetes eller ej, baseret på hvor den befinder sig i træet.

Ovenstående diagram kaldes også decision tree (beslutningstræ). Denne teknik er i dag meget mere sofistikeret end præsenteret her. De fleste metoder fungerer ved at bygge mange (ofte tusindvis af) træer og bruge hvert træ som en svag prædiktionsmodel, der sammen med alle de andre træer genererer prædiktioner med meget høj præcision. Metoderne til at konstruere træerne og partitionere data varierer mellem forskellige modeller.

Træerne kan bruges som prædiktionsmodeller, fordi en ny observation/et nyt individ (som ikke har indgået i konstruktionen af træerne) kan føres gennem alle træerne. Modellen kan da, afhængigt af hvor individet havner i de forskellige træer, prædiktere det sandsynlige udfald ( $Y$ ) for observationen/individet.

Metoder, der kræver, at man konstruerer mange træer, kaldes ensemblemetoder (ensemble methods).

Langt de fleste machine learning-metoder er fremragende til at (1) prædiktere $Y$ og (2) kortlægge, hvor stærk sammenhængen er mellem X og Y. Hvad angår sidstnævnte, produceres der desværre ingen enkle mål, som kan præsenteres ligesom oddsratioer, hazard ratioer osv.

En af de største fordele ved træbaserede metoder er, at vi ikke behøver at gøre nogen antagelser om variablerne og deres sammenhæng med $Y$ , og vi behøver ikke at specificere modellen manuelt. Der findes algoritmer, som automatisk søger efter den optimale model.

Andre overvejelser ved prædiktionsmodeller

Er målsætningen meningsfuld?

For regressionsanalyser, hvis formål er at estimere effekten af prædiktoren $X$ , bør det faktisk være meningsfuldt at estimere effekten af $X$ . At estimere effekten af LDL-kolesterol på risikoen for akut myokardieinfarkt kan synes meningsløst i dag, da der er publiceret titusindvis af artikler med den problemstilling. Alligevel publiceres sådanne artikler regelmæssigt. Sørg for, at målsætningen med prædiktionsmodellen er meningsfuld.

Er alle vigtige prædiktorer tilgængelige?

Det er også vigtigt at forvisse sig om, at man har alle vigtige prædiktorer. Dette er sjældent et problem i et studie, der er designet og gennemført til et specifikt formål. Ikke sjældent forsøger man dog at besvare mange problemstillinger med de samme data, og så kan dette problem opstå. Hvis man mangler prædiktorer, der er vigtige for udfaldsmålet, vil man sandsynligvis ikke producere en god model.

Har studiet power?

Det er vigtigt, at datamængden (antal observationer) er tilstrækkelig til at træne og teste modellen. Modellen trænes ofte på ca. 70-80% af observationerne, hvilket betyder, at 20-30% er tilbage til at teste/validere modellen. Ved ikke at teste modellen i den samme datamængde, som den er trænet med, sikrer vi, at præcisionen ikke overvurderes. En model forventes at have meget god præcision i den datamængde, den er trænet med, og dårligere præcision i data, den ikke tidligere har set.

Er der intern og ekstern validitet?

Det er fundamentalt, at den population, man bruger til analysen, er repræsentativ for den population, man har til hensigt at udtale sig om. Hvis man vil udtale sig om behandlingseffekten af statiner og studerer en population med en gennemsnitsalder på 65 år, bør man i princippet ikke udtale sig om effekten hos 40-årige.

Intern validitet betyder, at studiet måler det, det havde til hensigt at måle.
Ekstern validitet betyder, at studiets resultater kan ekstrapoleres (anvendes) på andre observationer/personer, som ikke har deltaget i studiet.

The parsimonious model

Hvis formålet er at skabe en model til prædiktion, bør man forvisse sig om, at de variabler, der indgår i den endelige model, er lettilgængelige. Jo flere og jo dyrere (at fremskaffe) prædiktorer en model inkluderer, desto mindre vil den blive brugt. Den engelske betegnelse the parsimonious model kan oversættes til den sparsommelige model, hvilket henviser til en model med så få prædiktorer som muligt.

Hvilke risikodimensioner er tilgængelige?

Hensyntagen til risikodimensioner er vigtig for at kunne udtale sig om risikoen for en hændelse. Risiko er oftest et multifaktorielt fænomen, og det er ønskværdigt, at flere dimensioner af risiko indgår i en risikomodel. Det betyder, at en model, der udelukkende inkluderer biomarkører, sandsynligvis er utilstrækkelig. Følgende dimensioner kan betragtes som vigtige for risikoen for en hændelse inden for klinisk forskning (Iezzoni, 2006):

Alder og køn: Disse variabler er i princippet altid stærke prædiktorer og bør altid medtages i en risikomodel.
Relevante biomarkører.
Variabler, der beskriver den umiddelbare (akutte) helbredstilstand.
Variabler, der beskriver sygdomme og risikofaktorer, som individet har.
Variabler, der beskriver individets fysiske kondition og kapacitet.
Psykologisk, kognitiv og psykosocial status.
Variabler, der beskriver etnisk, socioøkonomisk og kulturelt tilhørsforhold.
Quality of life.
Patientens holdning til sygdom og helbred.

At have adgang til alle disse dimensioner er sjældent, og oftest må man nøjes med færre dimensioner.

Referencer

Regression Modeling Strategies: With Applications to Linear Models, Logistic and Ordinal Regression, and Survival Analysis af Frank Harrell. Springer 2015.
Applied Predictive Modeling af Max Kuhn and Kjell Johnson. Springer 2016.
Survival Analysis: A Self-Learning Text, Third Edition. David Kleinbaum. Springer 2012.