Parametriske og ikke-parametriske modeller

Parametriske vs. ikke-parametriske modeller

Hvad er en parameter?

Prædiktionsmodeller undersøger sammenhængen $Y=f(x)$, hvilket betyder, at udfaldet ($Y$) er en funktion af prædiktorer ($x$).

Funktionen, der estimerer $Y$ ud fra $x$, er ukendt og skal beregnes. Der findes en lang række algoritmer til at finde den funktion, der bedst beskriver sammenhængen $Y=f(x)$. Algoritmerne beregner funktionen ved hjælp af parametre. Dette illustreres nu med en lineær regressionsmodel, hvor vægt prædikteres ud fra alder og køn:

$Y_{vægt} = \beta_{alder} + \beta_{køn} + fejl$

I denne model er der tre parametre ($\beta_{alder}, \beta_{køn}, fejl$), som skal estimeres. Antallet af parametre påvirkes ikke af antallet af observationer i data. Flere observationer fører ikke til flere eller færre parametre, hvilket betyder, at antallet af parametre er fast.

Parametre er nødvendige for at lave prædiktioner. Parametre beregnes ud fra træningsdata (de data, modellen lærer af). Eksempler på parametre fra forskellige typer modeller fremgår af tabellen nedenfor.

Tabel 1.

I parametriske modeller er antallet af parametre fast, og det påvirkes ikke af antallet af observationer. I en ikke-parametrisk model stiger antallet af parametre med antallet af observationer i træningsdata. Ikke-parametriske modeller er eksempelvis neural networks (NN), random forest (RF), gradient boosting (GBM) og extreme gradient boosting (XGB).

Ikke-parametriske modeller kan derfor tage meget længere tid at beregne (et større antal parametre skal estimeres), men kan til gengæld have betydeligt højere præcision end en parametrisk model.