Forskere, der ikke er uddannet i matematiske discipliner, er som regel ikke vant til betydningen af tilfældighed (randomness) og usikkerhed (uncertainty). Disse to fænomener indtager en central plads i al forskning og analyse. At forstå tilfældighed, usikkerhed og kausalitet (årsagssammenhæng) er afgørende for den, der vil forstå hændelser i et system (f.eks. menneskekroppen).
Et deterministisk system er et system, hvor processer kan forudsiges med høj præcision. Systemet kan være biologisk, fysisk, økonomisk eller kemisk. Mange processer, som vi ved første øjekast opfatter som tilfældige, er faktisk deterministiske. Terningkast er et sådant eksempel. Det er muligt med høj præcision at forudsige, hvilket tal terningen viser, hvis man har information om terningens bevægelsesretning og hastighed i det øjeblik, den kastes. For at kunne analysere data og forstå hændelser i et system må vi kende de mekanismer, der påvirker systemet.
All models are wrong. Some are useful.
John Tukey
Dette problem er åbenlyst inden for medicinsk forskning. Den, der gennemgår kliniske prædiktionsmodeller, ved, at selv de mest avancerede modeller har store mangler og ikke formår at identificere sygdomstilfælde hos en betydelig andel af patienterne. Et eksempel, hvor dette er tydeligt, er prædiktion af hjertestop. I dag findes der ingen prædiktionsmodel, som med høj præcision kan forudsige, om man vil få et hjertestop i fremtiden. Forklaringen på dette er, at biologiske processer er stokastiske, hvilket betyder, at der findes en tilfældighedsproces, som påvirker systemet. I eksemplet med prædiktion af hjertestop kan en person udvikle diabetes, forhøjet blodtryk og et hjerteanfald et stykke tid efter, at prædiktionsmodellen er blevet anvendt, og så gælder den prædiktion, der blev foretaget, ikke længere (personen har nu højere risiko for hjertestop). Et yderligere eksempel er blodets evne til at koagulere, som kan variere fra det ene minut til det næste afhængigt af indre (f.eks. stress) og ydre (f.eks. udstødningsgasser) forhold. Biologiske systemer er yderst komplekse og svære at prædiktere, med undtagelse af monogene sygdomme (dvs. sygdomme, hvor tilstedeværelse af en mutation som regel fører til sygdomsudvikling).
De fleste prædiktionsmodeller, der anvendes, beregner modellens usikkerhed. Usikkerheden betegnes normalt med error (epsilon, ε), som kvantificerer, hvor stor forskellen er mellem prædikterede værdier og observerede værdier.
Der er mange årsager til, at prædiktionsmodeller er usikre, eksempelvis:
- Biologiske systemer er komplekse, med indre og ydre stokastiske elementer.
- Usikkerhed i data (målefejl, missing data osv.).
- Modellen er suboptimal.
Error, bias og varians (variance)
Error er således modellens prædiktionsfejl, som er forskellen mellem modellens prædikterede værdi og den faktiske (observerede) værdi. En god model producerer små error og vice versa. En del af error kan ikke reduceres, nemlig den del af error, der forklares af manglende variabler og data. Den del af error, der kan reduceres, kan inddeles i bias og varians (eng. variance).
En god model lærer sammenhængen i træningsdata (som modellen har "set" under træningen) og prædikterer med høj præcision i testdata (som modellen ikke har "set" under træningen). Høj bias er ofte et resultat af, at modellen er forsimplet og ikke formår at indfange sammenhængene i data. Det fører til underfitting, dvs. at modellen hverken kan prædiktere i træningsdata eller testdata. Visse typer modeller er yderst fleksible (især machine learning) og kan blive meget komplekse, hvilket fører til, at de prædikterer perfekt i træningsdata (lav bias). Desværre har disse modeller dårligere prædiktion på testdata, hvilket betyder, at variansen er høj (overfitting).
Balancen mellem bias og varians er et fundamentalt problem. Modeller med lav bias (dvs. modeller, der er gode til at lære træningsdata) har sværere ved at generalisere til testdata og får dermed høj varians. Den, der har arbejdet med prædiktionsmodeller, ved, at tiltag, der mindsker bias, ofte fører til øget varians.
Bias og varians balanceres ved at estimere modellens parametre ved hjælp af resampling (f.eks. krydsvalidering ).