Observationer med stor indflydelse på modellen
Resultatet (koefficienterne) fra en regressionsmodel kan påvirkes kraftigt af enkelte observationer. Dette er en uønsket effekt, fordi hver observation bør bidrage lige meget til modellen. Der findes flere forklaringer på, hvorfor en eller nogle få observationer har for stor effekt på modellen:
- Der er for få observationer i forhold til modellens kompleksitet. Som regel betyder det, at antallet af prædiktorer i modellen er for stort i forhold til antallet af observationer.
- Ekstremværdier for prædiktoren X kan påvirke regressionskoefficienten. Patienter med ekstremværdier kan (eventuelt) ekskluderes, hvis værdien er ekstrem og heller ikke er repræsentativ for den population, der undersøges. Det betyder også, at værdier, som ikke er biologisk plausible, kan ekskluderes.
- Visse observationer har værdier (for prædiktorerne), som ikke stemmer overens med udfaldet. Hvis der findes mange sådanne observationer i populationen, kan det ændre sammenhængen mellem prædiktorerne og udfaldet. Dette bør dog ikke føre til eksklusion af patienterne, da man så risikerer at introducere selektionsbias.
Man kan tage udgangspunkt i en variabels fordeling for at ekskludere patienter med ekstreme værdier. Dette kræver dog omtanke og begrundelse. Det er også muligt at kvantificere, hvor stor indflydelse en observation har på modellen. Det gøres ved at beregne leverage. Der findes færdige funktioner til dette i R. Leverage defineres som observationens evne til at påvirke modellen.