Fundamentals of Statistics contains material of various lectures and courses of H. Lohninger on statistics, data analysis and chemometrics......click here for more.


Maximum Likelihood

Die Maximum Likelihood-Methode stellt eine Alternative zur Methode der kleinsten Quadrate dar. Der Begriff "Maximum Likelihood" wurde von R.A. Fisher 1922 geprägt und läuft auf die Aufgabe hinaus, eine sog. Likelihood-Funktion (oder deren Logarithmus) zu maximieren.

Ganz allgemein kann man die Likelihood-Funktion L (welche die Wahrscheinlichkeit angibt, dass ein bestimmte Kombination von Werten der abhängigen Variablen Y auftritt), wie folgt definieren:

L = F(Y,Modell) = {p [yi, Modellparameter(xi)]},

was bedeutet, dass die Wahrscheinlichkeiten des Auftretens der einzelnen (Mess-)Werte der abhängigen Variablen yi über den gesamten Datensatz multipliziert werden und damit die Wahrscheinlichkeit berechnet wird, genau diese Kombination an y-Werten zu bekommen, die in der Messung erzielt wurde (in der Praxis wird man statt des Produktes π, die Summe der Logarithmen der Wahrscheinlichkeiten bilden).

Theoretisch könnten wir also die Wahrscheinlichkeit L, dass ein bestimmter Wert Y in unserer Stichprobe vorkommt, berechnen, falls wir die Modellparameter kennen. Da wir aber die Modellparameter aber nicht kennen (sondern, ganz im Gegenteil, erst finden müssen), müssen wir uns einen Weg ausdenken, diese abschätzen zu können.

Dabei hilft uns folgende grundlegende Idee:

Given the respective model, the larger the likelihood of the model, the larger is the probability of the dependent variable values to occur in the sample. Therefore, the greater the likelihood, the better is the fit of the model to the data. The actual computations for particular models here can become quite complicated because we need to "track" (compute) the probabilities of the y-values to occur (given the model and the respective x- values). As it turns out, if all assumptions for standard multiple regression are met (as described in the Multiple Regression chapter in the manual), then the standard least squares estimation method (see above) will yield results identical to the maximum likelihood method. If the assumption of equal error variances across the range of the x variable(s) is violated, then the weighted least squares method described earlier will yield maximum likelihood estimates.