Ableitung einer Regressionsformel

Author: Hans Lohninger

Das Prinzip dieser Ableitung ist einfach: Die Regression nach der Methode der minimalen Fehlerquadrate minimiert die Summe der quadrierten Differenzen zwischen den geschätzten und den wirklichen y-Werten für gegebene x-Werte (Residuen). Dafür müssen wir zuerst die Gleichung für die Quadratsumme definieren, die partiellen Ableitungen berechnen (für jeden Parameter) und sie gleich null setzen. Der Rest ist einfache Algebra, um einen Ausdruck für die Parameter zu erhalten.

Lassen Sie uns dieses Verfahren für ein bestimmtes Beispiel durchführen:

Diese Formel soll durch eine Reihe von Datenpunkten [x_i,y_i] bestimmt werden, wobei x_i die unabhängigen Werte darstellt und y_i zu bestimmen ist. Durch Ersetzen der y_i-Werte mit deren Schätzungen ax_i+bx_i² erhalten wir die folgende Reihe von Datenpunkten: [xi, ax_i+bx_i²]. Die eigentlichen Werte der y-Werte sind immer noch y_i. Dadurch ist die Summe der quadrierten Fehler S für n Datenpunkte als

definiert. Nun müssen die partiellen Ableitungen mit Rücksicht auf die Parameter a und b berechnet und gleich null gesetzt werden:

Diese zwei Gleichungen können durch Einführen der Summen der individuellen Terme leicht reduziert werden:

Nun lösen Sie die Gleichungen für die Koeffizienten a und b:

Durch Substitution erhält man folgende Endergebnisse: