Regression

Abschnitt 5

Allgemeine Herleitung

0 von 7 Übungen erledigt

Es ist nun Zeit, dass wir uns etwas an die allgemeine Herleitung der Regressionsgeraden wagen. Genauer werden wir mit Hilfe des Schwerpunktsatzes den folgenden Satz beweisen.

Satz: Regressionsgerade

Gegeben seien \(n\) (\(n>1\)) Datenpunkte \((x_1,y_1), (x_2,y_2), \dots, (x_n,y_n)\). Dann ist die Regressionsgerade \(y = m \cdot x + b\) gegeben durch

\[ m = \frac{s_{xy}}{s_{xx}} \quad\text{und}\quad b = \bar{y} - m \cdot \bar{x}, \]

wobei

\[ s_{xy} = \sum_{i=1}^{n} (x_i - \bar{x}) \cdot (y_i - \bar{y}) \quad\text{und}\quad s_{xx} = \sum_{i=1}^{n} (x_i - \bar{x})^2. \]

Berechnen Sie eine Geradengleichung der Regressionsgeraden durch die Punkte A(0,0), B(2,3), C(3,4) und D(7,5) — die Punkte aus Übung 1.02 — diesmal mit Hilfe des Satzes oben.

Lösungsvorschlag

Natürlich dieselbe Gerade wie in Übung 1.02: \(y = \frac{17}{26} \cdot x + \frac{27}{26}\).

Beweis des Satzes

Der Beweis des Schwerpunktsatzes (der auf Seite 1 unbewiesen blieb) folgt weiter unten in einer eigenen Übung und ist etwas trickreich.

Beweisskizze

Wir müssen zeigen, dass \(m \cdot x + b\) so gewählt werden muss, dass die Summe der Residuenquadrate \(S(m,b) = \sum_{i=1}^{n} (m \cdot x_i + b - y_i)^2\) minimal wird. Der Trick besteht darin, den Term \((m \cdot x_i + b - y_i)\) geschickt um den Schwerpunkt \((\bar{x}, \bar{y})\) umzuschreiben:

\[ \sum_{i=1}^{n} (m \cdot x_i + b - y_i)^2 = n \cdot (m \cdot \bar{x} + b - \bar{y})^2 + \sum_{i=1}^{n} (m \cdot (x_i - \bar{x}) - y_i + \bar{y})^2 \]

Der zweite Summand hängt gar nicht mehr von \(b\) ab. Der erste Summand ist ein Quadrat und wird für festes \(m\) genau dann minimal (nämlich 0), wenn \(b = \bar{y} - m \cdot \bar{x}\) gilt — das ist bereits die zweite Gleichung des Satzes. Setzt man das ein, bleibt nur noch der zweite Summand übrig, den man (quadratische Ergänzung nach \(m\)) für \(m = s_{xy}/s_{xx}\) minimiert.

Übungen: Abstrakter rechnen

Berechnen Sie die folgenden Summen.

  1. \(\displaystyle\sum_{i=1}^{4} 2 \cdot i\)
  2. \(\displaystyle\sum_{k=2}^{6} k^2\)
  3. \(\displaystyle\sum_{i=3}^{5} \left( \sum_{k=2}^{3} i \cdot k \right)\)
Lösungsvorschlag
  1. 20
  2. 90
  3. 60

Lösungsvorschlag (summen.py)

Gegeben sind die Punkte A(0,0), B(3,0) und C(0,3). Berechnen Sie mit Hilfe der Definition aus Abschnitt 4 den entsprechenden empirischen Korrelationskoeffizienten \(r\).

Lösungsvorschlag

\(r = -\frac{1}{2}\)

Lösungsvorschlag (r-rechteck.py)

Der Statistiker bevorzugt im Allgemeinen das Kleinste-Quadrate-Kriterium \(\sum e_i^2\) vor \(\sum |e_i|\) (bei uns war \(e_i = y_i - m \cdot x_i - b\)), wenn er seinen Daten eine Gerade anpasst. Tatsächlich sind Summen von quadratischen Funktionen mathematisch einfacher zu handhaben als Summen von Betragsfunktionen.

  1. Stellen Sie die Funktionen \(y=(x-2)^2\) und \(y=|x-2|\) graphisch dar. Vergleichen Sie Verlauf, Symmetrie, Minimum.
  2. Vergleichen Sie entsprechend \(y=(x-2)^2+(x+3)^2\) und \(y=|x-2|+|x+3|\).
  3. Betrachten Sie nun die Summen von mehr als zwei Funktionen. Welchen Vorteil haben quadratische Funktionen, wenn das Minimum der Summe interessiert?
  4. Passen Sie dem (fiktiven) Datensatz {(1,1), (5,1)} eine Ursprungsgerade \(y=m \cdot x\) an, indem Sie einmal \(\sum e_i^2\) und einmal \(\sum |e_i|\) minimieren. (Hinweis: scipy.optimize.minimize_scalar minimiert eine beliebige Funktion einer Variablen.)
  5. Vergleichen und kommentieren Sie beide Anpassungsmethoden.

Zu dieser Übung gibt es im gedruckten Skript keine Musterlösung — probieren Sie sich unten aus.

Finden Sie ein Beispiel von 5 Punkten, die nicht auf einer Geraden liegen, so dass der empirische Korrelationskoeffizient gleich Null ist.

Lösungsvorschlag

Zum Beispiel A(0,0), B(1,1), C(2,4), D(−1,1) und E(−2,4) — eine symmetrische Parabel um x=0: Für jeden Anstieg auf der rechten Seite gibt es einen spiegelbildlichen Punkt links, wodurch sich der lineare Zusammenhang gegenseitig aufhebt.

Lösungsvorschlag (fuenf-punkte-r0.py)

Gegeben sind die Punkte A(0,0), B(1,2) und C(3,1), wie in Übung 1.01. Berechnen Sie eine Gleichung der Regressionsgeraden zu den Punkten A, B und C mit Hilfe der quadratischen Ergänzung. Sie dürfen jetzt aber den Schwerpunktsatz nicht benutzen!

Hinweis: Stellen Sie die Summe der Residuenquadrate in Abhängigkeit von \(m\) und \(b\) auf. Dann ergänzen Sie erst quadratisch bezüglich \(m\).

Lösungsvorschlag

\(y = \frac{3}{14} \cdot x + \frac{5}{7}\) — genau dieselbe Gerade wie in Übung 1.01, diesmal ganz ohne den Schwerpunktsatz zu benutzen.

Beweisen Sie den Schwerpunktsatz.

Hinweis: Zeigen Sie zuerst, dass gilt

\[ \sum_{i=1}^{n} (m \cdot x_i + b - y_i)^2 = n \cdot (m \cdot \bar{x} + b - \bar{y})^2 + \sum_{i=1}^{n} (m \cdot (x_i - \bar{x}) - y_i + \bar{y})^2 \]

(dieselbe Umformung wie in der Beweisskizze weiter oben) und überlegen Sie sich, was daraus für b folgt, wenn m fest ist und die Summe minimal werden soll.

Dies ist eine reine Papier-und-Bleistift-Übung — es gibt dafür keine sinnvolle Python-Werkbank.