5.0 Einführung

5.1 Die Regressionsgleichung

Wie wir schon im Kapitel 1 besprochen haben, wird die Vorhersagevariable als unabhängige Variable (UV) oder Prädiktorvariable bezeichnet; die Variable, die vorhergesagt werden soll, als abhängige Variable (AV) oder Kriteriumsvariable. Im Folgenden werden wir uns mit der Regressionsgleichung der bivariaten Regression beschäftigen, also für den Fall mit genau einer Vorhersagevariable und einer abhängigen Variable. Es gibt jedoch auch eine multiple Regression (mit mehreren Prädiktoren), die Sie später kennenlernen werden. Wir beschäftigen uns an dieser Stelle auch nur mit der gängigsten Form der Regression, der sogenannten linearen Regression.  Diese ermöglicht eine Vorhersage unter der Annahme, dass es einen linearen, also gradlinigen Zusammenhang zwischen den Variablen gibt (Vgl. lineare Korrelation). Die Vorhersagefunktion sieht daher auch sehr einfach aus: Alle Vorhersagewerte liegen auf einer Geraden. Die Funktionsgleichung, die eine Gerade im zweidimensionalen Raum beschreibt kennen Sie sicherlich schon aus der Schulzeit. Dort wird diese meist mit f(x)= m ⋅ x +b beschrieben. Wobei m die Steigung ausdrückt und b den Y-Achsenabschnitt (oder Ordinatenabschnitt). Die Regressionsgleichung ist nichts anderes als diese lineare Funktion angewendet auf zwei Variablen. Jedoch sind in der Statistik andere Abkürzungen üblich. Der Y-Achsenabschnitt wird mit a bezeichnet, die Steigung wird mit b bezeichnet, und Regressionskoeffizient genannt.

Die Funktion soll in Abhängigkeit des Prädiktors x, das Kriterium y vorhersagen (Daher steht vorne y). Da es sich hierbei um eine Schätzung handelt, die immer fehlerbehaftet ist, wird noch ein Fehlerterm (z.B. ε) eingefügt. Alternativ zu diesem Fehlerterm wird jedoch meist das y mit einem „Dach“ versehen, was in der Statistik ausdrückt, dass es sich um eine Schätzung handelt. Der Fehlerterm kann somit entfallen. In Summe lautet die Regressionsgleichung also:

Der Index i drückt aus, dass Sie mit dieser Gleichung beliebige Werte der einen Variable für die Vorhersage des dazu gehörigen Werts der anderen Variable nutzen können. Im Falle des Eingangsbeispiels mit Körpergröße und Schuhgröße bedeutet dies, dass wir die Schuhgröße einer Person i vorhersagen bzw. schätzen können, wenn wir die die Körpergröße eben dieser Person i kennen.

Video 5.1 Regression | Regressionsgleichung

5.2 Methode der kleinsten Quadrate

Wir wollen die Summe der quadrierten Abweichungen minimieren und setzen für den Vorhersagewert  die obige Regressionsgleichung ein.

Über partielle Ableitungen nach a bzw. b (die wir an dieser Stelle nicht vertiefen) lassen sich allgemeine Lösungen finden, die diese Bedingung erfüllen:

Bei b_yx und a_yx bezeichnet der erste Index (hier: y) die Variable, die vorhergesagt wird (Kriterium) und der zweite Index die Variable, die vorhersagt (Prädiktor – hier: x). Um den Regressionskoeffizient b (die Steigung der Geraden) zu bestimmen, benötigen Sie also die Kovarianz der beiden Variablen, sowie die Varianz des Prädiktors (x) . Danach können Sie durch die einfache Multiplikation mit dem Mittelwert des Prädiktors (x) den Achsenabschnitt a bestimmen.

In der Praxis werden Sie eher selten eine Regressionsgleichung von Hand bestimmen. Dennoch ist es hilfreich zu verstehen, wie diese Gerade berechnet wird, da dieses sogenannte Generelle Lineare Modell (GLM) die Basis für fast alle späteren statistischen Verfahren bildet.

 

Video 5.2 Regression | Methode der kleinsten Quadrate

5.3 Vorhersagen

Die Regressionsgleichung kann ganz praktisch dazu verwendet werden konkrete Vorhersagen zu machen. Für die Vorhersage von Burgerverkäufen in einer unserer FiveProfs-Filialen auf Basis der Tagestemperatur lautet die Gleichung = 775 – 13,75 ⋅ x_i . Hiermit können wir nun für eine beliebige Tagestemperatur die Burgerverkäufe in unserer Filiale vorhersagen. Wenn wir z.B. eine Temperatur von 20°C einsetzen, erhalten wir einen Vorhersagewert von 500 Burgern, die in unserer Filiale verkauft werden (Berechnung: 775 – 13,75 ⋅ 20).

Die Vorhersage muss jedoch nicht zwangläufig mit der Realität übereinstimmen. In der Grafik ist deutlich erkennbar, dass viele Punkte leicht über oder unter der Vorhersagegeraden liegen – daher sprechen wir immer von einer Schätzung. Diese Schätzung kann verbessert werden in dem man mehr Daten aufnimmt, also die Gleichung auf Basis von mehr Tagen (bzw. in anderen Fällen: Personen) errechnet. Eine weitere Möglichkeit besteht darin, weitere Prädiktoren (wie hier z.B. die Regenwahrscheinlichkeit) mit aufzunehmen. Dazu werden wir an späterer Stelle kommen. Was wir jedoch schon jetzt benötigen, ist ein Maß dafür, wie gut unsere Schätzung ist und genau damit möchten wir uns – nach dem nächsten Beispiel – beschäftigen.

5.4 Vorhersagegüte

Wir haben nun eine Methode entwickelt, mit der wir auf Basis von Daten Vorhersagen ableiten können. Wie wir gesehen haben, sind diese Vorhersagen jedoch nur Schätzungen und weichen manchmal mehr und manchmal weniger stark von der Realität ab.  Wenn Sie die Folgenden zwei Streudiagramme betrachten, wird dies nochmal klarer: Beide haben eine lineare Regressionsgerade auf der die Vorhersagewerte liegen. Jedoch sind im Fall Burgerverkäufe und Tagestemperatur die echten Werte (rote Punkte) deutlich näher an der Geraden als in der rechten Grafik, in welcher die Burgerverkäufe auf Basis der Luftfeuchtigkeit vorausgesagt werden. Das bedeutet, dass die Vorhersage für die Burgerverkäufe mit der Tagestemperatur als Prädiktor deutlich besser funktioniert als mit der Luftfeuchtigkeit als Prädiktor.

Wir können also über das Streudiagramm schon sehr leicht optisch sehen, wie gut eine Vorhersage funktioniert. Genau an dieser Stelle wollen wir nun weitermachen und Kennwerte entwickeln, die uns objektiv sagen, wie gut eine Vorhersage ist. Hierbei gehen wir zunächst genau so vor, dass wir die Abweichungen der echten Werte (auch beobachtete Werte) von der Geraden (vorhergesagte Werte) betrachten. Diese Abweichungen nennen sich Regressionsresiduen (y^*_i). Das Ausmaß der Abweichungen ist ein Indikator dafür, wie genau die Regression in ihrer Vorhersage ist. Die Regressionsresiduen selbst sind jedoch nur schwer interpretierbar, da diese wieder von der Skala der Variablen abhängen (Anzahl der verkauften Burger hat automatisch größere Residuuen als die Tagestemperatur in °C). Die Lösung: Wir setzen die Summe der Residuuen ins Verhältnis zu einem anderen Wert. Doch welchem?

Hierfür wollen wir zunächst den Begriff der Varianz erweitern. Wir haben bisher gelernt, dass die Varianz die (quadrierte) Summe der Abweichung aller Werte von Mittelwert ist.  Dies ist die im untenstehenden Bild links gezeigte Gesamtvarianz. Die Gesamtvarianz kann im Falle der Regression in zwei Komponenten geteilt werden: In die Regressionsvarianz und die Fehlervarianz. Die Regressionsvarianz drück aus, welche Abweichungen vom Mittelwert, das Regressionsmodell vorhersagt. Die Fehlervarianz drückt aus, wie die tatsächlichen Werte von dieser Vorhersage abweichen (daher nicht-erklärte Varianz). Hier nochmal in der Übersicht:

•  Gesamtvarianz: Quadrierte Abweichung aller Werte vom Mittelwert (unten gelb dargestellt)
•  Regressionsvarianz (Auch erklärte Varianz): Quadrierte Abweichung der vorhergesagten Werte vom Mittelwert (unten orange dargestellt)
• Fehlervarianz (Auch nicht-erklärte Varianz): Quadrierte Abweichung aller Werte von vorhergesagtem Wert (unten dunkelrot dargestellt)

Video 5.4 Regression | Modellgüte

Grundsätzlich gilt, dass ein Regressionsmodell umso besser ist, je kleiner die Fehlervarianz im Vergleich zur vorhergesagten Varianz ist. Dies wird als F-Statistik bezeichnet und wird errechnet, in dem man die durch das Modell erklärte Varianz (Regressionsvarianz) ins Verhältnis zur nicht erklärten Varianz (Fehlervarianz) stellt. Dieser Quotient gibt damit an, um wie viel sich die Vorhersagegüte durch mein Modell verbessert, im Verhältnis zur noch nicht erklärten Varianz. Anders ausgedrückt zeigt dieser Wert an, ob sich durch das Regressionsmodell die Vorhersage verbessert im Vergleich zur Vorhersage nur durch den Mittelwert. Ein gutes Modell sollte daher immer mindestens einen F-Wert >1 haben.

Video 5.5 Regression | Determinationskoeffizient und F-Statistik

5.5 Voraussetzung für die lineare Regression

Um eine lineare Regression berechnen zu können, müssen eine Reihe von Voraussetzungen erfüllt sein. Diesen wollen wir uns nun kurz widmen:

• Der Prädiktor muss intervallskaliert sein. Ausnahme: dichotom nominalskalierte Variablen mit einer sogenannten Dummy-Codierung, also nur den Ausprägungen „0“ und „1“, können ebenfalls als Prädiktor genutzt werden
• Das Kriterium muss intervallskaliert sein. Für andere Skalenniveaus gibt es eigene Verfahren (z.B. ordinale, multinominale, logistische Regression)
• Der Zusammenhang der Variablen muss theoretisch linear sein. Hierfür hilft es das Streudiagramm zu betrachten. Für andere Zusammenhänge gibt es nicht-lineare Regressionsmodelle (z.B. quadratische Regression)
• Es sollten möglichst wenig Ausreiser in den Daten sein, da diese einen großen Einfluss auf die Vorhersagegüte haben können. Auch hier hilft es das Streudiagramm zu betrachten.

Video 5.6 Regression | Vorraussetzungen

5.6 Standardisierung der Regressionsgeraden

Wir können nun mehrere Regressionsmodelle im Hinblick auf die Vorhersagegüte vergleichen. Wollen wir jedoch den Regressionskoeffizienten b von mehreren Regressionsmodellen vergleichen, haben wir ein Problem: Das Gewicht b ist nicht unabhängig von der entsprechenden Skalierung zu interpretieren, d.h. Gewichte verschiedener Regressionsgleichungen können nicht miteinander verglichen werden. So führt zum Beispiel die Körpergröße in Zentimetern als Prädiktor zu einem größeren b als die Körpergröße in Metern. Daher spricht man auch oft vom unstandardisierten Regressionsgewicht b. Über Standardisierung an den Standardabweichungen werden die Gewichte miteinander vergleichbar. Der standardisierte Regressionskoeffizient 𝛽 (𝛽-Gewicht) ist im Falle der bivariaten Regression identisch mit der Produkt-Moment-Korrelation r, d.h. kann Werte zwischen -1 bis +1 annehmen. Die Standardisierung erfolgt wieder an den Standardabweichungen beider Variablen, wie folgt:

Das Ergebnis dieser Gleichung sollte Ihnen bekannt vorkommen. Es entspricht der Formel für die Produkt-Moment-Korrelation. Dies zeigt auf mathematischem Wege die Verwandtschaft von Korrelation und Regression.

Video 5.8 Regression | Standardisiertes Regressionmodell

Mit der Standardisierung lassen sich aber auch spannende Praxisprobleme lösen. Daher wollen wir uns im folgenden Kapitel mit einer besonders nützlichen Form der Standardisierung, der sog. Z-Transformation beschäftigen.

5.7 Regression mit SPSS

Regressionsmodelle lassen sich in SPSS mit wenigen Klicks erstellen, jedoch ist die Interpretation der Ausgabe nicht ganz einfach. Zur Erstellung eines Regressionsmodells gibt es in SPSS folgendes Menü:

Analysieren > Regression > Linear.

Hier wird zunächst die abhängige Variable eingetragen (Kriterium, also die Variable die wir vorhersagen wollen) und dann die unabhängige Variable (Prädiktor, die Variable, die wir zur Vorhersage nutzen). Das Menü bietet viele weitere Einstellung, die aber für ein einfaches Regressionsmodell nicht notwendig sind. Die resultierende Ausgabe gibt uns die Regressionskoeffizienten, also die Werte, die wir benötigen um die Regressionsgleichung aufzustellen. Überdies werden standardmäßig die Gütemaße R² und F-Statistik mit ausgegeben, die es uns erlauben zu beurteilen, wie gut das Modell Vorhersagen macht. Im Folgenden Video wird dies Schritt für Schritt erklärt:

5.9 Regressionsmodelle mit SPSS erstellen

Wie  in den vorigen Kapiteln besprochen setzt die Berechnung eines Regressionsmodells voraus, dass auch wirklich ein linearer Zusammenhang zwischen den Variablen besteht. Daher sollten zur Interpretation eines Regressionsmodell die Daten immer auch in grafischer Form mit Hilfe eines Streudiagramms betrachtete werden. In SPSS bieten Streudiagramme zudem auch die Möglichkeit, direkt eine Regressionsgrade einzuzeichnen, sowie die Regressionsgleichung und das Gütemaß R² auszugeben. Wie dies funktioniert, wird im nächsten Video besprochen:

5.10 Streudiagramm mit Regressionsgerade in SPSS

5.7 Übungsfragen

Bei den folgenden Aufgaben können Sie Ihr theoretisches Verständnis unter Beweis stellen. Auf den Karteikarten sind jeweils auf der Vorderseite die Frage und auf der Rückseite die Antwort dargestellt. Viel Erfolg bei der Bearbeitung!

In diesem Teil sollen verschiedene Aussagen auf ihren Wahrheitsgehalt geprüft werden. In Form von Multiple Choice Aufgaben soll für jede Aussage geprüft werden, ob diese stimmt oder nicht. Wenn die Aussage richtig ist, klicke auf das Quadrat am Anfang der jeweiligen Aussage. Viel Erfolg!

5.8 Übungsaufgaben