{"id":84,"date":"2020-10-16T17:06:18","date_gmt":"2020-10-16T15:06:18","guid":{"rendered":"http:\/\/statistikgrundlagen.de\/ebook\/chapter\/regression\/"},"modified":"2025-08-07T14:46:53","modified_gmt":"2025-08-07T12:46:53","slug":"regression","status":"web-only","type":"chapter","link":"https:\/\/statistikgrundlagen.de\/ebook\/chapter\/regression\/","title":{"rendered":"Regression"},"content":{"raw":"

5.0 Einf\u00fchrung<\/h1>\r\n
Im vorangegangene Kapitel haben wir die lineare Korrelation kennen gelernt, die die Richtung und St\u00e4rke des Zusammenhangs zweier Variablen angibt. Mit der (bivariaten) linearen Regression l\u00e4sst sich eine Gleichung<\/strong> erstellen zur Vorhersage einer Variablen auf Basis einer anderen Variablen<\/strong>. H\u00e4ngen zwei Variablen zusammen (wie z.B. K\u00f6rpergr\u00f6\u00dfe und Schuhgr\u00f6\u00dfe), so ist es m\u00f6glich, eine Variable jeweils auf Basis der anderen vorherzusagen. Wenn wir also z.B. die K\u00f6rpergr\u00f6\u00dfe einer Person wissen, k\u00f6nnten wir mithilfe einer Regressionsgleichung<\/strong> vorhersagen, welche Schuhgr\u00f6\u00dfe eine Person haben k\u00f6nnte. Dabei wird jedoch schnell klar, dass diese Vorhersage immer fehlerbehaftet bzw. ungenau ist, da es sich nur um eine Sch\u00e4tzung auf Basis eines Modells handelt\u00a0 (Ausnahme: Korrelation von +\/- 1.0). Wie Sie sehen sind die Themen Korrelation und Regression eng verwandt. Die Korrelation besch\u00e4ftigt sich mit der Frage nach dem Zusammenhang zwischen zwei Variablen. Die Regression nutzt diesen Zusammenhang, um Werte der einen Variable auf Basis der Werte der anderen Variable vorherzusagen.<\/div>\r\n
\"\"<\/div>\r\n
<\/div>\r\n
Video 5.0 Regression | Einf\u00fchrung<\/a><\/div>\r\n
\r\n\r\n[embed]https:\/\/www.youtube.com\/embed\/ClSj7QShgdg[\/embed]\r\n\r\n<\/div>\r\n

5.1 Die Regressionsgleichung<\/h1>\r\n

Wie wir schon im Kapitel 1 besprochen haben, wird die Vorhersagevariable als unabh\u00e4ngige Variable (UV) oder Pr\u00e4diktorvariable<\/strong> bezeichnet; die Variable, die vorhergesagt werden soll, als abh\u00e4ngige Variable (AV) oder Kriteriumsvariable<\/strong>. Im Folgenden werden wir uns mit der Regressionsgleichung der bivariaten Regression<\/strong> besch\u00e4ftigen, also f\u00fcr den Fall mit genau einer Vorhersagevariable und einer abh\u00e4ngigen Variable. Es gibt jedoch auch eine multiple Regression (mit mehreren Pr\u00e4diktoren), die Sie sp\u00e4ter kennenlernen werden. Wir besch\u00e4ftigen uns an dieser Stelle auch nur mit der g\u00e4ngigsten Form der Regression, der sogenannten linearen Regression<\/strong>.\u00a0 Diese erm\u00f6glicht eine Vorhersage unter der Annahme, dass es einen linearen, also gradlinigen Zusammenhang zwischen den Variablen gibt (Vgl. lineare Korrelation). Die Vorhersagefunktion sieht daher auch sehr einfach aus: Alle Vorhersagewerte liegen auf einer Geraden<\/strong>. Die Funktionsgleichung, die eine Gerade im zweidimensionalen Raum beschreibt kennen Sie sicherlich schon aus der Schulzeit. Dort wird diese meist mit f(x)= m \u22c5 x +b\u00a0<\/em><\/strong>beschrieben. Wobei m<\/strong><\/em> die Steigung ausdr\u00fcckt und b<\/strong><\/em> den Y-Achsenabschnitt (oder Ordinatenabschnitt). Die Regressionsgleichung ist nichts anderes als diese lineare Funktion angewendet auf zwei Variablen. Jedoch sind in der Statistik andere Abk\u00fcrzungen<\/strong> \u00fcblich. Der Y-Achsenabschnitt<\/strong> wird mit a<\/strong><\/em> bezeichnet, die Steigung<\/strong> wird mit b<\/strong><\/em> bezeichnet, und Regressionskoeffizient<\/strong> genannt.<\/p>\r\n\"\"\r\n

Die Funktion soll in Abh\u00e4ngigkeit des Pr\u00e4diktors x, das Kriterium y vorhersagen (Daher steht vorne y). Da es sich hierbei um eine Sch\u00e4tzung handelt, die immer fehlerbehaftet ist, wird noch ein Fehlerterm (z.B. \u03b5) eingef\u00fcgt. Alternativ zu diesem Fehlerterm wird jedoch meist das y mit einem \"Dach\" versehen, was in der Statistik ausdr\u00fcckt, dass es sich um eine Sch\u00e4tzung handelt. Der Fehlerterm kann somit entfallen. In Summe lautet die Regressionsgleichung also:<\/p>\r\n\"\"\r\n

Der Index i<\/em><\/strong> dr\u00fcckt aus, dass Sie mit dieser Gleichung beliebige Werte der einen Variable f\u00fcr die Vorhersage des dazu geh\u00f6rigen Werts der anderen Variable nutzen k\u00f6nnen. Im Falle des Eingangsbeispiels mit K\u00f6rpergr\u00f6\u00dfe und Schuhgr\u00f6\u00dfe bedeutet dies, dass wir die Schuhgr\u00f6\u00dfe einer Person i<\/strong><\/em> vorhersagen bzw. sch\u00e4tzen k\u00f6nnen, wenn wir die die K\u00f6rpergr\u00f6\u00dfe eben dieser Person i<\/strong><\/em> kennen.<\/p>\r\n \r\n

\r\n

Beispiel Regressionsgleichung<\/p>\r\n\r\n<\/header>\r\n

\r\n

Unten abgebildet sehen Sie beispielhaft die grafische Darstellung einer Regressionsgleichung als Linie. Die Gleichung Y=0,5x + 1 beschreibt diese Linie eindeutig im zweidimensionalen Raum. Der Achsenabschnitt betr\u00e4gt 1, was bedeutet das die Gerade genau beim Wert 1 die Y-Achse scheidet. Die Steigung betr\u00e4gt 0,5, d.h. f\u00fcr jeweils eine \"Schritt\" auf der X-Achse, geht es nur einen halbe \"Schritt\" nach oben. Alle Vorhersage-Werte liegen genau auf dieser Geraden. So w\u00fcrden wir z.B. f\u00fcr den x-Wert 5 den y-Wert 3,5 vorhersagen. Dieser Wert l\u00e4sst sich einfach durch Einsetzen in die Regression errechnen: Y= 0,5 \u22c5 5 + 1 . Wir k\u00f6nnen nun also f\u00fcr beliebige x-Werte die korrespondierenden y-Werte vorhersagen.<\/p>\r\n\"\"\r\n\r\n<\/div>\r\n<\/div>\r\n \r\n\r\nVideo 5.1 Regression | Regressionsgleichung<\/a>\r\n\r\nhttps:\/\/www.youtube.com\/embed\/3sm3FhHXL7g\r\n

<\/div>\r\n

5.2 Methode der kleinsten Quadrate<\/h1>\r\n
Wir wissen nun, wie die Regressionsgleichung funktioniert. Doch wie wird diese bestimmt? Wie komme ich denn nun auf genau die Gleichung, die m\u00f6glichst gut z.B. die Anzahl der verkauften Burger in einem unserer FiveProfs-Burgerl\u00e4den auf Basis der Tagestemperatur vorhersagt? Hierf\u00fcr ben\u00f6tigen wir grunds\u00e4tzlich zun\u00e4chst einmal Daten<\/strong>. In diesem Fall z.B. Verkaufszahlen von FiveProfs Burgern und den entsprechenden Durchschnittstemperaturen von einer gro\u00dfen Anzahl an Tagen. Das Resultat w\u00e4re zun\u00e4chst einmal eine Punktewolke, oder genauer gesagt ein Streudiagramm. Die Punkte repr\u00e4sentieren also jeweils die Werte von Tagen, bei denen wir beides wissen: die Anzahl der verkauften Burger und die durchschnittliche Tagestemperatur.<\/div>\r\n
\"\"<\/div>\r\n
Aus diesen Werten wollen wir nun die Gleichung ermitteln, die uns helfen soll, f\u00fcr weitere Tage, bei denen wir nur die Tagestemperatur kennen, den entsprechenden Burgerverkauf vorherzusagen. Hierf\u00fcr wollen wir nun in das Streudiagramm unsere Vorhersagelinie (Regressionsgleichung) einzeichnen.\u00a0<\/span><\/div>\r\n
\"\"<\/div>\r\n
Im obigen Beispiel wurde bereits eine solche Trend-Linie in die Punktwolke eingezeichnet<\/strong>. Diese Gerade entspricht der Regressionsgleichung und ist so eingezeichnet, dass der Abstand aller Punkte zur Linie minimal ist<\/strong>. Der Abstand der Werte zur Vorhersagelinie wird auch Residuum<\/strong> (Rest) genannt.<\/div>\r\n
\"\"<\/div>\r\n
Wie man sieht, trifft diese Vorhersage f\u00fcr manche Werte sehr gut zu (geringer Abstand von der Geraden) f\u00fcr andere Werte ist die Vorhersage jedoch weniger gut (gro\u00dfer Abstand von der Geraden). Das Ziel ist dabei die Bestimmung einer Geraden, die den Gesamttrend aller Punkte am besten wiedergibt bzw. repr\u00e4sentiert. Dies kann man auch mathematisch machen, indem man die Gleichung sucht, bei der die Abweichungen aller Werte von der Geraden minimal sind. Hierbei werden die Abst\u00e4nde quadriert, um zu verhindern, dass sich die Abweichungen gegenseitig nivellieren. Das Ziel ist daher, <\/span><\/span>die Summe der quadrierten Abweichungen (Residuen) zu minimieren. Dies erkl\u00e4rt auch den Namen dieses Verfahrens, das n\u00e4mlich <\/span>Methode<\/strong> der kleinsten Quadrate<\/strong> genannt wird.<\/span><\/div>\r\n
<\/div>\r\n
\r\n
Wir wollen die Summe der quadrierten Abweichungen minimieren und setzen f\u00fcr den Vorhersagewert\u00a0<\/span>\"\" die obige Regressionsgleichung ein.<\/span><\/div>\r\n
\"\"<\/div>\r\n
\u00dcber partielle Ableitungen nach a bzw. b (die wir an dieser Stelle nicht vertiefen) lassen sich allgemeine L\u00f6sungen finden, die diese Bedingung erf\u00fcllen:<\/div>\r\n
<\/div>\r\n
\"\"<\/div>\r\n
<\/div>\r\n
\r\n

Bei byx<\/sub> und ayx<\/sub> bezeichnet der erste Index (hier: y) die Variable, die vorhergesagt wird (Kriterium) und der zweite Index die Variable, die vorhersagt (Pr\u00e4diktor - hier: x). Um den Regressionskoeffizient b<\/strong><\/em> (die Steigung der Geraden) zu bestimmen, ben\u00f6tigen Sie also die Kovarianz der beiden Variablen, sowie die Varianz des Pr\u00e4diktors (x) . Danach k\u00f6nnen Sie durch die einfache Multiplikation mit dem Mittelwert des Pr\u00e4diktors (x) den Achsenabschnitt a<\/em><\/strong> bestimmen.<\/p>\r\n

In der Praxis werden Sie eher selten eine Regressionsgleichung von Hand bestimmen. Dennoch ist es hilfreich zu verstehen, wie diese Gerade berechnet wird, da dieses sogenannte Generelle Lineare Modell (GLM) die Basis f\u00fcr fast alle sp\u00e4teren statistischen Verfahren bildet.<\/p>\r\n \r\n

\r\n\r\nVideo 5.2 Regression | Methode der kleinsten Quadrate<\/a>\r\n\r\n<\/div>\r\n<\/div>\r\n
\r\n\r\n[embed]https:\/\/www.youtube.com\/embed\/lQU2tBGOgzo[\/embed]\r\n\r\n<\/div>\r\n<\/div>\r\n

5.3 Vorhersagen<\/h1>\r\n

Die Regressionsgleichung kann ganz praktisch dazu verwendet werden konkrete Vorhersagen zu machen. F\u00fcr die Vorhersage von Burgerverk\u00e4ufen in einer unserer FiveProfs-Filialen auf Basis der Tagestemperatur lautet die Gleichung \"\" = 775 - 13,75 \u22c5 xi<\/sub> . Hiermit k\u00f6nnen wir nun f\u00fcr eine beliebige Tagestemperatur die Burgerverk\u00e4ufe in unserer Filiale vorhersagen. Wenn wir z.B. eine Temperatur von 20\u00b0C einsetzen, erhalten wir einen Vorhersagewert von 500 Burgern, die in unserer Filiale verkauft werden (Berechnung: 775 - 13,75 \u22c5 20).<\/p>\r\n\"\"\r\n

Die Vorhersage muss jedoch nicht zwangl\u00e4ufig mit der Realit\u00e4t \u00fcbereinstimmen. In der Grafik ist deutlich erkennbar, dass viele Punkte leicht \u00fcber oder unter der Vorhersagegeraden liegen - daher sprechen wir immer von einer Sch\u00e4tzung. Diese Sch\u00e4tzung kann verbessert werden in dem man mehr Daten aufnimmt, also die Gleichung auf Basis von mehr Tagen (bzw. in anderen F\u00e4llen: Personen) errechnet. Eine weitere M\u00f6glichkeit besteht darin, weitere Pr\u00e4diktoren (wie hier z.B. die Regenwahrscheinlichkeit) mit aufzunehmen. Dazu werden wir an sp\u00e4terer Stelle kommen. Was wir jedoch schon jetzt ben\u00f6tigen, ist ein Ma\u00df daf\u00fcr, wie gut unsere Sch\u00e4tzung ist und genau damit m\u00f6chten wir uns - nach dem n\u00e4chsten Beispiel - besch\u00e4ftigen.<\/p>\r\n\"Das<\/a>\r\n

\r\n

Beispiel Kreuzfahrtschiffe<\/p>\r\n\r\n<\/header>\r\n

\r\n

In einer Stadt soll ein neuer Liegeplatz f\u00fcr Kreuzfahrtschiffe gebaut werden. Die maximal Breite der Schiffe, die die Hafeneinfahrt passieren k\u00f6nnen betr\u00e4gt 35 Meter. Nun wollen Sie herausfinden, wie lang der geplante Liegeplatz werden sollte, damit er ein \u00fcbliches Kreuzfahrtschiff aufnehmen kann. Wir wollen also auf Basis der Breite von 35 Metern (Pr\u00e4diktor) die voraussichtliche L\u00e4nge der Schiffe vorhersagen (Kriterium). Hierf\u00fcr m\u00fcssen Sie zun\u00e4chst Daten von Kreuzfahrtschiffen sammeln. Grunds\u00e4tzlich gilt: Je mehr Daten, desto besser die Vorhersage. In diesem Beispiel haben wir jedoch nur 11 Kreuzfahrtschiffe ber\u00fccksichtigt. Im hier abgebildeten Streudiagramm ist bereits die Regressionsgerade eingezeichnet.<\/p>\r\n\"\"\r\n

Wie man sieht gibt es einen (nicht-perfekten) Zusammenhang zwischen der L\u00e4nge und der Breite der Kreuzfahrtschiffe. Um die Regressionsgerade zu bestimmen ben\u00f6tigen wir die Kovarianz der beiden Variablen cov(x,y<\/sub>) = 227,51, sowie die Varianz des Pr\u00e4diktors s2<\/sup>x<\/sub>= 22,74. Hieraus k\u00f6nnen wir die Regressionsgleichung bestimmen:<\/p>\r\n\"\"\u00a0= -54,63 + 10 \u22c5 xi<\/sub>\r\n\r\nMit dieser Gleichung k\u00f6nnen wir nun dem Planer der Hafenanlage helfen. Hierzu setzen wir f\u00fcr x=35 ein und erhalten \"\"= -54,63 + 10 \u22c5 35 = 295,37\r\n

Die vorhergesagte L\u00e4nge f\u00fcr ein Kreuzfahrtschiff mit 35 Meter Breite betr\u00e4gt also rund 295 Meter. Hierbei sollten sie jedoch beachten, dass es sich um eine Sch\u00e4tzung handelt, von der einzelne Kreuzfahrtschiffe in der Realit\u00e4t abweichen (siehe Abst\u00e4nde der Punkte von der Linie). Daher ist dem Hafenplaner gut daran geraten einen gewissen Sicherheitsaufschlag mit einzuplanen. Wie man bestimmen kann, wie genau eine solche Vorhersage ist, wollen wir im Folgenden betrachten.<\/p>\r\n\r\n<\/div>\r\n<\/div>\r\n

<\/div>\r\n
Video 5.3. Regression | Vorhersagen<\/a><\/div>\r\n
\r\n\r\n[embed]https:\/\/www.youtube.com\/embed\/eebTDonbSDs[\/embed]\r\n\r\n<\/div>\r\n

5.4 Vorhersageg\u00fcte<\/h1>\r\n

Wir haben nun eine Methode entwickelt, mit der wir auf Basis von Daten Vorhersagen ableiten k\u00f6nnen. Wie wir gesehen haben, sind diese Vorhersagen jedoch nur Sch\u00e4tzungen und weichen manchmal mehr und manchmal weniger stark von der Realit\u00e4t ab.\u00a0 Wenn Sie die Folgenden zwei Streudiagramme betrachten, wird dies nochmal klarer: Beide haben eine lineare Regressionsgerade auf der die Vorhersagewerte liegen. Jedoch sind im Fall Burgerverk\u00e4ufe und Tagestemperatur die echten Werte (rote Punkte) deutlich n\u00e4her an der Geraden als in der rechten Grafik, in welcher die Burgerverk\u00e4ufe auf Basis der Luftfeuchtigkeit vorausgesagt werden. Das bedeutet, dass die Vorhersage f\u00fcr die Burgerverk\u00e4ufe mit der Tagestemperatur als Pr\u00e4diktor deutlich besser funktioniert als mit der Luftfeuchtigkeit als Pr\u00e4diktor.<\/p>\r\n\"\"\r\n

Wir k\u00f6nnen also \u00fcber das Streudiagramm schon sehr leicht optisch sehen, wie gut eine Vorhersage funktioniert. Genau an dieser Stelle wollen wir nun weitermachen und Kennwerte entwickeln, die uns objektiv sagen, wie gut eine Vorhersage ist. Hierbei gehen wir zun\u00e4chst genau so vor, dass wir die Abweichungen der echten Werte (auch beobachtete Werte) von der Geraden (vorhergesagte Werte) betrachten. Diese Abweichungen nennen sich Regressionsresiduen<\/strong> (y*<\/sup>i<\/sub><\/strong><\/em>). Das Ausma\u00df der Abweichungen ist ein Indikator daf\u00fcr, wie genau die Regression in ihrer Vorhersage ist. Die Regressionsresiduen selbst sind jedoch nur schwer interpretierbar, da diese wieder von der Skala der Variablen abh\u00e4ngen (Anzahl der verkauften Burger hat automatisch gr\u00f6\u00dfere Residuuen als die Tagestemperatur in \u00b0C). Die L\u00f6sung: Wir setzen die Summe der Residuuen ins Verh\u00e4ltnis zu einem anderen Wert. Doch welchem?<\/p>\r\nHierf\u00fcr wollen wir zun\u00e4chst den Begriff der Varianz erweitern. Wir haben bisher gelernt, dass die Varianz die (quadrierte) Summe der Abweichung aller Werte von Mittelwert ist.\u00a0 Dies ist die im untenstehenden Bild links gezeigte Gesamtvarianz. Die Gesamtvarianz kann im Falle der Regression in zwei Komponenten geteilt werden: In die Regressionsvarianz und die Fehlervarianz. Die Regressionsvarianz dr\u00fcck aus, welche Abweichungen vom Mittelwert, das Regressionsmodell vorhersagt. Die Fehlervarianz dr\u00fcckt aus, wie die tats\u00e4chlichen Werte von dieser Vorhersage abweichen (daher nicht-erkl\u00e4rte Varianz). Hier nochmal in der \u00dcbersicht:\r\n