{"id":1772,"date":"2023-04-12T14:53:51","date_gmt":"2023-04-12T12:53:51","guid":{"rendered":"http:\/\/statistikgrundlagen.de\/ebook\/?post_type=chapter&p=1772"},"modified":"2023-04-12T21:10:45","modified_gmt":"2023-04-12T19:10:45","slug":"einfache-lineare-regression-mit-r","status":"publish","type":"chapter","link":"https:\/\/statistikgrundlagen.de\/ebook\/chapter\/einfache-lineare-regression-mit-r\/","title":{"rendered":"Einfache lineare Regression mit R"},"content":{"raw":"

Einfache lineare Regression<\/h1>\r\nDas Ziel der bivariaten linearen Regression ist es, die am besten passende Linie oder Regressionsgerade zu finden, die die Beziehung zwischen den beiden Variablen beschreibt. Die Regressionsgerade dient zur Vorhersage des Wertes einer Variablen auf der Grundlage des Wertes einer anderen Variablen. Hierbei werden die beiden Variablen als Pr\u00e4diktor bzw. unabh\u00e4ngige Variable und als Kriterium bzw. abh\u00e4ngige Variable bezeichnet.\r\n\r\nDie Gleichung f\u00fcr eine bivariate lineare Regressionsgerade ist\r\n\r\ny = b0 + b1 * x\r\n\r\nwobei y die abh\u00e4ngige Variable, x die unabh\u00e4ngige Variable, b0 der y-Achsenabschnitt und b1 die Steigung der Linie ist. Die Steigung b1 gibt die \u00c4nderung von y bei einer \u00c4nderung von x um eine Einheit an, w\u00e4hrend der y-Achsenabschnitt b0 den Wert von y darstellt, wenn x gleich Null ist.\r\n\r\nUm die beste Anpassungslinie (Regressionsgerade) zu ermitteln, wird die Methode der kleinsten Quadrate verwendet. Mit dieser Methode wird die Linie gefunden, die die Summe der quadrierten Differenzen zwischen den vorhergesagten Werten von y und den tats\u00e4chlichen Werten von y minimiert. Die Werte von b0 und b1, die diese Summe minimieren, gelten als die besten Sch\u00e4tzungen f\u00fcr die wahren Werte dieser Parameter. Anders ausgedr\u00fcckt ist dies auch die Linie, die den geringsten (quadrierten) Abstand zu allen Punkten im Streudiagramm hat.\r\n\r\nSobald die beste Regressionsgerade bestimmt wurde, kann sie verwendet werden, um Vorhersagen \u00fcber die abh\u00e4ngige Variable auf der Grundlage neuer Werte der unabh\u00e4ngigen Variable zu treffen. Dazu setzt man den neuen Wert von x in die Gleichung f\u00fcr die Regressionsgerade ein und l\u00f6st f\u00fcr y auf. Die Bestimmung der Regressionsgerade als auch die Vorhersage \u00fcbernimmt nat\u00fcrlich R f\u00fcr uns.\r\n
\r\n

Vorbereitungen<\/h1>\r\nZun\u00e4chst laden wir die f\u00fcr dieses Kapitel notwendigen Pakete\r\n
\r\n
library<\/span>(psych)<\/span>\r\nlibrary<\/span>(Hmisc)<\/span>\r\nlibrary<\/span>(car)<\/span><\/code><\/pre>\r\n<\/div>\r\nWissenschaftliche Notation ausschalten (damit f\u00e4llt es uns leichter den Output zu interpretieren, da Nachkommastellen nicht umgewandelt werden).\r\n
\r\n
options<\/span>(scipen =<\/span> 999<\/span>)<\/span><\/code><\/pre>\r\n<\/div>\r\n<\/div>\r\n
\r\n
Daten vorbereiten<\/h1>\r\nWir starten mit einem einfachen Beispiel: L\u00e4sst sich die Koerpergroesse aus der Schuhgroesse vorhersagen?\r\n\r\nWir laden unseren WPStudis Datensatz und erstellen zun\u00e4chst ein Subset mit den relevanten Variablen und schlie\u00dfen NAs aus, da fehlende Werte (NAs) zu einer Fehlermeldung bei der Berechnung der Regressionsgerade f\u00fchren.\r\n
\r\n
load<\/span>(\"WPStudis.Rdata\"<\/span>)<\/span>\r\ndata_lm <-<\/span> na.omit<\/span>(WPStudis[c<\/span>(\"F1_Nummer\"<\/span>, \"F4_Koerpergroesse\"<\/span>,\"F5_Schuhgroesse\"<\/span>,\"F2_Alter\"<\/span>, \"F3_Geschlecht\"<\/span>)])<\/span><\/code><\/pre>\r\n<\/div>\r\n<\/div>\r\n
\r\n
Modell erstellen<\/h1>\r\nIn R kann eine bivariate lineare Regression mit der Funktion lm()<\/em> durchgef\u00fchrt werden, was f\u00fcr \u201clineares Modell\u201d steht. Die grundlegende Syntax f\u00fcr diese Funktion lautet wie folgt:\r\n\r\nlm(y ~ x, Daten)\r\n\r\nwobei y der Name des Kriteriums bzw. der abh\u00e4ngigen Variable ist und x der Name des Pr\u00e4diktors bzw. der unabh\u00e4ngigen Variablen. Durch die Funktion wird ein lineares Modellobjekt namens erstellt, das die Koeffizienten und andere Informationen \u00fcber die Regression enth\u00e4lt. Dieses speichern wir unter einem neuen Objektnamen ab, den Sie nat\u00fcrlich frei w\u00e4hlen k\u00f6nnen. Wir nennen dieses nun \u201clm1\u201d, der Syntax sieht dann wie folgt aus:\r\n
\r\n
lm1<-<\/span> lm<\/span>(F4_Koerpergroesse ~<\/span> F5_Schuhgroesse, data=<\/span>data_lm)  <\/span>\r\nlm1<\/span>\r\n## <\/span><\/span>\r\n## Call:<\/span><\/span>\r\n## lm(formula = F4_Koerpergroesse ~ F5_Schuhgroesse, data = data_lm)<\/span><\/span>\r\n## <\/span><\/span>\r\n## Coefficients:<\/span><\/span>\r\n##     (Intercept)  F5_Schuhgroesse  <\/span><\/span>\r\n##          93.425            1.936<\/span><\/span><\/code><\/pre>\r\n<\/div>\r\n<\/div>\r\n
\r\n
Interpretation<\/h1>\r\nAus den beiden Werten l\u00e4sst sich die Regressionsgleichung (also die Formel f\u00fcr eine Vorhersage) ableiten. Intercept entspricht b0, also der Konstante oder auch dem Punkt, an dem die Gerade die y-Achse schneidet. Der Wert unter \u201cF5_Schuhgroesse\u201d entspricht b1, also dem Regressionsgewicht oder auch der Steigung der Geraden.\r\n\r\nDie resultierende Regressionsgleichung ist nun also:\r\n\r\ny (K\u00f6rpergr\u00f6\u00dfe) = 93,43 + 1,94 * x (Schuhgr\u00f6\u00dfe).\r\n\r\nTesten Sie doch mal f\u00fcr Ihre Schuhgr\u00f6\u00dfe, wie gut diese Vorhersage funktioniert. Der Wert 1,94 ist die Steigung der Regressionsgerade und sagt uns daher, wie der Zusammenhang verl\u00e4uft. Da dieser Verlauf jedoch stark von der zugrundeliegeneden Skala abh\u00e4ngt, k\u00f6nnen wir diesen auch standardisieren. Die standardisierten Koeffizienten (= betas) k\u00f6nnen mit der scale<\/em>-Funktion ausgegeben werden:\r\n
\r\n
lm2<-<\/span> lm<\/span>(scale<\/span>(F4_Koerpergroesse) ~<\/span> scale<\/span>(F5_Schuhgroesse), data=<\/span>data_lm) <\/span>\r\nlm2<\/span>\r\n## <\/span><\/span>\r\n## Call:<\/span><\/span>\r\n## lm(formula = scale(F4_Koerpergroesse) ~ scale(F5_Schuhgroesse), <\/span><\/span>\r\n##     data = data_lm)<\/span><\/span>\r\n## <\/span><\/span>\r\n## Coefficients:<\/span><\/span>\r\n##            (Intercept)  scale(F5_Schuhgroesse)  <\/span><\/span>\r\n## -0.0000000000000005575   0.7230085486694098895<\/span><\/span><\/code><\/pre>\r\n<\/div>\r\nWas bedeutet der standardisierte Koeffizient \/ beta Wert bei der bivariaten Regression?\r\nGrunds\u00e4tzlich helfen standardisierte Koeffizienten (beta Werte) bei der Interpretation, da sie unabh\u00e4ngig von der zugrunde liegenden Skala interpretierbar sind. Bei der bivariaten Regression entspricht der Wert dem Korrelationskoeffizienten und sagt uns daher, wie stark der Zusammenhang ist (unabh\u00e4ngig von der Skala).\r\n\r\nZum Vergleich k\u00f6nnen wir die Korrelation der beiden Variablen berechnen.\r\n
\r\n
 cor<\/span>(data_lm$<\/span>F4_Koerpergroesse,data_lm$<\/span>F5_Schuhgroesse)<\/span>\r\n## [1] 0.7230085<\/span><\/span><\/code><\/pre>\r\n<\/div>\r\n<\/div>\r\n
\r\n
Signifikanztests und G\u00fctema\u00dfe<\/h1>\r\nWie gut ist die Vorhersage f\u00fcr Ihre pers\u00f6nliche K\u00f6rpergr\u00f6\u00dfe? Um diese Frage zu beantworten, ben\u00f6tigen wir Signifikanztests f\u00fcr die Regressionskoeffizienten und G\u00fctema\u00dfe f\u00fcr das Regressionsmodell.\r\n\r\nDie Funktion summary()<\/em> liefert eine detaillierte Zusammenfassung des linearen Modellobjekts, das mit der Funktion lm()<\/em> erstellt wurde.\r\n
\r\n
summary<\/span>(lm1)<\/span>\r\n## <\/span><\/span>\r\n## Call:<\/span><\/span>\r\n## lm(formula = F4_Koerpergroesse ~ F5_Schuhgroesse, data = data_lm)<\/span><\/span>\r\n## <\/span><\/span>\r\n## Residuals:<\/span><\/span>\r\n##      Min       1Q   Median       3Q      Max <\/span><\/span>\r\n## -28.2497  -3.0276   0.1153   3.0041  15.1153 <\/span><\/span>\r\n## <\/span><\/span>\r\n## Coefficients:<\/span><\/span>\r\n##                 Estimate Std. Error t value             Pr(>|t|)<\/span><\/span>\r\n## (Intercept)       93.425      7.735  12.078 < 0.0000000000000002<\/span><\/span>\r\n## F5_Schuhgroesse    1.937      0.195   9.929 0.000000000000000402<\/span><\/span>\r\n##                    <\/span><\/span>\r\n## (Intercept)     ***<\/span><\/span>\r\n## F5_Schuhgroesse ***<\/span><\/span>\r\n## ---<\/span><\/span>\r\n## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1<\/span><\/span>\r\n## <\/span><\/span>\r\n## Residual standard error: 5.394 on 90 degrees of freedom<\/span><\/span>\r\n## Multiple R-squared:  0.5227, Adjusted R-squared:  0.5174 <\/span><\/span>\r\n## F-statistic: 98.58 on 1 and 90 DF,  p-value: 0.000000000000000402<\/span><\/span><\/code><\/pre>\r\n<\/div>\r\nDie Zusammenfassung enth\u00e4lt in der Regel die folgenden Informationen:\r\n\r\nCall: Gibt das Modell an, das verwendet wurde, einschlie\u00dflich des Namens der abh\u00e4ngigen Variable, der unabh\u00e4ngigen Variable(n) und der verwendeten Daten.\r\n\r\nResiduen: Die Residuen des Modells, d.\u00a0h. die Differenzen zwischen den beobachteten Werten der abh\u00e4ngigen Variablen und den vorhergesagten Werten der abh\u00e4ngigen Variablen. Die Zusammenfassung enth\u00e4lt die Standardabweichung der Residuen, die ein Ma\u00df f\u00fcr die Streuung der Residuen um den Mittelwert ist, sowie die minimalen und maximalen Residuenwerte.\r\n\r\nKoeffizienten: Die Koeffizienten des Modells, d.\u00a0h. die Sch\u00e4tzungen der Parameter der Regressionsgeraden. Die Tabelle enth\u00e4lt die Sch\u00e4tzungen der Koeffizienten, ihre Standardfehler, t-Werte und p-Werte.\r\n\r\nR-Quadrat: Das Bestimmtheitsma\u00df (auch Determinationskoeffizient) ist ein Ma\u00df f\u00fcr den Anteil der Variation in der abh\u00e4ngigen Variable, der durch die unabh\u00e4ngige Variable erkl\u00e4rt wird. Es reicht von 0 bis 1, und kann in Prozent interpretiert werden. So kann ein Wert von 0,4 so interpretiert werden, dass 40 % der Variation der abh\u00e4ngigen Variablen durch die unabh\u00e4ngigen Variablen erkl\u00e4rt wird.\r\n\r\nF-Statistik: Die F-Statistik und ihr zugeh\u00f6riger p-Wert, der pr\u00fcft, ob das lineare Modell insgesamt signifikant ist.\r\n\r\nSignifikanz-Codes: Ein Code, der das Signifikanzniveau der Koeffizienten angibt. Ein Code von \u201c***\u201d bedeutet zum Beispiel, dass der Koeffizient auf dem Niveau von 0,001 signifikant ist.\r\n\r\nIn diesem Fall sehen wir, dass die Schuhgr\u00f6\u00dfe ein signifikanter Pr\u00e4diktor f\u00fcr die K\u00f6rpergr\u00f6\u00dfe ist (p < .000). Ausserdem erhalten wir den Determinationskoeffizienten R2 von 0,51 (korrigierten Wert nehmen). Wir k\u00f6nnen also sagen, dass wir 51 % der Varianz in der K\u00f6rpergr\u00f6\u00dfe durch die Schuhgr\u00f6\u00dfe vorhersagen k\u00f6nnen. Des Weiteren erhalten wir einen F-Wert, hier 98 (1,90), den wir inhaltlich nicht interpretieren k\u00f6nnen (sollte jedoch gr\u00f6\u00dfer 1 sein).\r\n\r\nDie einzelnen Komponenten des lm-Objekts lassen sich auch einzeln auslesen:\r\n
\r\n
coefficients<\/span>(lm1)  #Modelkoeffizienten<\/span><\/span>\r\n##     (Intercept) F5_Schuhgroesse <\/span><\/span>\r\n##       93.425002        1.936493<\/span><\/span>\r\nconfint<\/span>(lm1, level=<\/span>0.95<\/span>)  #Konfidenzintervalle<\/span><\/span>\r\n##                     2.5 %     97.5 %<\/span><\/span>\r\n## (Intercept)     78.057622 108.792382<\/span><\/span>\r\n## F5_Schuhgroesse  1.549008   2.323979<\/span><\/span>\r\nresiduals<\/span>(lm1)  #Residuen<\/span><\/span>\r\n##            1            2            3            4            5 <\/span><\/span>\r\n##  -7.94824817   9.11525833  -1.01175467 -28.24967664   3.05175183 <\/span><\/span>\r\n##            6            7            8            9           10 <\/span><\/span>\r\n##   0.05175183   0.92473882   2.05175183  -5.07526118   5.11525833 <\/span><\/span>\r\n##           11           12           13           14           15 <\/span><\/span>\r\n##  -2.07526118  -1.94824817   5.17876484  -5.94824817   4.92473882 <\/span><\/span>\r\n##           16           17           18           19           20 <\/span><\/span>\r\n##  -3.13876768  -3.69422216   4.05175183  -7.01175467   0.49629735 <\/span><\/span>\r\n##           21           22           23           24           25 <\/span><\/span>\r\n##  -3.94824817  -1.07526118   7.05175183  -2.88474167   0.11525833 <\/span><\/span>\r\n##           26           27           28           29           31 <\/span><\/span>\r\n##  -3.01175467  -0.94824817   1.98824533   2.92473882   2.92473882 <\/span><\/span>\r\n##           32           33           34           35           36 <\/span><\/span>\r\n##   2.43279085  -8.07526118   0.11525833   6.05175183   3.92473882 <\/span><\/span>\r\n##           37           38           39           40           41 <\/span><\/span>\r\n##   1.98824533   2.49629735   8.30577784  -0.88474167   1.05175183 <\/span><\/span>\r\n##           42           43           44           45           46 <\/span><\/span>\r\n##  -1.82123516   0.17876484   4.49629735  -3.13876768  -3.13876768 <\/span><\/span>\r\n##           47           48           49           50           51 <\/span><\/span>\r\n##   1.86123232  -2.07526118   6.24227134   3.24227134  -1.01175467 <\/span><\/span>\r\n##           52           53           54           55           56 <\/span><\/span>\r\n##   6.11525833   1.92473882   0.30577784   5.11525833   6.05175183 <\/span><\/span>\r\n##           57           58           59           60           61 <\/span><\/span>\r\n##   1.36928434   5.30577784   5.05175183  -3.07526118  -0.94824817 <\/span><\/span>\r\n##           62           63           64           65           66 <\/span><\/span>\r\n##   1.11525833  -2.82123516  -0.56720915   2.43279085  -1.82123516 <\/span><\/span>\r\n##           67           68           69           70           71 <\/span><\/span>\r\n##  -3.13876768  -0.94824817  -1.07526118  -0.63071566   0.62331035 <\/span><\/span>\r\n##           72           73           74           75           76 <\/span><\/span>\r\n##  -1.94824817  -2.07526118   4.36928434  15.11525833  -1.01175467 <\/span><\/span>\r\n##           77           78           79           80           81 <\/span><\/span>\r\n##   7.11525833  -5.88474167   2.05175183  -7.01175467   3.92473882 <\/span><\/span>\r\n##           82           83           84           85           86 <\/span><\/span>\r\n##  -3.13876768  -4.01175467  -4.01175467  -8.07526118  -3.94824817 <\/span><\/span>\r\n##           87           88           89           90           91 <\/span><\/span>\r\n## -10.07526118  -3.88474167   2.98824533  -7.07526118   1.11525833 <\/span><\/span>\r\n##           92           93 <\/span><\/span>\r\n##   0.92473882   9.92473882<\/span><\/span><\/code><\/pre>\r\n<\/div>\r\n<\/div>\r\n
\r\n
Voraussetzung pr\u00fcfen<\/h1>\r\nWas wir aber eigentlich vor der Regression machen sollten, ist die Voraussetzung f\u00fcr die Regression zu pr\u00fcfen.\r\n\r\nDie wesentlichen Voraussetzungen f\u00fcr die lineare Regression sind:\r\n
    \r\n \t
  1. Korrekte Spezifikation des Modells<\/li>\r\n \t
  2. Normalverteilung der Residuen<\/li>\r\n \t
  3. Homoskedastizit\u00e4t<\/li>\r\n \t
  4. Ausrei\u00dfer und einflussreiche Datenpunkte<\/li>\r\n<\/ol>\r\nBei multipler Regression (also bei mehr als einem Pr\u00e4diktor) gelten zus\u00e4tzlich folgende Voraussetzungen:\r\n
      \r\n \t
    1. Multikollinearit\u00e4t<\/li>\r\n \t
    2. Unabh\u00e4ngigkeit der Residuen<\/li>\r\n<\/ol>\r\n\u00dcber Plots lassen sich die Voraussetzungen 1 bis 4 relativ einfach visuell pr\u00fcfen, hierzu wenden wir die Funktion plot()<\/em> auf das Modell an. In diesem Fall werden uns vier Grafiken ausgegeben. Wenn Sie alle 4 Graphen auf einer Seite sehen wollen, k\u00f6nnen Sie mit par(mfrow=c(2,2))<\/em> die Anzeige des Plot-Fensters auf vier Grafiken einstellen (2 nebeneinander, 2 \u00fcbereinander). Dies k\u00f6nnen Sie \u00fcber dev.off()<\/em> wieder zur\u00fccksetzen.\r\n
      \r\n
      par<\/span>(mfrow=<\/span>c<\/span>(2<\/span>,2<\/span>)) <\/span>\r\nplot<\/span>(lm1)<\/span><\/code><\/pre>\r\n<\/div>\r\n\r\n\r\nErkl\u00e4rung der Plots:\r\n- Residuals vs.\u00a0Fitted: Testet Voraussetzung 1 - Die Werte sollen unsystematisch verteilt und die rote (Lowess-Linie) m\u00f6glichst parallel zur x-Achse verlaufen\r\n- Normal-Q-Q: Testet Voraussetzung 2 - Normalverteilte Residuen sollten relativ nah auf der Diagonalen liegen\r\n- Scale-Location-Diagram: Testet Voraussetzung 3 - Homoskedastizit\u00e4t ist gegeben bei unsystematischer Verteilung der Residuen. Insbesondere sollten wir hier darauf achten, dass die Residuen nicht \u201ctrichterartig\u201d in die eine oder andere Richtung zunehmen.\r\n- Residuals vs.\u00a0Leverage: Testet Voraussetzung 4 - Diese Darstellung zeigt uns die Ausreiser, besonders kritisch sind dabei alle Werte, die ausserhalb von Cooks Distance liegen (gepunktete Linie). Die Ziffern neben den Punkten sind die Zeilennummern in den Daten. Wir sollten uns also die angezeigte Zeilennummer 4 in den Daten nochmal ansehen und den Wert ggf. aussschlie\u00dfen.\r\n\r\nIn diesem Video zeige ich, wie das in R funktioniert:\r\n
      \r\n