{"id":1774,"date":"2023-04-12T14:56:17","date_gmt":"2023-04-12T12:56:17","guid":{"rendered":"http:\/\/statistikgrundlagen.de\/ebook\/?post_type=chapter&p=1774"},"modified":"2023-04-12T21:11:23","modified_gmt":"2023-04-12T19:11:23","slug":"multiple-lineare-regression-mit-r","status":"publish","type":"chapter","link":"https:\/\/statistikgrundlagen.de\/ebook\/chapter\/multiple-lineare-regression-mit-r\/","title":{"rendered":"Multiple lineare Regression mit R"},"content":{"raw":"

Multiple lineare Regression<\/h1>\r\nEine multiple lineare Regression ist ein statistisches Verfahren, das zur Vorhersage des Wertes einer abh\u00e4ngigen Variablen (auch Kriterium genannt) auf der Grundlage der Werte einer oder mehrerer unabh\u00e4ngiger Variablen (auch Pr\u00e4diktorvariablen genannt) verwendet wird. Die allgemeine Form der Gleichung f\u00fcr eine multiple lineare Regression ist\r\n\r\nY = b0 + b1X1 + b2X2 + \u2026 + bnXn,\r\n\r\nwobei Y die abh\u00e4ngige Variable ist, X1, X2, \u2026 Xn die unabh\u00e4ngigen Variablen sind, und b0, b1, b2, \u2026 bn die Koeffizienten der Gleichung sind. Diese Koeffizienten werden mit der Methode der \u201cgew\u00f6hnlichen kleinsten Quadrate\u201d (OLS) gesch\u00e4tzt, die die Summe der quadrierten Residuen zwischen den vorhergesagten und tats\u00e4chlichen Werten der abh\u00e4ngigen Variable minimiert.\r\n
\r\n

Beispiel<\/h1>\r\nWir wollen der Frage nachgehen, ob wir die Lebenszufriedenheit aus der Zufriedenheit mit dem Studium und der Zufriedenheit mit der Partnerschaft vorhersagen k\u00f6nnen und nutzen dazu wieder den WPStudis Datensatz.\r\n\r\n<\/div>\r\n
\r\n

Daten vorbereiten<\/h1>\r\nDatensatz einlesen (Sie muessen natuerlich noch Ihren Pfad aendern)\r\n
\r\n
load<\/span>(\"WPStudis.RData\"<\/span>)<\/span><\/code><\/pre>\r\n<\/div>\r\nWir erstellen ein Subset mit den relevanten Variablen und schlie\u00dfen NAs aus:\r\n
\r\n
data_multi <-<\/span> WPStudis[c<\/span>(\"F1_Nummer\"<\/span>,\"F19_Partnerschaft\"<\/span>,\"F21_01_Zufriedenheit_Leben\"<\/span>,\"F21_02_Zufriedenheit_Studium\"<\/span>,\"F21_03_Zufriedenheit_Partnerschaft\"<\/span>)]<\/span><\/code><\/pre>\r\n<\/div>\r\nWir schlie\u00dfen wieder fehlende Werte aus, da diese auch bei der multiplen Regression zu Problemen f\u00fchren.\r\n
\r\n
data_multi <-<\/span> na.omit<\/span>(data_multi)<\/span><\/code><\/pre>\r\n<\/div>\r\n<\/div>\r\n
\r\n
Modell erstellen<\/h1>\r\nIn R k\u00f6nnen Sie mit der Funktion lm()<\/em> eine multiple lineare Regression durchf\u00fchren. Die grundlegende Syntax lautet:\r\n\r\nmodel <- lm(Y ~ X1 + X2 + \u2026 + Xn, data = your_data)\r\n\r\nHier ist Y die abh\u00e4ngige Variable (Kriterium), und X1, X2, \u2026 Xn sind die unabh\u00e4ngigen Variablen (Pr\u00e4diktoren). In unserem Fall sieht das Modell also wie folgt aus:\r\n
\r\n
lm4<-<\/span> lm<\/span>(F21_01_Zufriedenheit_Leben ~<\/span> F21_02_Zufriedenheit_Studium +<\/span> F21_03_Zufriedenheit_Partnerschaft , data=<\/span>data_multi)<\/span>\r\nsummary<\/span>(lm4)<\/span>\r\n## <\/span><\/span>\r\n## Call:<\/span><\/span>\r\n## lm(formula = F21_01_Zufriedenheit_Leben ~ F21_02_Zufriedenheit_Studium + <\/span><\/span>\r\n##     F21_03_Zufriedenheit_Partnerschaft, data = data_multi)<\/span><\/span>\r\n## <\/span><\/span>\r\n## Residuals:<\/span><\/span>\r\n##     Min      1Q  Median      3Q     Max <\/span><\/span>\r\n## -3.4732 -0.2084  0.0564  0.3647  1.3212 <\/span><\/span>\r\n## <\/span><\/span>\r\n## Coefficients:<\/span><\/span>\r\n##                                    Estimate Std. Error t value<\/span><\/span>\r\n## (Intercept)                         2.19408    0.43483   5.046<\/span><\/span>\r\n## F21_02_Zufriedenheit_Studium        0.26479    0.09763   2.712<\/span><\/span>\r\n## F21_03_Zufriedenheit_Partnerschaft  0.19104    0.07884   2.423<\/span><\/span>\r\n##                                      Pr(>|t|)    <\/span><\/span>\r\n## (Intercept)                        0.00000253 ***<\/span><\/span>\r\n## F21_02_Zufriedenheit_Studium          0.00809 ** <\/span><\/span>\r\n## F21_03_Zufriedenheit_Partnerschaft    0.01751 *  <\/span><\/span>\r\n## ---<\/span><\/span>\r\n## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1<\/span><\/span>\r\n## <\/span><\/span>\r\n## Residual standard error: 0.712 on 85 degrees of freedom<\/span><\/span>\r\n## Multiple R-squared:  0.1595, Adjusted R-squared:  0.1397 <\/span><\/span>\r\n## F-statistic: 8.063 on 2 and 85 DF,  p-value: 0.0006216<\/span><\/span><\/code><\/pre>\r\n<\/div>\r\nDas Ergebnis zeigt, dass sowohl die Zufriedenheit mit dem Studium, als auch die Zufriedenheit mit der Partnerschaft signifikante Pr\u00e4diktoren f\u00fcr die Lebenszufriedenheit sind. Beide Pr\u00e4diktoren haben einen P-Wert von < 0.05 (Spalte Pr(>|t|)).\r\n\r\nDas Modell hat eine aufgekl\u00e4rte Varianz von 0.14 (R2-Wert). Wir k\u00f6nnen mit den beiden Variablen zusammen, also rund 14 % der Varianz der Lebenszufriedenheit erkl\u00e4ren. Der Rest wird wohl durch andere Faktoren bestimmt.\r\n\r\n<\/div>\r\n
\r\n
Voraussetzungen pr\u00fcfen<\/h1>\r\nWir m\u00fcssen nat\u00fcrlich noch die Voraussetzungen f\u00fcr die multiple Regression pr\u00fcfen. Diese sind:\r\n
    \r\n \t
  1. Korrekte Spezifikation des Modells<\/li>\r\n \t
  2. Normalverteilung der Residuen<\/li>\r\n \t
  3. Homoskedastizit\u00e4t<\/li>\r\n \t
  4. Ausrei\u00dfer und einflussreiche Datenpunkte<\/li>\r\n \t
  5. Multikollinearit\u00e4t<\/li>\r\n \t
  6. Unabh\u00e4ngigkeit der Residuen<\/li>\r\n<\/ol>\r\nAuch bei multiplen Regressionen funktioniert die Diagnostik f\u00fcr die Voraussetzungen 1-4 \u00fcber die plot()<\/em> Funktion. Da dies dem Vorgehen im vorigen Kapitel entspricht, werden wir hierauf nicht mehr vertieft eingehen.\r\n
    \r\n
    par<\/span>(mfrow=<\/span>c<\/span>(2<\/span>,2<\/span>))    #4 Graphen pro Seite<\/span><\/span>\r\nplot<\/span>(lm4)<\/span><\/code><\/pre>\r\n<\/div>\r\n\r\n
    \r\n
    dev.off<\/span>() #setzt das Layout zurueck<\/span><\/span>\r\n## null device <\/span><\/span>\r\n##           1<\/span><\/span><\/code><\/pre>\r\n<\/div>\r\nVoraussetzung 5&6:\r\n\r\nTest auf Multikollinearitaet<\/strong>\r\n\r\nIn R k\u00f6nnen Sie die Funktion vif()<\/em> des Pakets car<\/em> verwenden, um auf Multikollinearit\u00e4t in einem multiplen linearen Regressionsmodell zu testen.\r\n\r\nSobald Sie Ihr Modell haben, k\u00f6nnen Sie die Funktion vif() verwenden, um den Varianzinflationsfaktor (VIF) f\u00fcr jede unabh\u00e4ngige Variable zu berechnen. Der VIF ist ein Ma\u00df daf\u00fcr, wie stark die Varianz des gesch\u00e4tzten Koeffizienten einer bestimmten unabh\u00e4ngigen Variablen aufgrund von Multikollinearit\u00e4t erh\u00f6ht ist. Ein VIF von 1 bedeutet, dass keine Multikollinearit\u00e4t vorliegt, w\u00e4hrend ein VIF gr\u00f6\u00dfer als 1 bedeutet, dass Multikollinearit\u00e4t vorliegt.\r\n\r\nWenn einer der VIF-Werte gr\u00f6\u00dfer als 5 (je nach Literatur 10) ist, deutet dies darauf hin, dass diese Variable mit anderen unabh\u00e4ngigen Variablen korreliert ist und es besser ist, diese Variable aus dem Modell zu entfernen. Wenn alle VIF-Werte kleiner als 5 sind, bedeutet dies, dass keine Multikollinearit\u00e4t im Modell vorliegt.\r\n
    \r\n
    library<\/span>(car)<\/span>\r\nvif<\/span>(lm4) <\/span>\r\n##       F21_02_Zufriedenheit_Studium <\/span><\/span>\r\n##                           1.033705 <\/span><\/span>\r\n## F21_03_Zufriedenheit_Partnerschaft <\/span><\/span>\r\n##                           1.033705<\/span><\/span><\/code><\/pre>\r\n<\/div>\r\nIn unserem Fall liegt also keine Multikollinearit\u00e4t vor. Um die Korrelation zwischen verschiedenen Variablen zu beurteilen, k\u00f6nnen wir alternativ zum VIF auch wieder auf die Streudiagramm-Matrix zur\u00fcckgreifen\r\n
    \r\n
    library<\/span>(psych)<\/span>\r\nZusammenhang <-<\/span> data.frame<\/span>(WPStudis$<\/span>F21_02_Zufriedenheit_Studium,WPStudis$<\/span>F21_03_Zufriedenheit_Partnerschaft)<\/span>\r\npairs.panels<\/span>(Zusammenhang)<\/span><\/code><\/pre>\r\n<\/div>\r\n\r\n\r\nAuch hier sehen wir, dass die beiden Pr\u00e4diktoren nur schwach korreliert sind.\r\n\r\nTest auf Unabh\u00e4ngigkeit der Residuen<\/strong>\r\n\r\nEine weitere Voraussetzung ist die Unabh\u00e4ngigkeit der Residuen. Das bedeutet, dass die Residuen (Sch\u00e4tzfehler) nicht untereinander korrelieren sollten. Dies geschieht jedoch in der Praxis meist nur dann, wenn Zeitreihen vorliegen oder es sonst einen logischen Zusammenhang der Reihenfolge der Daten gibt.\r\n\r\nUm dies zu pr\u00fcfen, nutzen wir den Durbin-Watson-Test. Der Durbin-Watson-Test ist ein statistischer Test, der dazu dient, das Vorhandensein einer seriellen Korrelation (auch Autokorrelation genannt) in den Residuen eines linearen Regressionsmodells festzustellen. Eine serielle Korrelation liegt vor, wenn die Residuen eines Modells nicht unabh\u00e4ngig voneinander sind, was zu verzerrten und ineffizienten Sch\u00e4tzungen der Parameter des Modells f\u00fchren kann.\r\n\r\nDie Durbin-Watson-Teststatistik, die mit d bezeichnet wird, liegt zwischen 0 und 4. Ein Wert von 2 zeigt an, dass es keine serielle Korrelation in den Residuen gibt, w\u00e4hrend ein Wert von weniger als 2 auf eine positive serielle Korrelation hinweist (was bedeutet, dass auf Residuen mit gr\u00f6\u00dferen Gr\u00f6\u00dfen tendenziell Residuen mit \u00e4hnlichen Gr\u00f6\u00dfen folgen), und ein Wert von mehr als 2 auf eine negative serielle Korrelation hinweist (was bedeutet, dass auf Residuen mit gr\u00f6\u00dferen Gr\u00f6\u00dfen tendenziell Residuen mit entgegengesetzten Vorzeichen folgen). Grunds\u00e4tzlich sollte der Test also nicht signifikant werden und die Pruefstatistik sollte relativ nahe an 2 liegen.\r\n\r\nIn R k\u00f6nnen Sie den Durbin-Watson-Test mit der Funktion durbinWatsonTest()<\/em> aus dem Paket car<\/em> durchf\u00fchren.\r\n
    \r\n
    durbinWatsonTest<\/span>(lm4)  <\/span>\r\n##  lag Autocorrelation D-W Statistic p-value<\/span><\/span>\r\n##    1      0.02084141      1.951871   0.796<\/span><\/span>\r\n##  Alternative hypothesis: rho != 0<\/span><\/span><\/code><\/pre>\r\n<\/div>\r\nIn diesem Fall liegt also keine Autokorrelation vor und wir k\u00f6nnen mit der Interpretation fortfahren.\r\n\r\n<\/div>\r\n
    \r\n
    Modellvergleich<\/h1>\r\nGrunds\u00e4tzlich gilt beim multiplen Regressionsmodell das Gesetz der Sparsamkeit. Das bedeutet, dass nur weiter Pr\u00e4diktoren in ein Modell aufgenommen werden sollten, wenn diese die Vorhersage des Modells auch signifikant verbessern. Um dies zu testen, kann man f\u00fcr die Aufnahme jedes Faktors einen Modellvergleich machen, um festzustellen, ob das Modell mit dem zus\u00e4tzlichen Pr\u00e4diktor eine signifikant bessere Vorhersage macht.\r\n\r\nDies k\u00f6nnen wir auch auf unser Beispiel von oben anwenden. Die Frage w\u00e4re hier zum Beispiel: Bringt das multiple Modell mit zwei Pr\u00e4diktoren eine bessere Vorhersage, als wenn ich die Lebenszufriedenheit aus der Zufriedenheit mit der Partnerschafft alleine vorhersage?\r\n\r\nWer erstellen dazu ein \u201cKonkurrenz-Modell\u201d mit nur einem Pr\u00e4diktor und nennen es \u201clm5\u201d.\r\n
    \r\n
    lm5<-<\/span> lm<\/span>(F21_01_Zufriedenheit_Leben ~<\/span> F21_03_Zufriedenheit_Partnerschaft, data=<\/span>data_multi)<\/span>\r\nsummary<\/span>(lm5)<\/span>\r\n## <\/span><\/span>\r\n## Call:<\/span><\/span>\r\n## lm(formula = F21_01_Zufriedenheit_Leben ~ F21_03_Zufriedenheit_Partnerschaft, <\/span><\/span>\r\n##     data = data_multi)<\/span><\/span>\r\n## <\/span><\/span>\r\n## Residuals:<\/span><\/span>\r\n##     Min      1Q  Median      3Q     Max <\/span><\/span>\r\n## -3.1857 -0.1857  0.0439  0.2736  1.2736 <\/span><\/span>\r\n## <\/span><\/span>\r\n## Coefficients:<\/span><\/span>\r\n##                                    Estimate Std. Error t value<\/span><\/span>\r\n## (Intercept)                         3.03747    0.31498   9.643<\/span><\/span>\r\n## F21_03_Zufriedenheit_Partnerschaft  0.22965    0.08036   2.858<\/span><\/span>\r\n##                                               Pr(>|t|)    <\/span><\/span>\r\n## (Intercept)                        0.00000000000000241 ***<\/span><\/span>\r\n## F21_03_Zufriedenheit_Partnerschaft             0.00535 ** <\/span><\/span>\r\n## ---<\/span><\/span>\r\n## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1<\/span><\/span>\r\n## <\/span><\/span>\r\n## Residual standard error: 0.7379 on 86 degrees of freedom<\/span><\/span>\r\n## Multiple R-squared:  0.08673,    Adjusted R-squared:  0.07611 <\/span><\/span>\r\n## F-statistic: 8.167 on 1 and 86 DF,  p-value: 0.00535<\/span><\/span><\/code><\/pre>\r\n<\/div>\r\nWir sehen, dass das Modell mit 2 Pr\u00e4diktoren (oben) eine h\u00f6here aufgekl\u00e4rte Varianz hat als dieses Modell (R2 0,14 vs 0,08). Da wir jedoch grunds\u00e4tzlich sparsam sein sollten bei der Aufnahme weiterer Pr\u00e4diktoren, pr\u00fcfen wir nun, ob der Zugewinn an Varianz auch statistisch signifikant ist. Hierf\u00fcr f\u00fchren wir eine hierarchische Regression mit beiden Modellen durch. Dazu k\u00f6nnen wir die anova()<\/em> Funktion nutzen, in die wir die zu vergleichenden Modelle eintragen. Der Syntax lautet dabei\r\n\r\nanova(model1, model2)\r\n\r\nDas Ergebnis F-Wert und den zugeh\u00f6rigen p-Wert f\u00fcr den Test der Nullhypothese, dass es keinen Unterschied in den Modellen gibt. Wenn der p-Wert kleiner ist als das von Ihnen gew\u00e4hlte Signifikanzniveau (z. B. 0,05), k\u00f6nnen Sie daraus schlie\u00dfen, dass ein signifikanter Unterschied zwischen den Modellen besteht.\r\n\r\nAlso in unserem Fall:\r\n
    \r\n
    anova<\/span>(lm5,lm4)<\/span>\r\n## Analysis of Variance Table<\/span><\/span>\r\n## <\/span><\/span>\r\n## Model 1: F21_01_Zufriedenheit_Leben ~ F21_03_Zufriedenheit_Partnerschaft<\/span><\/span>\r\n## Model 2: F21_01_Zufriedenheit_Leben ~ F21_02_Zufriedenheit_Studium + F21_03_Zufriedenheit_Partnerschaft<\/span><\/span>\r\n##   Res.Df    RSS Df Sum of Sq     F   Pr(>F)   <\/span><\/span>\r\n## 1     86 46.826                               <\/span><\/span>\r\n## 2     85 43.096  1    3.7296 7.356 0.008088 **<\/span><\/span>\r\n## ---<\/span><\/span>\r\n## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1<\/span><\/span><\/code><\/pre>\r\n<\/div>\r\nDie ANOVA wird signifikant und sagt uns damit, dass der Zugewinn an aufgekl\u00e4rter Varianz statistisch signifikant ist. Wir sollten daher mit dem multiplen Modell mit zwei Pr\u00e4diktoren weiter arbeiten.\r\n\r\nIn diesem Video zeige ich, wie das in R funktioniert:\r\n
    \r\n