So, dann herzlich willkommen zurück aus der Pause.
Wir sind immer noch beim Thema Regression. Wir haben über
das Prinzip der Korrelation gesprochen. Wir haben über das Prinzip der Regression gesprochen.
Ich habe Ihnen heute gezeigt, wie man diese Regressionsgrade eigentlich berechnet.
Wir haben uns zum Schluss jetzt über die Vorhersagekraft des Regressionsmodells unterhalten.
Also wenn man es ein bisschen landläufig ausdrücken will,
haben wir über die Frage gesprochen,
wie viel Prozent der Streuung in einer Variablen,
die wir sehen, können wir denn durch unser Modell erklären?
Und dieses Streuungsprinzip, das man in der Regressionsgrad Analyse sehr schön ja auch grafisch darstellen kann.
Dieses Steuerungsprinzip werden wir bei anderen Verfahren auch noch wiederfinden.
Und jetzt müssen wir uns der Frage zuwenden,
welche Bedingungen müssen unsere Daten denn eigentlich erfüllen,
damit wir überhaupt eine Regressionsanalyse mit diesen Daten rechnen können.
Und wie sie an dieser Folie sehen können, sind das
eine ganze Menge Bedingungen, die wir uns anschauen müssen.
Also das Verfahren heißt lineare Regressionen. Dementsprechend ist das Erste,
worum wir uns kümmern müssen, ob unsere Daten dann überhaupt
einen linearen Zusammenhang haben und wir werden sehen, wie das funktioniert.
Dann haben wir über diese Residion gesprochen, also dieses E2,
das was übrig bleibt in unserem Erklärungsmodell und diesen Residion-Plot oder Diese Residuren können wir,
wenn wir sie grafisch darstellen, als Problemanzeiger benutzen, für ein Problem,
das wir Homos Gedastizität oder Heteros Gedastizität nennen und wir können sie auch als Linearitätsanzeiger benutzen,
dazu auch gleich.
Wir bleiben weiter bei den Residuren. Diese Residuren müssen,
wenn man sie als einzelne Variante darstellt, normal verteilt sein,
auch dazu später. Und dann kommen noch zwei Punkte,
die wir aber in der heutigen Sitzung gar nicht mehr besprechen werden,
die auf die nächste Woche dann vertagt werden,
nämlich die Frage der Autokorrelation der Residuren.
Da geht es um Fälle, die in einem substanziellen Sinne
zeitlich oder räumlich benachbart sind und dann dürfen bestimmte Dinge zwischen diesen Fällen nicht passieren.
Und ganz zum Schluss kümmern wir uns um die Frage
sogenannter Ausreißer und einflussreicher Fälle. Das ist etwas,
das haben wir im Kontext der Boxplots schon mal als Begriffe besprochen.
Das taucht dann erneut wieder auf
Also, linearer Zusammenhang. Das ist unsere neue Datenwolke.
Hier jetzt einfach nur als X und als Y. Ich habe denen keine inhaltliche Bedeutung beigegeben und sie sehen,
wir haben so eine Datenwolke,
die sich irgendwie im Raum verteilt und wir können diese Datenwolke rechts und links mit einigermaßen geraden Linien begrenzen,
würden also sagen, ja,
unsere Variable hat oder unsere Variablen haben eine gewisse Streuung.
Unsere Regressionsanalyse wird diese Streuung auch nicht zu 100 Prozent erklären,
weil die Punkte nicht auf einer Linie liegen, aber sie bilden einen linearen Zusammenhang.
Sie erstrecken sich entlang einer Linie im Raum. Vielleicht wird auf der nächsten Folie deutlicher,
was ich meine oder was das Problem sein könnte,
wenn sie sich das jetzt hier anschauen,
dann sehen sie, das, was wir hier haben,
ist mitnichten ein linearer Zusammenhang, sondern es ist ein quadratischer Zusammenhang.
Also eine Kurve, die die Punkte wirklich einigermaßen gut annähert,
ist eine quadratische Kurve, so wie sie es hier eingezeichnet sehen.
Das Problem ist jetzt,
wenn sie diese Daten in den Rechner stecken und zum Beispiel Starter sagen,
rechne mir eine Regressionsanalyse, dann rechnet Starter ihnen einen Regressionskoeffizienten aus,
der ist nur gemessen an dem, was die Daten inhaltlich darstellen,
überhaupt nicht angemessen, um diese Daten abzubilden.
Und deswegen ist es ein wichtiger Punkt,
dass wir uns anschauen müssen,
steckt hinter unseren Daten ein linearer Zusammenhang oder steckt da möglicherweise ein Kurvelliniearer-Zusammenhang dahinter,
denn dann müssen wir unsere Regressionsgleichung entsprechend anpassen oder anpassen oder möglicherweise sogar nach komplett anderen Verfahren suchen.
Also lineare Daten wie in diesem Bild wunderbar. Dafür ist
das Verfahren gemacht, wenn die Daten keinen linearen Zusammenhang bilden,
dann müssen wir da
entsprechend reagieren
Die wir da reagieren, das werden wir in der gesamten Vorlesungsreihe nicht besprechen,
sondern wir besprechen nur, wie sie bemerken können, dass sie ein Problem haben.
Ich hatte eingangs gesagt, eines meiner Ziele ist,
dass sie erkennen, wenn sie mit ihren eigenen Mitteln nicht weiterkommen,
dass es hier genauso eine Stelle, wenn sie mit den Diagnostiken,
die wir uns gleich anschauen, nicht weiterkommen, dann,
und das ist hier so ein Punkt, dann ist es Zeit, den Spezialisten zu fragen.
Und natürlich, insbesondere, wenn sie nur zwei Variablen haben,
ist die erste Möglichkeit immer zu sagen,
ich mache einfach so einen Sketterplot zwischen meiner Y und meiner X-Variable und dann sehe ich ja schon,
ob die Punkte sich linear oder räumlich oder nicht linear im Raum verteilen,
wenn sie allerdings zurückdenken, an das Beispiel aus der letzten Woche,
wo man auch nicht genau gesehen hat,
ist da ein Zusammenhang drin, nur dass da keiner drin,
sind natürlich auch durchaus Konstellationen denkbar,
wo dann die reine optische Inspektion uns auch nicht mehr weiterhilft.
Es kann noch schlimmer kommen als quadratischer Zusammenhang. Hier haben wir
einen kubischen Zusammenhang und auch hier gibt es wieder eine kubische Funktion jetzt,
die also sich dann relativ gut an die Datenpunkte annähert und eine lineare Funktion,
die das nicht ganz so gut tut.
Aufgrund der Eigenschaft der kubischen Funktionen,
dass sie letzten Endes auch von links unten nach rechts oben geht,
haben wir natürlich trotzdem eine viel bessere Annäherung der linearen Funktionen an diese Punktwolle.
Wolke gleichwohl
Das, was wir hier besprechen, heißt lineare Regressionen und dementsprechend müssen wir also
mit solchen Punktwolken vorsichtig sein, beziehungsweise entsprechende Anpassungen vornehmen.
Also das erste, was wir prüfen, wenn wir uns fragen,
ist unsere Regressionsanalyse anwendbar auf die Daten, die vorliegen?
Haben wir es überhaupt mit einem linearen Zusammenhang zwischen unseren Variablen zu tun?
Damit kommen wir zum Residion-Plot als Problemanzeiger und wir sprechen jetzt
über Konzept der Homusketastizität beziehungsweise Heterosketastizität und schauen auch noch mal,
wie wir mit dem Le Residion-Plot etwas über Linearität feststellen können.
Was ist also ein Residuren-Plot? Wir hatten vorhin an der
Tafel diese unterschiedlichen Pfeile, die Grundvarianz, die Gesamtvarianz,
also die Differenz der einzelnen Datenpunkte auf den Y-Mittelwert.
Und wir hatten diese kurzen Pfeile,
die von der Regressionsgraden zu den eigentlichen Datenpunkten gehen.
Und das sind unsere Residuen, die Restvarianz.
Das, was unser Modell nicht erklären kann.
Und mit diesen Residuen können wir allerlei anfangen,
um festzustellen, ob wir die Regressionsgrade überhaupt die Regressionsanalyse,
Entschuldigung,
überhaupt anwenden dürfen
Was Sie hier jetzt sehen, ist also ein Diagramm,
in dem genau diese Abstände der von der Regressionsgraden auf die Datenpunkte abgebildet sind.
Also genau diese Residion. Das heißt, null in diesem
Diagramm bedeutet unser Datenpunkt, liegt genau auf der Regressionsgraden,
Werte größer null bedeuten, der Punkt liegt oberhalb der Regressionsgradenwerte,
kleiner null bedeutender Punkt liegt unterhalb der Regressionsgraden. Und das
tragen wir also in dieses Residion-Diagramm und von diesem Residion-Diagramm wollen wir,
dass es in einer ganz bestimmten Weise aussieht,
nämlich es sieht idealerweise aus wie so ein klassischer American Football,
also so eine elliptische Form hat das Ganze.
Und wenn das Residio und Diagramm so aussieht,
dann sagen wir, wir haben damit eigentlich keine Probleme.
Sie sehen jetzt hier noch zwei rote Linien,
die markieren den Bereich jenseits dessen, dann extreme Fälle und Ausreißer liegen.
Die werden an bestimmten Stellen, darauf kommen wir dann
später noch mal zu sprechen, auch noch bedeutsam.
In diesem Beispiel haben wir solche einflussreichen extremen Fälle nicht,
sondern einfach nur schon mal angezeigt, dass es da möglicherweise auch noch Probleme geben kann.
Also was wollen wir jetzt in diesem Residio und Diagramm wirklich sehen?
Das sieht man jetzt in dieser Darstellung.
Und zwar sind es zwei Dinge, nämlich einerseits hätte Ruske Dastizität
Und andererseits Bias. Was meinen wir mit Teteruskedastizität und was
meinen wir mit Bias? Bias ist schnell erklärt. Das,
was wir vorhin besprochen haben,
wenn die Daten einen nicht linearen Zusammenhang haben,
dann nennen wir das Bias, also unser Modell hat sozusagen ein Vorurteil.
Es bildet die Daten falsch ab. Hätte Ruskedas Skedastizität bedeutet,
dass die Größe unserer Residuen nicht gleichmäßig ist über den ganzen Merkmalsraum.
Und beides ist problematisch. Aber lassen Sie uns die
einzelnen Beispiele hier durchgehen. Wir haben zunächst ein Residuen-Diagramm,
das genauso aussieht, wie es aussehen soll.
Also die Residuen sind gleichmäßig über den Merkmalsraum verteilt
Also dieses Diagramm ist sozusagen homosgedästig. Die Streuung der Residuren über
den Merkmalsraum ist überall gleich groß. Und es ist anbeißt,
also es ist keine Form irgendeiner Art da drin zu erkennen.
Jetzt kommen wir zum ersten Beispiel eines abweichenden Residurendiagramms.
Wenn ihr Residurendiagramm so aussieht, wie wir das hier haben,
dann haben wir ein, sowohl ein Bias da drin,
also offensichtlich kein linearer Zusammenhang in unseren Daten und es ist aber gleichzeitig trotzdem homoskelastisch.
Also die Streuung ist überall gleich, das sehen sie ja,
die Breite der Verteilung dieser Wolke ist identisch,
aber die Wolke liegt schräg im Raum und das darf sie in keinem Falle tun.
Wir haben ein weiteres Beispiel von Bias,
also auch hier sehen sie ganz klar die U-Form,
das heißt, da liegt irgendein Zusammenhang höherer Ordnung davor,
dahinter, das ist quadratisch oder kubisch oder was auch immer.
Wir haben trotzdem eine gleiche Streuung, also die Daten sind immer noch homoskelastisch,
weil sie sehen, die Wolke ist überall gleich breit,
aber sie liegt eben irgendwie komisch im Raum rum.
Jetzt kommen wir zu einem klassischen Beispiel für heteroskedastische Daten.
Also dieses Residon-Diagramm deutet kein Bias an. Also wir haben schon einen linearen Zusammenhang,
denn die Wolke liegt sehr symmetrisch um die, um die Nulllinie herum.
Aber sie hat in diesem Symmetrischsein eine Form. Und das
soll sie auf keinen Fall haben. Denn diese Form bedeutet,
dass in einem Bereich unserer Regressionsgraden die Punkte sehr dicht,
um die Regressionsgrade herumliegen und in einem anderen Bereich liegen die Punkte sehr weit gestreut,
um die Regressionsgrade.
Und das erzeugt ein Problem, dessen genaue Spezifikation nicht
ihnen erst in zwei, drei Wochen erklären kann.
Aber es bedeutet auf jeden Fall, dass bestimmte Elemente unseres Rechenmodells,
unsere Schätzmodells so nicht funktionieren,
wie wir das gerne hätten.
Gehen wir noch
einen Schritt weiter
Also hier ist jetzt sozusagen alle Hölle losgebrochen. Dieses Diagramm zeigt,
einen Zusammenhang, der sowohl biased als auch heteroskedastisch ist.
Also es ist kein eindeutig linearer Zusammenhang und die Streuung ist auch noch unterschiedlich.
Und das wird hier dann in gewisser Weise noch getoppt,
weil hier also auch noch eine klare Kurvilinearität in das Ganze reinkommt.
Also zurück zum ersten Beispiel, wenn sie eine Regressionsanalyse rechnen, müssen sie diese Residoren ausrechnen. Sie müssen diese Residoren in so eine grafische Form bringen und wollen sehen,
dass ihr Sido ein Diagramm so aussieht wie im Beispiel 1 und nicht wie in den Beispielen B,
C, D, E und F,
weil dann irgendetwas mit ihren Daten nicht richtig ist,
wenn ihre Sido ein Diagramm so aussieht wie in B bis F,
dann ist allerdings definitiv ein Punkt gekommen,
wo sie sagen müssen, okay,
auf der Basis zumindest des Wissens aus MM2 komme ich hier nicht weiter,
also suche ich mir jemanden,
der was versteht oder ich suche mir ein gutes YouTube-Video oder ein gutes Lehrbuch und versuche rauszukriegen,
was ich mit diesen Daten machen kann.
Auf alle Fälle kann ich nicht einfach so
eine Regressionsanalyse rechnen
Schauen wir uns noch einmal an, wie das Ganze zusammenhängt und was möglicherweise in Daten alles so drinstecken kann.
Also hier haben wir einen Sketter-Plot und wenn sie denen sich so anschauen,
würden sie sagen, ach Mensch, wunderbar,
wir haben eine schön geformte Punktwolke,
da scheinen so kleine Muster drin zu sein,
aber macht nichts, ziemlich klarer Linie, Ara Zusammenhang.
Also schöne Daten. Wenn Sie auf diese Daten den Residuen-Plot bilden,
dann kommt das heraus. Natürlich sind das keine Daten,
die irgendwo in der Realität beobachtet wurden, das sind Daten,
die extra für diesen Zweck gebaut wurden,
aus einem deutlich linear aussehenden Zusammenhang im Sketterplot plötzlich einen Fisch mit Luftblasen im Wasser zu haben,
zeigt aber einmal sehr schön,
was sozusagen in Daten alles an Lustigem drinne stecken kann.
Und wenn sie sowas in ihrem Residoren-Plot finden,
dann wissen sie definitiv, dass etwas mit ihren Daten nicht richtig ist.
Ich will Ihnen an diesem Beispiel aber noch einmal zeigen,
wie wir eigentlich vom Residoren-Plot vom Sketterplot zu diesem Residoren-Plot kommen.
Im Prinzip machen wir nichts weiter. Ich hatte das eben schon einmal gesagt,
als dass wir den Sketterplot so lange drehen, bis das,
was die Regressionsgrade im Sketterplot ist, in der waagerechten liegt,
also quasi jetzt unsere X-Achse darstellt.
Und dann wird auf diese X-Achse jetzt der Abstand der einzelnen Datenpunkte auf diese Regressionsgrade dargestellt.
Im Prinzip ist das schon das richtige Diagramm, damit wir das sehen,
blase ich das jetzt aber gleich noch einmal ein bisschen auf.
Also wir haben sozusagen das Koordinatensystem um ein paar Grad gedreht,
sodass die Regressionsgrade genau auf der X-Achse liegt.
Und das Ganze ziehen wir jetzt noch ein bisschen auseinander.
Und das ist letzten Endes genau das, was in unserem Residion-Diagramm drinsteckt.
Also einfach ein genauerer Blick auf die Differenzen von unseren tatsächlich beobachteten Datenpunkten,
auf die Datenpunkte, die das Regressionsmodell vorhersagen würde.
Wir bleiben immer noch bei den Residuen. Die Residuen sollen
nicht nur homoskedastisch sein, also keine auffälligen Streuungsmuster haben,
sondern die Residuen sollen auch normal verteilt sein.
Auch auch das ist wiederum wichtig im Sinne eines Konzeptes,
das wir erst in zwei, drei Wochen besprechen.
Trotzdem gehen wir jetzt schon mal durch diese Analytik durch.
Wenn wir jetzt hier sagen, Residuen sollen normal verteilt sein,
dann tragen wir die Residuen nicht mehr wie vorher über der X-Variable ab,
sondern wir machen jetzt eine Uni-Variante-Darstellung der Residuen,
also quasi ein Histagramm.
Das ist das Histagramm
Der Residuen aus unseren Bildungsdaten. Normal verteilt haben sie
wahrscheinlich alle irgendwann mal in der Schule gelernt.
Diese gaussche Normalverteilungskurve ist das hier normal verteilt. Keine Ahnung.
Aber das ist sozusagen das, wonach wir hier schauen.
Sind unsere Residuen normal verteilt, weil das eine Eigenschaft ist,
die auch für bestimmte Elemente unseres Regressionsverfahrens wichtig ist.
Um prüfen zu können, ob gerade solche Darstellungen,
die auf geringen Fallzahlen beruhen, ob da Normalverteilungen drin ist,
gibt es das sogenannte Konzept der Currnal Density,
diese Currnal Density schätzt einfach wie diese Verteilung aussehen würde,
wenn wir noch mehr Datenpunkte hätten.
Und auf dieses Histogramm würde sozusagen diese grüne Linie als Colonel
Dencity draufgepackt werden. Und jetzt packen wir dazu in Rot
mal eine ganz normale Normalverteilung und sehen, ah ja,
diese Colonel Dencity passt einigermaßen zu dieser berechneten Normalverteilung.
Also wahrscheinlich können wir mit diesen Residuen vor dem Hintergrund des Kriteriums Normalverteilungsannahme ganz gut leben.
So schwierig machen wir uns das aber im Alltag nicht,
sondern es gibt eine Form der Darstellung,
mit der wir sehr einfach sehen können,
ob unsere Residuen die Normalverteilungsannahme erfüllen.
Und das ist das sogenannte
Quantil- oder QQ-Plot
Was passiert hier? Auch hier werden die Residuren wieder,
das sind die kleinen schwarzen Punkte, in einem Diagramm abgetragen.
Und die Grundidee ist zu sagen, über Quantile hatten wir schon gesprochen,
wenn die Residuren normal verteilt sind, dann müssen in einem
bestimmten Quantil der Streuung dieser Residuren eine bestimmte Menge an Residuren liegen.
Und wenn die da sind, wo sie sind,
dann müssen sie im Prinzip genau auf dieser schwarzen Linie liegen,
die einmal, wenn sie da sind, wo sie sein sollen,
Entschuldigung, dann müssen sie genau auf dieser schwarzen Linie liegen,
die einmal von links unten nach rechts oben geht.
Das ist das Schöne an diesem Diagramm. Ich muss gar nicht
Viel Wissen darüber, wie es entsteht. Ich kann einfach wissen,
okay, die Residionen werden in diesem Diagramm abgetragen.
Es ist gut, wenn die Punkte dicht an dieser schwarzen Linie liegen.
Es ist schlecht, wenn sie weiter weg von dieser schwarzen Linie liegen.
Und da gucken wir uns jetzt nochmal ein paar Muster an.
Also oberste Zeile haben wir Daten, bei denen die Residuren
tatsächlich normal verteilt sind. Und wir sehen dann neben den Residuren-Plot,
wo eben diese Residuren genau auf dieser diagonalen in dem Diagramm
nach oben klettern
Ganz wichtiger Punkt in dieser ersten Darstellung steht Normaly Distributed Data.
Die Frage ist nicht, ob unsere X oder unsere Y-Variable normal verteilt ist.
Die allermeisten Variablen sind als Variablen nicht normal verteilt.
Nehmen Sie das Lebensalter. Das ist natürlich im Leben nicht normal verteilt,
sondern beim jungen Lebensalter haben wir ganz viele Leute und je
älter die werden, desto weniger werden es.
Nichtsdestotrotz können wir das Alter als erklärende Variable benutzen.
Nehmen Sie Einkommen etc. etc. Wenn hier steht Normaly Distributed Data,
dann ist immer gemeint, die Fehler sind normal verteilt.
Also die Residuen sind normal verteilt. Das ist das Einzige
, was uns interessiert. Sie können sehr wohl gleichverteilte,
eine gleichverteilte X, eine gleichverteilte Y-Variable haben,
rein in die Regressionsanalyse, diese Diagnostiken durchgeführt,
wenn die alle gut aussehen, alles gut.
Also nicht die Daten als solche müssen normal verteilt sein,
sondern die Residuen müssen normal verteilt sein.
Und ob die normal verteilt sind, das prüfen wir auf diese Weise.
Also erste Zeile, die Residuen sind normal verteilt.
Hier haben wir auch so viele, dass das Histogramm das ordentlich abbildet.
Deswegen keine Colonel Dancity draufgepackt, sondern einfach die Normalverteilung draufgepackt.
Wir sehen das und rechts
der QQQ-Plot
Die Daten gehen wunderbar auf der Linie langt, alles fein.
Zweite Datenzeile. Da haben wir Daten, die zu stark konzentriert
in der Mitte sind. Also wir haben keine Normalverteilung,
sondern es liegen Mehrwerte, als in einer Normalverteilung typisch wären
in der Mitte der Verteilung und zu wenige Außen.
Und dann würden wir zu einem QQQ-Plot kommen,
wie er da dann auf der rechten Seite zu sehen ist.
Also in der Mitte gehen die Punkte tatsächlich auf unserer Diagonalen lang,
aber am Anfang wurden am Ende streuen sie dort weit weg
oder weichen sie stark davon ab.
Und das ist etwas,
das wir dann nicht haben wollen oder wo wir wiederum dann
sagen müssen, okay,
ich muss
einen Spezialisten fragen
Letzte Zeile haben wir sehr schiefe Daten.
Also links schiefe Daten und sie sehen dann auch hier,
wie der QQ-Plot wiederum von der Linie abweicht.
Also Beispiel erste Zeile, so soll es aussehen.
Kleine Abweichungen von diesem genauen Langwandern auf der Linie sind natürlich erlaubt.
Aber solche klaren und eindeutigen Muster,
wie wir sie dann in der zweiten und dritten Zeile haben,
die gehen auf alle Fälle nicht.
Da heißt es halt, mit dieser Regressionsanalyse kann ich so nicht weitermachen.
Das führt zu unsauberen Ergebnissen. Hier nochmal in etwas anderer
Darstellung, sodass man die einzelnen Punkte wirklich deutlich erkennt.
Also Beispiel A, Würde
Zeigen, okay, diese Daten sind um und bei normal verteilt.
Sie sehen, die Punkte sind nicht genau auf der Linie,
aber sie kuscheln sich relativ dicht an die Linie an.
Und dann kommen eben eine Reihe von Mustern,
links schief im Beispiel B, also diese Kurve,
die sie da sehen, rechts schief im Beispiel C.
Und dann Thintales und Ficktails, also einmal in der Mitte
gestaucht und einmal zu hoch in der Mitte und dann im Beispiel Sicktails,
also ist die Verteilung der Residion in der Mitte zu flach.
Dafür liegen an den Rändern zu viele Werte. All das sind also Beispiele,
wo wir sagen, also B bis E sind Beispiele,
wo wir sagen, mit diesen Daten können wir so nicht arbeiten,
da haben wir ein Problem, da müssen wir jemanden fragen,
der uns noch genauer sagen kann, wie wir weitermachen sollen.
Und jemanden fragen kann natürlich immer auch heißen, YouTube oder Lehrbuch,
es muss nicht immer eine Person sein, wenn sie denken,
sie schaffen das mit den entsprechenden Hilfen auch selbst.
Damit bleiben uns zwei weitere Dinge zu prüfen oder zwei Dinge,
die zu prüfen sind, vorzustellen. Das eine ist die Autokorrelation,
dazu werde ich als nächstes kommen und das letzte ist nicht im engeren Sinne eine Anwendungsvoraussetzung,
sondern es ist etwas, das wir prüfen müssen,
um die richtigen Schlüsse aus der Regressionsanalyse zu ziehen,
aber wir tun es im Rahmen der sogenannten Diagnostik,
wie ich eingangs gesagt hatte.
Sprechen wir also zunächst über das Problem der Autokorrelation.
Worum geht es bei Autokorrelationen überhaupt? Oder wann ist diese Frage zu stellen?
Nicht in allen Datensätzen ist die Frage von Autokorrelationen wirklich relevant.
Über Autokorrelationen müssen wir überhaupt nur nachdenken, wenn wir Daten haben,
in denen Fälle in einem inhaltlichen Sinne benachbart sein können.
Also wenn wir zum Beispiel Zeitreihendaten haben und wir haben
benachbarte Zeitpunkte oder wir haben Daten, räumliche Daten,
bei denen wir wissen, dass die Daten generierenden Punkte,
also zum Beispiel die untersuchten Personen,
tatsächlich eine definierte räumliche Nähe zueinander haben
Und beim Problem der Autokorrelation geht es dann nämlich genau um die Frage,
ob solche Art benachbarten Datenpunkte in einer systematischen Weise gemeinsam vom Mittelwert abweichen.
Also ob frühere Zeitpunkte zum Beispiel grundsätzlich unter dem Mittelwert liegen,
ob spätere Zeitpunkte über dem Mittelwert liegen,
ob Menschen in einer Region grundsätzlich unterdurchschnittlich sind und in einer anderen Region grundsätzlich überdurchschnittlich.
Dann haben wir Autokorrelationen zwischen den Daten.
Dann haben wir Autokorrelationen zwischen den Residuren. Das ist das,
was sie hier auch im Diagramm sehen können.
Also solche Autokorrelationsmuster. Und das hat dann Einfluss darauf,
wie genau oder wie richtig wir unseren Regressionskoeffizienten schätzen
Auch hier, wenn sie also anhand der gleich einzuführenden Statistik feststellen,
dass in ihren Daten Autokorrelationen vorliegt, sind wir zunächst mit den Mitteln,
die wir innerhalb von Methoden 2 kennenlernen können.
Am Ende unserer Kunst und müssen dann weiter über diesen Kurs hinausschauen,
aber zumindest sollten wir in der Lage sein,
zu prüfen, ob dieses Problem in unseren Daten vorliegt,
damit wir dann wissen,
ob wir mit den Daten so rechnen können oder ob wir mit den Daten nicht so rechnen können.
Um Autokorrelationen festzustellen,
gibt es die sogenannte Derban Watson-Statistik
Ich habe Ihnen wieder die Formel mitgebracht und Sie sehen, diese Formel besteht eigentlich nur aus
Es. Also sie besteht aus den Residuen, aus den Fehlern, die in unseren Daten noch drin sind. Und was Sie über den Bruchstrich sehen,
et-e-e-e-e-e-eins, dieser Laufindex-T ist jetzt nicht mehr unser E,
sondern dieser Index steht jetzt für einen geordneten Index,
der eben genau in der Zeit,
davon kommt hier das T wie Time oder auch im Raum,
die Fälle sortiert und mit T-1 ist dann eben gemeint,
dass immer mit dem zeitlich oder räumlich vorgelagerten Fall verglichen wird und was dann über den Bruchstrich passiert,
ist eben, dass ich sehen kann,
die Residuen benachbarte Fälle tatsächlich ähnlich hoch sind oder ob die Residuen benachbarter Fälle,
was dann eben für fehlende Autokorrelation sprechen würde,
wenig miteinander zu tun haben.
Und natürlich muss das wie immer gegen etwas standardisiert werden und
standardisiert wird hier gegen die Summe aller Residuen oder aller quadreten
Residuren, die in unserem Datensatz enthalten sind.
Und diese D-Statistik müssen sie nicht selber ausrechnen, wenn,
dann werde ich in Regressionsergebnissen ihnen diese D-Statistik mitliefern
Und was sie dann aber wissen müssen, ist,
das, was in dieser Tabelle unten steht,
dass erstens die zwischen 0 und 4 gebunden ist,
das liegt einfach an der Art und Weise, wie der Index konstruiert wurde.
Und dass es dann bestimmte Bereiche gibt, wo sie sagen können,
okay, hier liegt keine Autokorrelation vor.
Auf alle Fälle ist es die Mitte dieser Verteilung.
Und dann hängt es ein wenig ab von der Anzahl der
Fälle und auch der Anzahl der erklärenden Variablen.
Aber als Daumenregel kann man diese Tabelle durchaus mitnehmen.
Und dann würden wir sagen,
also wenn dieses berechnete De zwischen 1,8 und 2,2 liegt,
dann können wir sehr sicher sein,
dass wir keine Autokorrelation haben
Und nochmal, es lohnt sich überhaupt nur auf Autokarelation zu prüfen,
wenn sie wissen, dass in einem inhaltlichen Sinne in
ihren Daten räumliche oder zeitliche Nähe vorhanden ist.
Sonst wüssten sie nämlich auch gar nicht,
wie sie das Tee und Tee minus eins konstruieren sollen.
Wenn sie einfach 3000 Befragte aus unterschiedlichsten Ecken der Bundesrepublik haben,
dann haben sie diese räumliche Nachbarschaft zum Beispiel nicht.
Und dann brauchen sie auch gar nicht erst den Derbyn Watson-Koeffizienten,
die Derbyn Watson-Statistik berechnen, dann dürfen sie sie eigentlich gar nicht berechnen.
Aber wenn sie sie berechnen können,
dann ist also wenn sie Nachbarschaften haben in ihren Daten,
dann würde im Großen und Ganzen eine Derban Watsons-Statistik zwischen 1,8 und 2,2 sagen.
Alles gut, es gibt hier keine nennenswerte Autokorrelation,
wenn diese Statistik im Bereich von 1,7 bis 1,8 oder 2,2 bis 2,3 liegt,
dann ist es ein bisschen uneindeutig.
Und wenn sie dann außerhalb dessen liegt,
also kleiner als 1,7 bis zur Null oder größer als 2,3 bis zur 4,
dann gibt es auf alle Fälle ein Autokorrelationsproblem und dann ist
auf alle Fälle die Zeit nach weiteren Informationen zu suchen,
wie ich damit jetzt umgehen kann
Soweit die Anwendungsvoraussetzungen im engeren Sinne, jetzt noch zur Prüfung von Ausreißern und einflussreichen Fällen.
Auch diese haben einen erheblichen Einfluss auf das, was bei der Regressionsanalyse passiert.
Anders als bei der Verletzung der meisten bisher geprüften Annahmen kann man hier aber erstens nicht von der Prüfung von der Verletzung von Annahmen sprechen,
also Verletzung der Linearitätsannahme zum Beispiel,
Verletzung der Homosketastizitätsannahme,
sondern hier geht es tatsächlich darum,
einzelne Fälle zu identifizieren,
die möglicherweise Einfluss auf unsere Regressionsanalyse haben und hierfür haben wir dann auch schon mit diesem Kurs ein Mittel bereit,
aber zunächst will ich ihnen erläutern,
worin das Problem eigentlich besteht oder wonach wir eigentlich fragen
Hier sehen Sie ein Residion-Diaagramm, das kennen Sie inzwischen schon,
das Residion-Diagramm enthält bei zwei und minus zwei diese Linien,
von denen ich vorhin schon gesagt hatte,
dass jenseits dieser Linien sozusagen Ausreißerfälle beobachtet werden können.
Und wir haben in diesem Diagramm zwei solche Fälle, die außerhalb der Linien liegen.
Bevor wir jetzt weitermachen, gucken wir uns einmal kurz an,
wie denn eigentlich die Verteilung als solcher aussieht.
Hier haben wir nochmal unser Streudiagramm mit dem Zusammenhang zwischen Bildung und Einkommen und gegenüber dem Diagramm,
dass sie früher aus dieser Vorlesung kennen,
sind zwei Datenpunkte hinzugekommen, nämlich einmal dieser Fall hier oben,
zwölf Bildungsjahre und 7.000 Euro Einkommen und einmal dieser Fall
hier unten 18 Bildungsjahre und 800 Euro Einkommen.
Das sind genau die beiden Fälle,
die in der vorangegangenen Folie außerhalb dieses Bereiches lagen,
den wir als den normalen Bereich ansehen,
die also im Bereich der Ausreißer oder der einflussreichen Fälle liegen.
Und ich möchte ihnen einmal zeigen, was mit der Regressionsgraden passiert,
wenn wir diese Fälle nacheinander aus der Analyse ausschließen und das tue ich genau mit dem Ziel,
um ihnen zu zeigen, warum es wichtig ist,
sich diese Ausreißer anzuschauen.
Also wenn wir im nächsten Schritt diesen Fall hier aus
der Analyse ausschließen, dann sehen Sie,
dass die Regressionsgrade ein kleines bisschen nach unten sagt.
Nicht viel
Der Regressionskoeffizienz bleibt fast unverändert, denn die Steigung der Graden bleibt fast unverändert.
Der Achsenabschnitt verschiebt sich ein kleines bisschen. Schauen wir uns an,
was passiert, wenn wir diesen Fall hier unten aus der Analyse ausschließen.
Und der Effekt wird deutlich stärker sein. Also wir nehmen
diesen Fall aus der Analyse raus und sie sehen,
dass dieser Fall ganz erheblich an der Regressionsgraden zerrt, wenn man so will.
Und sie können sich das vorstellen, wie auf einer Wippe,
wenn wir auf eine Wippe ganz am Ende sozusagen eine schwere Person setzen,
dann wird die Wippe von dieser Person sehr deutlich beeinflusst.
Also wir haben hier einen Fall und das ist genau das, weshalb wir das analysieren.
Wir haben hier einen Fall, der ganz massiv beeinflusst, was mit unserem Regressionsergebnis passiert. Und wenn wir solche Fälle haben,
dann ist es auf alle Fälle immer ein guter Grund,
sich erstens anzuschauen, welchen konkreten Einfluss hat dieser Fall,
was passiert, wenn wir den Fall nicht mit analysieren und dann im Weiteren,
sofern wir falschspezifische Informationen hinzuziehen können, herauszubekommen,
woran liegt es, dass dieser Fall so anders ist,
können wir das irgendwie erklären und können wir das in unser theoretisches Modell einbauen.
In diesem Falle Ist es vielleicht gar nicht so kompliziert,
also eine Ad-hoc-Theorie könnte lauten, okay,
es handelt sich hier um eine Person,
die nicht durchs Bildungssystem gegangen ist, um tatsächlich einen Abschluss zu erwerben,
mit dem sie dann viel Geld verdienen möchte, sondern es ist eine Person,
die einfach zur Bildung ihrer Selbst im Bildungssystem geblieben ist,
ohne die Absicht tatsächlich eine entsprechende berufliche Karriere anzustreben.
Deswegen gilt bei dieser Person dieser Zusammenhang nicht mehr.
Das wäre eine Möglichkeit und was wir dann in solchen Fällen machen,
ist zumindest in unserer Analyse ein Ergebnis mit und ein Ergebnis
ohne diesen Fall zu berichten oder ohne diese die Ergebnisse mit
massiv beeinflussenden Fälle zu berichten und im Zweifelsfalle dann auch dem Publikum zu überlassen,
seine eigenen Schlussfolgerungen zu ziehen.
Wir haben jetzt zwei Statistiken, mit denen wir relativ exakt bestimmen können,
ob wir bei einem Fall erwarten, dass er Einfluss auf die Regressionsgrade nimmt oder nicht.
Diese beiden Statistiken sind das sogenannte DFBta und die sogenannte Cox-Distance,
wie die im Einzelnen ausgerechnet werden,
werde ich ihnen im Rahmen dieser Vorlesung nicht erklären,
aber ich werde ihnen erklären, worauf sie achten müssen,
wenn diese Statistiken vor ihnen liegen und sie können sich zunächst darauf verlassen,
dass Starter R oder andere Statistikprogramme ihnen korrekte Statistiken vorliegen.
Also DFBta Ist eine Statistik, die eine Aussage darüber macht,
wie stark sich der Regressionskoeffizient in eine Analyse verändert,
wenn ein bestimmter Fall aus der Analyse ausgeschlossen ist.
Also DFBta wird für jeden einzelnen Fall berechnet und für jeden
einzelnen Fall ist dann zu prüfen, ob der Schwellwert,
der hier unter Bedenklich-Wen steht, ob der überschritten wird.
Und dieser Schwellwert wird der Erwartung nach überschritten,
wenn der FBT da größer wird,
als zweigeteilt durch die Anzahl der Fälle,
durch die Wurzel der Anzahl der Fälle, die in diese Analyse eingehen.
Also das ist der Grenzwert, nach dem wir schauen und
wir machen das gleich am praktischen Beispiel.
Und weil es so wichtig ist, die einflussreichen Fälle zu entdecken,
Nutzen wir nicht nur eine Statistik, sondern nutzen zwei.
Die zweite ist die sogenannte Cooks Distance.
Cooks Distance ist das Produkt aus der sogenannten Leverage,
mit der Leverage erfassen wir, wie außergewöhnlich der Fall auf der X-Achsen,
also in der Streuung der X-Variable ist.
Und aus der Diskrepanz, mit der Diskrepanz erfassen wir
die Außergewöhnlichkeit des Wertes in der Y-Achse.
Und erst wenn Leverage und Diskrepanz zusammenkommen,
dann gehen wir davon aus,
dass so ein Fall wirklich erheblichen Einfluss auf die Regressionsgrade nimmt
Und wenn nur eine der Komponenten da ist,
kann es ganz gut sein, dass trotz der Außergewöhnlichkeit
an einer bestimmten Stelle die Gesamtwirkung nicht so stark ist.
Und wir haben das ja eben in den Beispielen gesehen,
bei dem Fall zwölf Jahre und 7.000 Euro ist der Einfluss auf die Regressionsgrade vergleichsweise gering gewesen,
vor allem ist der Einfluss auf den Regressionskoeffizienten B1-Sägering gewesen.
Dagegen bei dem Fall, der sowohl in X als auch in Y
außergewöhnlich war, nämlich sehr viele Bildungsjahre und sehr geringes Einkommen.
Da haben wir gesehen, dass hier dann also tatsächlich ein starker Hebel entsteht.
Und wir haben für Cox Distance genauso einen Schwellwert,
wenn der Betrag von Cox Distance den Wert von vier geteilt durch N überschreitet,
dann würden wir sagen,
okay,
wir haben hier
einen problematischen Fall
Und jetzt schauen wir uns das einmal für unser konkretes Datenbeispiel an,
zunächst also die beiden Grenzwerte,
weil N gleich 13 ist der Grenzwert für DFB da,
0,55 und bei N gleich 13 ist der Grenzwert für Cooks Distance
0,31. Schauen wir zunächst mal in die Tabelle und vor allem auf diesen zwölften,
auf diesen neunten Fall, also zwölf Bildungsjahre und 7000 Euro Einkommen,
dann stellen wir fest, aha,
sowohl DFB da als auch Cooks Distance liegen unter den hier als relevant bezeichneten Werten.
Bei Cooks, Distance kommen wir einigermaßen in die Gegend
mit 0,21 und einem Schwellwert von 0,13,
aber offensichtlich ist das Ganze noch unkritisch.
Und das hat uns ja auch das Diagramm,
die Grafik eben gezeigt, die Regressionsgrade hat sich nur geringfügig verändert.
Wenn wir dagegen in den Fall 18 Jahre und 800 Euro schauen,
dann sehen wir, beide Schwellwerte sind massiv überschritten.
Wir haben einen DFB da von minus 2,48 bei einem Schwellwert
von 0,55 und wir haben eine Cooks Distance von 2,14
bei einem Schwellwert von
Und da muss man jetzt ganz klar sagen,
also hier ist wirklich Aufmerksamkeit geboten und das hat uns ja,
wie gesagt, auch die Grafik sehr genau gezeigt,
dass wir hier problematische Fälle hatten.
Deswegen habe ich das Ganze jetzt auch nochmal in die Grafik übertragen.
Also oben recht sehen Sie nochmal die Schwellwerte.
In der Mitte oben dann den Fall 12 und 7000.
Und ich habe die DFB da und gucke Distance in Grün dazu getragen,
um zu sagen, okay,
auch wenn man diesen Fall sich auf jeden Fall anschauen sollte,
scheint das hier einigermaßen in Ordnung zu sein.
Aber der Fall rechts unten, 18 Bildungsjahre,
800 Euro, Das ist ein Fall,
den man auf alle Fälle aus der Analyse ausschließen sollte,
um die Ergebnisse der beiden Analysen miteinander zu vergleichen und wo
man dann eben auch weitergehende Überlegungen anstellen sollte,
um zu prüfen.
Gehört der wirklich in diese Analyse rein oder ist das vielleicht auch theoretisch begründbar?
Ein Fall, der hier eigentlich gar nicht mehr mit
dazugehört oder der diesen Zusammenhang nicht mehr angemessen beschreibt.
Also damit müssen wir uns auf alle Fälle statistisch und inhaltlich
auseinandersetzen. Und das können sie insofern ohne fremde Hilfe,
weil sie eben ihrem Statistikprogramm einfach sagen können,
mach mal die Analyse bitte einmal mit diesem Fall und einmal
ohne diesen Fall und dann lass uns schauen,
was dabei herauskommt
Damit haben wir eigentlich alle Voraus, Anwendungsvoraussetzungen geprüft bzw. haben gelernt,
worauf wir zu achten haben und können jetzt Regressionsanalysen so durchführen und auch durchgeführte Analysen anderer so prüfen,
dass wir schauen können, ist denn hier alles den Regeln der Kunst entsprechend gemacht worden?
Diese Tabelle ist letztlich eher zum Nachlesen gedacht,
deswegen gehe ich nur noch einmal kurz durch die Punkte durch,
also wir prüfen das Kriterium der Linearität,
denn wir machen lineare Regressionen, wir prüfen,
ob die Residuen-Uni-Variat normal verteilt sind und sie sehen das zweite Kästchen-Effekt bei Verletzung,
ist noch ausgegraut,
weil wir dazu noch einige Inhalte des nächsten Themas brauchen,
ehe wir das abschließend besprechen können, wir brauchen eine konstante Streuung,
also diese Hummusketastizität, auch hier ist der Effekt der Verletzung erst richtig beschreibbar,
nachdem wir das nächste Thema behandelt haben.
Wir brauchen keine Autokorrelation, also in unseren Daten darf keine Autokorrelation vorliegen.
Warnung, diese Frage kann man überhaupt nur sinnvoll stellen,
wenn unsere Fälle in irgendeinem definierten Sinne zeitlich räumlich benachbart sind,
wenn diese Verletzung erfüllt ist, kommt es zu Schätzfehlern.
Also wir berechnen den Regressionskoeffizienten falsch, dann kommt eine ganze graue Zeile.
Das besprechen wir noch in der nächsten Woche und wir dürfen
keine einflussreichen Fälle haben oder ich sollte vorsichtiger formulieren, wir müssen prüfen,
ob es einflussreiche Fälle gibt und ob diese Fälle dann tatsächlich einen Einfluss haben.
Denn zum Beispiel nimmt der Einfluss so eines Falles wie
18 Bildungsjahre
Und nur 800 Euro Einkommen, auch massiv ab,
wenn wir eine Regressionsanalyse mit 2000 Untersuchungsobjekten haben und dann ist ein so ein abweichender Fall drin,
dann hat er allein aufgrund seiner geringen Gesamtmasse natürlich wieder viel weniger Einfluss auf den Regressionskoeffizienten.
Aber deswegen ist es eben wichtig, diese Fälle zu identifizieren
und sie dann einzeln zu prüfen oder einzeln zu prüfen,
welchen Effekt sie auf die Analyse haben. Das war's dann für heute,
ich danke Ihnen herzlich für die Aufmerksamkeit, hoffe,
dass ich die Inhalte so darstellen konnte,
dass sie auch verständlich sind und freue mich dann darauf,
am nächsten Montag ihre Fragen zu beantworten und gemeinsam mit Ihnen auch durch die Quizfragen für diese Runde zu gehen.
Bis dahin wünsche ich Ihnen alles Gute,
Ihr Kai Wishner