Gut. Ja, hallo, ich mache heute die Vertretung
hier und werde die gestrige Vorlesung über Hidden Markhoff-Modelle fortführen.
Dafür nutze ich genau wie gestern auch wieder Folien,
die netterweise unter einer halbfreien Lizenz, also CC bei NC,
zur Verfügung gestellt werden.
Das freut mich und erleichtert die Arbeit und versorgt euch mit hochqualitativen Folien.
Als erstes gucken wir uns noch mal kurz an,
was wir gestern so gesehen hatten
Wir haben uns mit Filtering und Smoothing beschäftigt.
Haben gesehen, dass die jeweils eine Wahrscheinlichkeitsvererteilung für die verschiedenen
möglichen Zustände unseres halben Ms, zu jedem Zeitpunkt liefern.
Und eben jeweils punktweise. Das heißt, für jeden Zeitpunkt
kriegen wir den wahrscheinlichsten Zustand. Aber das bedeutet nicht,
dass diese punktweisen besten Zustände auch dann wirklich ein wahrscheinlicher Fahrt sind.
Und wenn wir das machen wollen, Müssen wir eben den Vithabi-Algorithmus nutzen,
den wir dann auch gleich nochmal sehen werden.
Kurz nochmal zur Wiederholung. Wir hatten hier unser Hidden Muck-off-Modell mit
drei verschiedenen Zuständen. Und wir konnten eben entweder von X1
in X2 oder zu X3 gehen und von X3 sind wir nie wieder rausgekommen.
Und wenn wir jetzt zum Beispiel folgende Beobachtung machen,
hier, dann können wir mit Filtering,
also das war einfach nur der Fowboard-Algorith, die Vorward-Berechnung durchgeführt.
Hier diese Wahrscheinlichkeitsverteilung berechnen, würden dann eben sehen,
wir würden lustig hier zwischen Zustand 2 und 3 hin und her springen,
obwohl wir eben wissen,
dass man von Zustand 3 gar nicht mehr ins Zustand 2 kommen kann.
Das heißt, der Pfad, also wenn wir das als Fahrt
interpretieren würden, hätte dieser Pfad eine Wahrscheinlichkeit von null.
Wenn wir Smoothing machen, sieht das Ganze schon besser aus.
Aber der Pfad ist immer noch nicht der wahrscheinlichste Pfad.
Was wir gleich sehen werden,
wenn wir nämlich den Wetterby-Algorithmus nutzen, das heißt an sich,
dynamische Programmierung,
wahrscheinlichsten Pfad finden
Sie es hier nochmal erklärt,
hatten wir ja aber vorher schon auch in der Suche,
dann sehen wir, dass der wahrscheinlichste Fahrt eben ist,
dass wir von eins direkt zu drei gehen und die ganze Zeit in drei bleiben.
Was man aber eben auch sehen kann, ist, dass eben der Pfad,
wenn wir mehr beobachten, sich eben auch ändern kann.
Also das heißt, wenn wir jetzt,
wenn wir zum Beispiel nur uns die ersten acht Beobachtungen angucken,
dann haben wir einen wahrscheinlichsten Pfad,
der irgendwie so aussehen würde,
das heißt,
wir würden immer nur in Zustand zwei sein,
dann haben wir eine Beobachtung mehr und
fast unser gesamter Pfad ändert sich
Weil eben der wahrscheinlichste Fahrt jetzt plötzlich ein anderer geworden ist.
Gut. Jetzt haben wir eben vorher gesehen,
wie arbeiten wir mit Mark-Off-Modellen, die wir haben?
Und um mit Hidden-Mark-Off-Modellen zu arbeiten, braucht man ja erstmal welche,
mit denen man überhaupt arbeiten kann. Das heißt,
das nächste Thema, was wir uns jetzt angucken,
ist, wie kommen wir überhaupt dahin?
Das heißt, wir wollen einen Hidden-Mark-Off-Modell haben,
oder wir haben ein Hidden-Mark-Off-Modell.
Wir haben Beobachtungen
Und wir wollen aus dem Hidden Mark-off-Modell und unseren Beobachtungen ein neues Hidden Mark-off-Modell ableiten,
mit dem wir unsere Beobachtung besser erklären können.
Das heißt, wo die Wahrscheinlichkeit von der Beobachtung,
die wir gemacht haben, steigt. Umgekehrt ist es so,
dass unser Modell eben wahrscheinlicher ist für diese Beobachtung.
Also das heißt, unser Modell erklärt unsere Beobachtung besser.
Und genau das ist es ja, was wir wollen.
Wir wollen ein Modell, das möglichst genau gut,
das erklärt, was wir beobachten.
Das heißt ja, das ist im Umkehrschluss das,
was wir nicht beobachten,
für möglichst unwahrscheinlich erklärt
Und das Problem ist nicht so einfach. Deswegen werden wir
keinen Algorithmus finden, mit dem wir jetzt ein globales Optimum finden,
sondern wir werden nur ein lokal optimales Modell finden.
Und wie ich auch schon gestern gesagt hatte, eben wenn
wir so etwas lernen wollen, brauchen wir immer Daten.
Und je komplexer das ist, was wir lernen wollen,
desto mehr Daten brauchen wir.
Und mehr Daten sind besser als weniger Daten
Sollte offensichtlich sein. Zwischendurch, nochmal, wenn ihr Fragen
habt, immer direkt Fragen. Gut, schauen wir uns
ein einfaches Beispiel an. Wir haben ein Gangster,
der irgendwie zwischen Los Angeles und New York hin und her pendelt,
zapp, zapp, zapp, zapp, zapp,
damit er nie gefunden wird.
Und wir wissen nicht, wo er ist.
Und jetzt können wir aber beobachten,
ob er vielleicht gerade in Los Angeles ist oder ob er
gerade in New York ist
Und erstmal unsere Übergangswahrscheinlichkeiten sind gleichverteilt. Das heißt,
wenn er zu einem Zeitpunkt T in Los Angeles ist,
ist er im nächsten Zeitpunkt T plus 1 mit 50 Wahrscheinlichkeit
weiterhin da und mit 50 Prozent Wahrscheinlichkeit hat er gewechselt.
Das nehmen wir erstmal so an. Und wir können jetzt
eben Beobachtungen machen und wir können eben entweder die Beobachtung machen,
dass er in Los Angeles ist oder dass er in
New York ist oder wir können beobachten,
dass wir ihn nicht gesehen haben
Vielleicht, weil die Stadt zu groß war oder so.
Und wir nehmen jetzt einfach mal an, dass,
wenn er wirklich im Los Angeles ist,
die Wahrscheinlichkeit 40 Prozent ist, dass wir auch beobachten,
dass er da ist, dass wir mit zehn Prozent Wahrscheinlichkeit fälschlicherweise beobachten,
dass er in New York ist und mit 50 Prozent Wahrscheinlichkeit haben wir ihn nicht gesehen.
Und ähnliches für New York, nur dass eben die Wahrscheinlichkeit dafür,
dass wir ihn eben in New York beobachten, höher ist.
Gut, das sind jetzt erstmal unsere Annahmen.
Das heißt nicht, dass das Modell richtig ist,
das nehmen wir jetzt erstmal so an,
als unser erstes Modell
Und was wir jetzt machen, wir beobachten ihn.
Das heißt, wir gucken, wo war zum Zeitpunkt 1?
Wo war zum Zeitpunkt 2? Wo war zum Zeitpunkt 3
? Und kriegen damit immer Ergebnisse raus. Das heißt,
am ersten Tag haben wir ihn zum Beispiel überhaupt nicht gesehen.
Am zweiten Tag sind wir zu dem Schluss gekommen,
dass er wahrscheinlich in Los Angeles ist.
Am dritten Tag sind wir wahrscheinlich dazu gekommen,
dass er wahrscheinlich wieder in Los Angeles ist.
Dann haben wir ihn wieder nicht gesehen. Dann war er
wahrscheinlich in New York und so weiter und so fort.
Und diese Beobachtung haben wir jetzt. Und was wir
jetzt machen können, Sind eben verschiedene Wahrscheinlichkeitsverteilungen berechnen damit.
Das heißt, wir können zum Beispiel gucken,
wo ist er jetzt wahrscheinlich, ist er jetzt hier jetzt,
ist er jetzt wahrscheinlich in New York oder ist er eher in Los Angeles?
Oder wir können eben auch berechnen,
wo er wahrscheinlich zum nächsten Zeitpunkt sein wird,
da die Übergangswahrscheinlichkeiten inzwischen Los Angeles und New York jeweils 50 Prozent ist,
ist, dass eben beides 50 Prozent,
weil wir eben keine genaueren Aussagen darüber machen können.
Und die Wahrscheinlichkeit dafür, dass wir eben Wirklich
diese Beobachtung gemacht haben, ist sehr gering.
Und was wir jetzt machen wollen, ist ein anderes Modell finden,
bei dem die Wahrscheinlichkeit für unsere Beobachtung höher ist als aktuell.
So, die Frage ist, wie machen wir das?
Was wir zuerst machen, ist mit Smoothing, das heißt,
wir berechnen den V-Wort-Anteil und den Backword-Anteil in letzter,
in der letzten Vorlesung besprochen und berechnen eben jeweils die Wahrscheinlichkeiten,
wo er zu welchem Zeitpunkt wahrscheinlich war.
Und haben dann jeweils eben eine Sequenz, wo er wahrscheinlich jeweils war.
Das heißt, das hier sind jetzt nicht mehr die Beobachtungen,
sondern das sind jeweils die wahrscheinlichsten Zustände, die er hatte,
also das Modell hatte, zu jedem Zeitpunkt.
Und was wir jetzt wissen wollen, ist,
wenn wir diese Daten haben, also das heißt,
wenn wir unsere Wahrscheinlichkeitsverteilung über die Zustände haben zu den Zeitpunkten,
wie können wir jetzt unser Modell so bauen,
dass es eben besser wird
Als erstes definieren wir uns eben die Wahrscheinlichkeit, dass wir an Karten,
Zeitpunkt eben in dem Zustand es sind, gegeben unsere Beobachtung.
Das ist relativ einfach zu berechnen, das heißt...
Die, die, die, die, die
. Wenn wir uns an gestern erinnern,
ist Alpha K von S. Ja genau, die Wahrscheinlichkeit,
dass wir hier in unserem Zustand S sind.
Und vorher irgendwo gewesen sind. Und wir die Beobachtung Z1 bis K gemacht haben.
Und Better K von S ist genau die Wahrscheinlichkeit,
dass wir zum Zeitpunkt K in Zustand S sind.
Und später irgendwo Das ist uns egal.
Und hier, die restliche Beobachtung gemacht haben. Also,
ZK plus 1 bis T. Und wenn wir das jetzt miteinander multiplizieren,
ist das eben genau die Wahrscheinlichkeit,
dass wir zum Zeitpunkt K in Zustand es sind und wir die gesamte Beobachtung gemacht haben.
Und da wir jetzt aber sagen,
gegeben der Beobachtung müssen wir das Ganze eben einfach nochmal durch
die Wahrscheinlichkeit unserer Beobachtung teilen und kriegen dann eben genau die Wahrscheinlichkeit,
dass wir gegeben unserer Beobachtung zum Zeitpunkt K in Zustand S
Ist das klar? Okay. Genau,
und das können wir eben einfach so berechnen,
indem wir eben Alpha, K, von erstmal Better,
K, von S rechnen und das eben durch die Summe aller,
wahrscheinlich halten, teilen, dass wir am Ende in einem Zustand sind.
Mit und diese Beobachtung gemacht haben. Das heißt,
was wir hier machen, ist, summieren einfach darüber auf.
Wir sagen hier, angenommen, wir sind am Ende
in diesem Zustand und haben unsere Beobachtung gemacht.
Oder wir sind in dem anderen Zustand oder in dem Zustand
oder in jedem Zustand. Wir summieren eben die Wahrscheinlichkeit auf,
dass wir in dem Zustand waren und die Beobachtung gemacht haben und
in dem nächsten Zustand waren und die Beobachtung gemacht haben und so weiter.
Das heißt, effektiv haben wir die Wahrscheinlichkeit,
dass wir auf irgendeinem Weg dadurch diese Beobachtung gemacht haben.
Gut. Und wenn wir das jetzt berechnet haben,
können wir ja sagen, Wie wahrscheinlich ist es, oder nein,
wie häufig sind wir wahrscheinlich von diesem Zustand S wieder weggegangen irgendwann.
Und das können wir einfach aufsummieren, indem wir über alle Zeitpunkte berechnen,
wie wahrscheinlich es ist, dass wir hier drin waren.
Weil jedes Mal, wenn wir da drin sind, müssen wir wieder weggegangen sein.
Das heißt, wir gehen über jeden Zeitpunkt, fragen,
wie wahrscheinlich war es zum Zeitpunkt 1,
dass wir in Zustand S waren.
Wie wahrscheinlich war es um 200.2 und so weiter.
Das summieren wir einfach auf und damit haben wir dann den Erwartungswert dafür,
Wie oft wir von Zustand S wieder irgendwo hingegangen sind.
Gut, damit haben wir eben genau diesen Erwartungswert uns jetzt berechnet.
Jetzt können wir uns zusätzlich die Wahrscheinlichkeit berechnen,
dass wir hier in, was sind das,
Kuh und Ass,
dass wir hier irgendwo waren
Dann in Zustand Kuh waren von Kuh nach S gegangen sind.
Und von S eben irgendwie wieder weitergegangen sind.
Also das heißt, wir wollen gegeben unsere Beobachtung berechnen,
wie oft oder wie wahrscheinlich ist es,
dass wir zu diesem Zeitpunkt von Kuh nach S gegangen sind.
Also von dem einen Zustand in genau diesen einen anderen Zustand
gegangen sind. Und was vorher genau passiert ist und was
nachher genau passiert ist, ist uns egal.
Genau, das können wir eben
auch berechnen
Die Formel kann man sich zusammenbauen aus den Vorfaktor hier,
hatten wir, glaube ich, letzte Woche irgendwo mal,
den müssen wir jetzt nicht so genau sehen,
aber es fällt eben darauf raus,
dass wir eben hier unseren Alphat her haben,
bis Q, dann die Wahrscheinlichkeit,
dass wir von Q nach S gehen,
das ist das TQS und hier eben unsere eine Beobachtung machen und wir dann eben von hier mit der restlichen Beobachtung weitergehen.
Und damit haben wir jetzt Die Wahrscheinlichkeit eben, dass wir
genau in diesem Zustand von Q nach S gegangen sind.
Und jetzt können wir fragen, wie oft sind wir
wahrscheinlich von Q nach S gegangen, egal wann.
Hier hatten wir das ja für einen bestimmten Zeitpunkt und jetzt,
wo sagen wir, egal wann.
Da müssen wir wieder genau das Gleiche machen, wie gerade eben,
wir summieren einfach über alle möglichen Zeitpunkte auf, sagen,
wie wahrscheinlich ist es zum Zeitpunkt 1 gewesen,
dass wir da in Q waren und von da aus danach erst gegangen sind.
Wie wahrscheinlich war das da, dass wir in Q
waren und nach S gegangen sind und so weiter.
Das summieren wir über alle Zeitpunkte auf,
die wir haben
Oh, ich bin ja richtig schnell.
Genau, dann wollen wir Folgendes machen. Das ist der
sogenannte Baumwelt-Algorithmus. Das ist eben jetzt ein iteratives Verfahren,
um eben zu immer besseren Modellen zu kommen.
Was wir da machen, ist, wir nehmen unser Modell
und bauen daraus ein neues Modell. Und was richtig ist,
eben das neue Modell und das alte Modell hat natürlich die gleichen,
sowohl die gleichen Zustände als auch die gleichen Beobachtungen,
die wir haben können.
Die bleiben gleich. Was wir dann machen,
ist erstmal die initiale Wahrscheinlichkeitsverteilung für unsere Zustände zu haben.
Also das heißt, die Wahrscheinlichkeitsverteilung für unsere Initialen,
die Wahrscheinlichkeitsverteilung für unsere initialen Zustände.
Das heißt, wo wir, mit welcher Wahrscheinlichkeit starten.
Und das ist genau die Wahrscheinlichkeit hier,
die hatten wir
vorher berechnet
Das heißt, der, den hatten wir. Hier,
die Wahrscheinlichkeit, dass wir eben zum Zeitpunkt 1 in diesem Zustand waren. Das heißt,
die Wahrscheinlichkeit, dass wir am Anfang in dem Zustand waren,
ist eben genau die Wahrscheinlichkeit,
dass wir am Anfang in dem Zustand waren,
wenn wir eben unsere Beobachtung gemacht haben.
Ist das klar? Also auch was der Unterschied zwischen den
beiden ist, warum das jetzt was anderes sein kann?
Ja, nein
Gibt es Leute, denen das klar ist? Okay. Also,
nehmen wir einmal an. Wir haben jetzt einfach erstmal,
weil wir nur eine grobe Schätzung haben,
eine Wahrscheinlichkeitsverteilung von 50 Prozent dafür,
dass unser Gangster in Los Angeles ist und eine Wahrscheinlichkeit von 50 Prozent,
dass er in New York ist.
Am Anfang unserer Beobachtung. So. Das heißt, wir wissen,
er ist entweder hier oder er ist da.
Jetzt sagen wir, das ist unsere
Wahrscheinlichkeitsverteilung. Jetzt machen wir die Beobachtung. Aha. Machen wir
jetzt mal. Das hier ist, sagen wir mal,
New York. Das hier ist L.A. Jetzt machen wir die Beobachtung
L.A.. Ja? So, das heißt... Z1 ist L.A.
Wenn wir diese Beobachtung jetzt gemacht haben,
steigt natürlich die Wahrscheinlichkeit, dass er am Anfang in L.A.
Weil es relativ unwahrscheinlich ist, dass er am Anfang in
New York ist, wie er ihn aber in L.A. vermuten.
Es ist deutlich wahrscheinlicher, dass er in L.A. ist,
wenn wir ihn in L.A. vermuten.
Das heißt, wenn wir jetzt diese Beobachtung machen,
können wir unser Modell jetzt darauf optimieren, dass wir sagen,
ja, am Anfang ist er wahrscheinlich in L.A..
Diese, wenn wir jetzt nur einen Beobachtungsschrang machen,
ist das vielleicht etwas ritzlos, aber wenn man sich das so vorstellt,
dass man zum Beispiel beim Part of Speech Hagging 100.000 Sätze hat,
dann fängt ja jeder Satz einmal an.
Und das ist die Frage, womit fängt ein Satz wahrscheinlich an?
Und dann können wir erst mal sagen, ja,
am Anfang wissen wir nicht und sagen, jede Wortart ist gleichverteilt.
Und jetzt merken wir aber, dass wir immer nur Artikel am Anfang kriegen. Und das heißt,
wir können damit jetzt dann eben berechnen, dass die Wahrscheinlichkeit,
dass ein Artikel am Anfang ist, deutlich höher,
als dass wir zum Beispiel mit einem Verb als erst im Wort anfangen.
Und deswegen, also das berechnen wir, und merken,
ändern dann für unser neues Modell eben die Wahrscheinlichkeitsverteilung Pi genauso,
dass eben das Verb unwahrscheinlicher wird als der Artikel.
Weil wir eben, weil das eben deutlich besser zu
den Beobachtungen passt, die wir gemacht haben.
Also bevor wir die Beobachtung gemacht haben, haben wir gesagt,
wissen wir nicht. Und danach sagen wir, aha,
mit unseren Beobachtungen passt das aber viel besser überein
als unsere alte Verteilung von,
ist alles
gleich wahrscheinlich
Das heißt, wenn wir hier jetzt zum Beispiel,
was weiß ich, essen Serienausbrecher,
er bricht jede Woche wieder aus dem Gefängnis aus und wir sagen,
ach Mann, müssen wir den wiederholen, wo ist er denn diesmal,
hat er sich jetzt in L.A. versteckt oder doch in New York?
Ach, wir wissen es einfach nicht. Ja,
dann können wir einfach vielleicht nach zwei Jahren merken, okay,
er ist jede verdammte Woche am Anfang in L.A. gewesen, wahrscheinlich. Also,
wir haben es nicht immer gesehen, aber unsere Leute haben immer gesagt,
er ist in L.A., er ist in L.A.,
er ist in L.A. Und dann das heißt,
unser Modell ist viel besser, wenn wir sagen,
okay, am Anfang ist er wahrscheinlich in L.A.,
als wenn wir sagen,
am Anfang,
wir wissen es nicht
Das heißt, unser Modell kann dann besser erklären, was diese Person macht. Das heißt,
wenn wir es in den generativen Modus stecken würden,
das heißt, wenn wir quasi einen Verbrecher simulieren würden,
ist es auch viel wahrscheinlicher,
dass wir ein Verbrecher verhalten damit kriegen, das so ist,
wie der Typ, den wir beobachtet haben,
als dass wir einen Verbrecher kriegen,
der sich am Anfang immer in New York versteckt.
Und genau das ist es ja, was wir wollen.
Wir wollen ja unser Modell so haben,
dass es möglichst gut, die Realität des typischen,
einmal die Woche aus dem Gefängnis,
Ausbrechverbrechers abdeckt
Gut. Das heißt, wir können eben hier einfach unsere
Initialverteilung damit bestimmen. Das heißt, wir gucken einfach,
welche Wahrscheinlichkeiten hatten wir durch Smoothing jeweils berechnet und nehmen die.
Und damit sind wir schon mal besser. Aber wir wollen ja
nicht nur die Initialverteilung ändern, sondern wir wollen auch die Transitionswahrscheinlichkeiten und die Emissionswahrscheinlichkeiten ändern.
Was wir dann jetzt machen, ist, dass wir Die Transitionsmatrix,
das heißt, dass wir von Q nach S kommen,
so anpassen, dass wir einfach sagen,
die Wahrscheinlichkeit dafür ist genau die Anzahl oder die erwartete Anzahl der Transition,
wo wir von Q nach S gekommen sind,
durch die Anzahl der Transition,
wo wir von Q nach irgendwo gegangen sind.
Ist das klar, warum das so ist?
Und warum das anders ist, als das,
was wir vorher hatten?
Dem ist das klar
Okay, doch so vielen. Gut,
dann... Also angenommen, wir haben einfach ein Modell,
das aktuell ja einfach nur hier hat, L.A. Was?
Und New York. So, und wir hatten als Anfangsverteilung
eben mit 50 Prozent Wahrscheinlichkeit wechselt er mit 50 Prozent Wahrscheinlichkeit
bleibt er da.
Jetzt stimmt die Annahme vielleicht nicht. Was weiß ich.
Vielleicht hat er eine Geliebte in New York und bleibt deswegen gerne länger da.
Und in L.A. wohnt seine Frau. So. Oder er findet irgendwie,
dass der Sprit viel zu teuer ist und will deswegen nicht
die ganze Zeit hin und her gondeln,
sondern will lieber möglichst lange an einem Platz bleiben.
Und irgendwie vielleicht nur ungefähr alle zehn Tage wechseln.
Das heißt, eventuell sehen unsere Vorhersagen dann immer so aus,
L.A. L.A. L.A. L.A.
Und dann wechselt er einmal nach New York.
Und dann ist er nochmal in New York.
Und so weiter. Und was wir da dann einfach sehen,
ist, wenn wir jetzt ein Modell darauf trainieren und sagen,
wie wahrscheinlich ist es, dass er jetzt in den LA ist.
Sagen wir, es ist wahrscheinlicher, dass er jetzt in
den LA ist, als dass er in New York ist.
Dann haben wir hier eben eine, das sind unsere Beobachtungen irgendwie.
Und dann sagen wir, hier war dann wahrscheinlich in LA.
Und hier auch und hier auch und hier auch und hier
auch und hier auch und hier auch.
Und hier war wahrscheinlich in New York und hier war wahrscheinlich
auch in New York
Das Ganze ist jetzt ein bisschen langweilig, weil die Beobachtung oder das,
was wir vermuten, wo er ist, genauso aussieht wie die Beobachtung,
die wir gemacht haben, das liegt aber eben daran,
dass wir überhaupt aktuell überhaupt nicht wissen, wohin er wechselt.
So, und wenn wir uns das jetzt dann angucken,
dann können wir ja einfach zählen,
wie oft ist er von L.A. zu L.A.,
von L.A. zu L.A. gewechselt, in Anführungszeichen,
also wie oft ist sein Status in den nächsten Zustand immer noch L.A. gewesen,
geteilt durch die Anzahl, dass er von L.A. zu irgendwas gewechselt ist.
Und dann können wir einfach zählen und sagen, aha,
er ist eins, zwei, drei,
viermal von L.A. zu L.A. gegangen und er ist eins,
zwei, drei, vier, fünfmal von L.A. nach irgendwo gegangen.
Das heißt, die Wahrscheinlichkeit, dass er von L.A.
wieder zu L.A. geht, wäre damit vier Fünftel.
Das heißt, unsere Wahrscheinlichkeit, ich schreibe das mal etwas informell auf,
dass er von L.A. nach L.A. geht, Wäre damit dann Viervünftel?
Und die Wahrscheinlichkeit, dass er von, wenn wir wissen,
oder, was machen wir anders? Also wir wissen dann eben,
dass die Wahrscheinlichkeit, dass er im Neuen Zustand in L.A. sein wird,
gegeben, dass er vorher in L.A. war,
das Viervünftel und die Wahrscheinlichkeit, dass er mit New York sein wird,
wenn er vorher in L.A. war,
ist ein Fünftel
Und diese Wahrscheinlichkeitsverteilung passt viel besser auf die Beobachtung,
die wir gemacht haben, als die vorherige Annahme,
dass er mit 50 Prozent Wahrscheinlichkeit wechselt.
Gut. Und das heißt eben,
wir können eben genau diese Berechnung machen,
dass wir sagen, die Wahrscheinlichkeit,
also die Übergangswahrscheinlichkeit ist eben die erwartete Anzahl der Transitionen von
Q nach S durch die erwartete Anzahl der Transitionen von Q
nach irgendwo
Und das können wir eben genauso ausrechnen.
Das heißt eben, wir summieren wieder über alle Zustände auf.
Jedes Mal und sind dann fertig. Damit haben wir
unsere neue Transitionsmatrix. War das jetzt verständlich? Gut.
Was fehlt uns noch? Die Beobachtungsmatrix. Das heißt,
was wir jetzt machen, ist Wir haben ja ein Modell gehabt,
wo wir ja immer gesagt haben, was haben wir beobachtet?
Das habe ich jetzt hier gerade wieder weggewischt. Aber was
haben wir beobachtet? Und was waren wahrscheinlich die Zustände? Das haben wir berechnet. So,
und jetzt, sollte unsere Beobachtung im Zustand S,
also die Wahrscheinlichkeit, dass wir eine Beobachtung M beobachten im Zustand S,
genau eben sein, die erwartete Anzahl,
dass wir im Zustand S M beobachten durch die erwartete Anzahl davon,
dass wir im Zustand S was beobachten.
Das heißt, die erwartete Anzahl davon, dass wir in Zustand S überhaupt waren.
Weil jedes Mal, wenn wir in den Zustand sind, beobachten wir irgendwas.
Und wenn wir eben jetzt bei unserem Modell in 20 Prozent der Fälle,
wenn wir in Zustand S sind, M beobachten,
dann soll eben die Wahrscheinlichkeit dafür, dass wir M beobachten,
gegeben, wir sind im Zustand S genau 20 Prozent sein.
Wenn wir jedes Mal M beobachten,
dann soll das 100 Prozent sein
Das heißt, wenn wir jetzt zum Beispiel hier unsere Beobachtungen gemacht haben,
und zum Beispiel sagen die Wahrscheinlichkeit,
dass er im gleichen Ort bleibt, ist total hoch.
Und die Wahrscheinlichkeit, dass er wechselt, ist sehr gering.
Angenommen, wir sind schon bei diesem Zustand angekommen.
Ja, das heißt, wir sagen die Wahrscheinlichkeit,
dass er wechselt, ist zum Beispiel nur 0,0,
da kommt kein Komma mehr hin.
Und die Wahrscheinlichkeit, dass er die andere von L.A. nach
New York wechselt, ist auch nur 0,01. Das heißt,
mit einer sehr hohen Wahrscheinlichkeit bleibt er an dem Ort.
Und jetzt haben wir ja immer noch das Problem,
dass eben unsere Beobachtung fehlerhaft sein können.
Wenn wir jetzt aber eben zum Beispiel beobachten, L.A.,
L.A., bababab, ganz oft L.A. oder so,
und dann ist irgendwie New York und dann ist wieder L.A.,
dann ist die Wahrscheinlichkeit,
dass wir hier uns bei der Beobachtung geirrt haben,
relativ hoch
Also wir würden trotzdem noch davon ausgehen,
dass er hier in L.A. ist, einfach weil die Wahrscheinlichkeit,
dass er von L.A. nach New York gewechselt hat, so extrem gering ist.
Das heißt, wenn wir hier unsere Beobachtungen haben, dann würden wir davon ausgehen,
dass die Zustände trotzdem überall... L.A., bam, bam, bam.
Vere. Ist das klar, warum das so ist?
Gut. Und das heißt eben,
Dass wir hier zum Beispiel jetzt sagen, wir haben eins,
zwei, drei, vier Mal, wir waren eins,
zwei, drei, vier Mal im Zustand L.A.,
hier unten, weil wir das berechnet haben.
Davon haben wir dreimal L.A. ausgegeben oder beobachtet.
Und einmal haben wir New York beobachtet. Das heißt,
die Wahrscheinlichkeit dafür, dass wir im Zustand L.A. New York
beobachten, ist ein Viertel.
Und die Wahrscheinlichkeit, dass wir im Zustand L.A.
wirklich L.A. beobachten,
ist drei Viertel
Aber wir wissen doch nicht, ob... Also vielleicht war er
ja tatsächlich... Das kann durchaus sein. Aber dann wird
nur noch mehr. Nein, das ist ja der Witz daran.
Man denkt immer, man würde Quatsch machen die ganze Zeit.
Also wenn man irgendwas macht und in Wirklichkeit macht man Sachen,
die total sinnvoll sind.
Und dann hundert man sich danach, dass es funktioniert.
Also, was wir machen, ist,
wir berechnen hier,
wo er
am wahrscheinlichsten war
Und jetzt hat quasi lokal, also global gesehen,
also wenn wir uns die ganze Beobachtungsfolge ansehen, war es am wahrscheinlichsten,
dass er hier auch in New York war, in L.A. war.
Und wenn man sich das nur lokal angucken würde und sagen würde,
angenommen, wir wissen, dass er in New York ist,
wo ist er dann wahrscheinlich, wäre die Aussage natürlich Quatsch.
Wenn wir aber wissen, er war die ganze Zeit davor
in L.A., dann ist die Wahrscheinlichkeit,
dass er jetzt immer noch in L.A. ist, sehr hoch.
Weil die Wahrscheinlichkeit, dass er gewechselt hat,
einfach so gering ist
Und was wir jetzt machen, das ist ja gerade der Witz daran.
Wenn wir immer genau wüssten, wo er sich aufgehalten hat,
dann müssen wir uns mit dem ganzen Kram gar nicht abgeben.
Weil dann könnten wir einfach zählen, das ist das,
was zum Beispiel jetzt bei der Übungsaufgabe dran ist,
wenn man sowas hat wie Part of Speech Tagging,
das heißt Wortarten als Hidden-Mark-Off-Modell.
Da hat man dann meistens immer irgendwie so ein Goldstandard,
wo irgendwie man Sätze hat, wo die jeweiligen Tags dranstehen.
Und die könnte man dann einfach immer zählen. Man kann sagen,
aha, das wäre das Richtige jetzt, das wäre das Richtige jetzt.
Hier haben wir das Richtige aber nicht,
weil er eben leider nicht, nachdem er festgenommen wurde,
uns noch sagt,
übrigens,
ich war dann und dann da und da
Sagt er uns nicht. Aber, was wir machen können,
ist eben, unser Modell so anpassen, dass es möglichst gut,
das vorhersagt, was wir beobachten. Also das heißt,
das Modell passt zu dem, was wir beobachten und dementsprechend,
dadurch, dass es die Sachen,
die wir beobachten, mit hoher Wahrscheinlichkeit generiert,
können wir eben auch sagen,
dass die zugrunde liegenden Zustandsübergänge mit hoher Wahrscheinlichkeit passen zu dem,
was real passiert
Das heißt eben,
wenn wir jetzt schon mal so eine Annahme hier haben,
dass er wahrscheinlich eben nicht gewechselt ist, dann könnte es sein,
dass er immer in Wirklichkeit viel öfter gewechselt ist,
ja, als unsere Annahme hier ist.
Das heißt, dass er ganz oft irgendwie von L.A. nach
New York gewechselt ist und von New York wieder zurück.
Dann würde aber unsere Beobachtung auch viel mehr Änderungen haben.
Und dadurch würden wir dann im nächsten,
also das machen wir iterativ immer weiter,
würden wir im nächsten Schritt immer viel öfter das haben,
dass wir von einem Zustand
zum anderen gewechselt sind
Als wir das eigentlich in unserem Modell kodiert haben,
würden dann die Übergangswahrscheinlichkeiten hier erhöhen und die Übergangswahrscheinlichkeiten,
dass er im gleichen Zuschauen bleibt,
geringer machen und würden dann beim nächsten Mal wahrscheinlich eine bessere Vorhersage davon machen,
was er dann gemacht hat.
Also das heißt,
wir versuchen quasi die Beobachtung möglichst wahrscheinlich zu machen,
damit eben unter der Annahme,
dass dann eben uns,
also weil dann eben unser zugrunde liegende ist Modell
in besser funktioniert
Weil das heißt, die Wahrscheinlichkeiten, also die Übergangswahrscheinlichkeiten,
die wahrscheinlich real auftreten müssen, eben möglichst wahrscheinlich sein,
damit wir eben bei der Generierung oder bei der Wahrscheinlichkeitsberechnung für
unsere Zustandsfolge eben auch eine hohe Wahrscheinlichkeit rauskriegen,
weil wenn sie quasi gegenläufig arbeiten würden,
dann würden wir immer eine zu niedrige Wahrscheinlichkeit rauskriegen.
Ich hoffe, das war halbwegs verständlich. Also,
das heißt, was wir jetzt machen, ist eben genau das.
Wir gucken Also das ist eben auch der Grund. Übrigens,
warum hier immer das E von irgendwas steht,
weil das eben heißt, so viel, wie wir denken,
dass er da war und nicht so oft,
wie er wirklich da war, weil wir eben ja überhaupt nicht sehen können,
wie oft war er jetzt wirklich in New York.
Vielleicht war er immer in so einer kleinen Vorstadt von
New York oder was weiß ich.
Aber das können wir eben nicht wissen. Vielleicht war er
zum Beispiel immer in Los Angeles und wir haben in Wirklichkeit eine Gleichverteilung,
weil irgendwie in New York einer seiner Kumpels immer sagt,
ich bin der Typ da oder so
Das heißt, das ist immer der Erwartungswert aufgrund unseres aktuellen Modelles
und nicht das, was eben real er gemacht hat.
Gut. Und jetzt kommt der nette Satz. It can
be shown that, bla bla bla bla bla. Also,
das heißt, es gibt Leute, die haben schon mal bewiesen,
dass das ein guter Ansatz ist.
Aber den Beweis gibt es hier nicht. Das liegt unter anderem daran,
dass der Beweis nicht mal in dem Tutorial steht,
was ich euch verlinkt habe für Hidden Mark
auf Modelle
Auf der GWV-Wiki-Seite ist auch ein Tutorial für Hidden Mackhoff-Modelle verlinkt,
dass das Ganze, was hier ist,
auch nochmal so in Textform hat,
sehr ausführlich und auch ziemlich ins Detail gehend.
Ich finde es sehr schön zu lesen, ist quasi das Standard-Ding dazu.
Aber nicht mal da wird irgendwie dieser Beweis nachvollzogen. Gut,
also was wir jetzt sehen können, ist folgendes,
die Wahrscheinlichkeit unserer Beobachtung mit dem neuen Modell,
das wir jetzt gerade gebaut haben,
ist höher als die Wahrscheinlichkeit der Beobachtung
gegeben unser Altersmodell
Das heißt, die Wahrscheinlichkeit, die wir jetzt hatten,
also größer oder gleich, das heißt,
die Wahrscheinlichkeit ist entweder höher geworden oder sie ist gleich geblieben.
Und wenn sie gleich geblieben ist,
dann sind wir an einem kritischen Punkt angelangt und kann einfach aufhören,
weil wir wissen, es wird sich nichts mehr ändern.
Das heißt, wir können so lange weitermachen,
bis sich nichts mehr ändert,
weil wir dann quasi immer genau die Zahlen rauskriegen,
die wir reingesteckt haben und sind dann fertig
und haben ein
wunderbar optimiertes Modell
Zappum. Das heißt, man rödelt ein bisschen rum oder beziehungsweise der Computer.
Das geht sogar relativ fix. Und dann hat man
ein Modell, das perfekt auf die Daten passt.
Oder so gut, wie es geht. Also nein,
nicht so gut, wie es geht, sondern so gut,
wie es werden kann unter dem Startpunkt, den wir hatten.
Weil, wie wir am Anfang schon gesagt wurde oder auf
den Folien schon stand, das ist immer nur ein lokales Optimum.
Das heißt, Unsere Wahrscheinlichkeitsfunktion oder unsere kann irgendwie so aussehen.
Ja? Und wir machen so eine Art Hill-Climbing,
das heißt, wir modifizieren unser Modell und modifizieren unser Modell
und wissen mit der Wahrscheinlichkeit geht es immer nur weiter aufwärts.
Aber wenn wir ganz viel Pech haben, laufen wir hier
gerade diesen Dings hoch und sind dann hier angekommen.
Aber in Wirklichkeit wird es hier irgendwo hinten noch ein Modell geben,
das viel wahrscheinlicher wäre. Aber da kommen wir eben nicht hin,
weil wir dafür eben hier runter und da wieder hochlaufen müssen.
Das heißt, Und es ist eben kein Konvexesproblem.
Und das heißt, wir haben eben keine Garantie,
dass wir ein globales Optimum finden. Das bedeutet auch,
dass es wichtig ist, gute Anfangswerte zu haben.
Das heißt, wenn wir am Anfang zum Beispiel irgendwo starten,
wo die Wahrscheinlichkeit schon relativ hoch ist,
dann wissen wir ja, wir können nur noch besser werden.
Wenn wir irgendwo anfangen, wo unsere Wahrscheinlichkeit hier vielleicht,
sagt man so, völlig im Keller ist, so,
Und von da aus loslaufen,
dann haben wir vielleicht Pech und laufen nur bis hier und sind dann fertig.
Und dann sagt er so, mehr geht nicht.
Und damit haben wir dann ein schlechtes Modell. Das heißt,
wir müssen immer noch irgendwie, wenn wir können,
irgendwas an Wissen reinstecken, sodass wir möglichst zu einem guten Modell kommen.
Und was auch wichtig ist,
was kann im schlimmsten Fall passieren bei diesem Modell,
wo wir New York und L.A. haben,
wenn wir einfach irgendwelche Anfangswerte da reintun
Das Schlimmste, was passieren kann, ist, dass,
also wir geben ja unseren Zuständen einen Namen, nämlich L.A. und New York.
Dieser Optimierungsalgorithmus weiß aber nicht, dass L.A. L.A. heißt und
New York, New York heißt. Das heißt,
wenn wir uns ganz dumm anstellen, kann es sein,
dass wir zwar wunderbare Zustandsübergänge finden, die irgendwie gut passen,
aber dass L.A. in Wirklichkeit New York heißt und New York heißt in Wirklichkeit L.A.
Das heißt, Und wenn wir zum Beispiel einen,
wenn wir jetzt sagen, die Wahrscheinlichkeit,
also wenn wir zum Beispiel ein Modell,
wenn das reale Modell ist, zum Beispiel,
was weiß ich, hier ist irgendwie der Übergangswahrscheinlichkeit.
So, und wir auch. Und wenn er in L.A. ist,
dann sehen wir eben zu 50 Prozent Wahrscheinlichkeit irgendwie oder zu...
Sehen wir mit 70 Prozent Wahrscheinlichkeit L.A.
und mit 10 Prozent
New York. Und sonst nichts. Und das Gleiche für
New York. Nur umgekehrt. Wäre ja wunderbar.
Aber wenn jetzt leider unser Modell das quasi falsch rumlernt,
könnte es sein, dass es sagt, ja,
das Modell passt ziemlich gut.
Wenn du das hier machst. Das kann nämlich
unsere Beobachtung genauso gut erklären. Weil wir ja immer
nur auf den Beobachtungen arbeiten
Also das heißt, dass dieses Modell generiert die gleiche Beobachtungskette,
wie wenn wir in New York und L.A. tauschen.
Das können wir beliebig hin und her tauschen,
solange das hier symmetrisch ist, alles, können wir quasi
das Ganze einmal spiegeln und kriegen immer noch die gleiche Beobachtungskette raus.
Und die Interpretation, die wir als Menschen jetzt davon haben,
ist ja, wenn unser Modell in dem Zustand in L.A. ist,
dann ist der Typ auch wirklich in L.A.
Aber die korrekte Interpretation hier führe, wäre jetzt eher,
wenn unser Modell im Zustand in L.A. ist,
dann müsste er eigentlich realerweise in New York sein
Und das ist natürlich scheiße. So, das heißt,
da muss man eben aufpassen, dass man eben möglichst sinnvolle Anfangsverteilung reinpackt,
der schon von Anfang an es wahrscheinlicher ist,
dass er irgendwie L.A. ist, wenn wir beobachten,
dass er in L.A. ist als umgekehrt.
Wenn wir darauf nicht aufpassen und einfach,
was weiß ich, wir sagen,
wir sind besonders schlau und tun irgendwelche Zufallswerte da rein,
dann können wir durchaus zu so einem Modell kommen.
Und dann gucken wir uns das irgendwie nachher an und denken, was soll der Scheiß?
Aber in Wirklichkeit ist es eben nur das Problem,
dass wir eben unsere Zustände irgendwie benamsen und dem deswegen irgendwie eine Bedeutung zu messen,
die in der Realität da gar nicht drinsteckt.
Gut. Ich weiß gar nicht, was die ganze Zeit noch machen soll.
Jetzt gucken wir uns mal ein Beispiel an.
Wenn wir jetzt auf dieser Beobachtungsfolge, die wir hatten,
unser Modell trainieren, können wir ja gucken,
wie wahrscheinlich war diese Beobachtung gegeben,
das Modell,
dass wir jetzt zu dem aktuellen Zeitpunkt haben
Und wir fangen eben an und das, die Beobachtungsfolge ist
eben mit unserem initialen Modell sehr unwahrscheinlich. Und dann machen,
rödeln wir einmal rum, haben eine neue Transitionsmatrix,
eine neue Emissionsmatrix und eine neue initiale Wahrscheinlichkeit,
eine neuen initialen Wahrscheinlichkeitsvektor und dann ist unsere Wahrscheinlichkeit für die Beobachtung,
die wir da reingesteckt haben, höher.
Und dann machen wir es nochmal und es ist nochmal höher
und nochmal und nochmal höher und es wird immer höher,
höher, höher und dann ändert sich nichts mehr.
Und dann würde man sagen, wunderbar, haben wir
richtig gut hinbekommen, total wahrscheinlich jetzt, unsere Beobachtungsfolge.
Jetzt waren die Personen, die diese Folien gemacht haben,
aber so, dass sie eben diese Beobachtungsfolge aus einem realen Hidden-Mark-Off-Modell erzeugt haben.
Das heißt, es gibt quasi ein richtiges Hidden-Mark-Off-Modell.
Und wenn man da guckt, wie wahrscheinlich es ist,
dann kommt man eben nur hierhin, das ist diese Linie.
Das heißt, hier ist unser Modell schlecht,
weil die Beobachtung zu unwahrscheinlich ist und hier ist unser Modell schlecht,
weil die Beobachtung plötzlich viel wahrscheinlicher ist,
als sie in der Realität ist
Und das ist eben ein klassisches Overfitting.
Das ist eben ungefähr so, wie wenn ich sage,
ach, ich mache mal ein Modell für Flaschen.
So, gegeben eine Flasche. Welche Farbe hat sie wahrscheinlich?
Ich gucke mir die Flasche an, sage, sie ist blau.
So, jetzt haben wir N gleich 1. Eine Flasche angeguckt,
Wahrscheinlichkeit dafür, dass sie blau ist, ist 100 Prozent.
Damit habe ich ein klassisches Overfitting,
weil für diese eine Flasche passt es perfekt.
Für alle anderen Flaschen in der Welt oder für einen
relativ großen Teil der anderen Flaschen in der Welt
passt es nicht
Das heißt, dadurch, dass wir quasi zu wenig Daten
reingesteckt haben und wir stecken immer zu wenig Daten rein,
weil solange wir nur eine endliche Menge Daten reinstecken,
haben wir nicht alles, was irgendwie theoretisch möglich wäre, reingesteckt.
Solange wir das machen, kommen wir eben da rein,
dass wir genau in diese Overfitting-Kurve reinlaufen. Das heißt,
im Zweifelsfall sagen wir eben nur für alles,
was wir gesehen haben, ja, das ist total wahrscheinlich und alles,
was danach noch vielleicht kommt, sagen wir, das ist völlig unwahrscheinlich.
Und das ist ja genau nicht das, was wir wollen.
Wir wollen ja nicht nur ein Modell haben für das,
was wir jetzt gerade rein zufällig beobachtet haben,
sondern wir wollen ja möglichst ein Modell für das finden,
was alles, was wir beobachten könnten, möglichst gut abbildet.
Das heißt, wenn wir ein Modell für die Sprache haben,
möchte ich eigentlich nicht, zum Beispiel einmal Teletubbies einschalten,
da irgendwie eine halbe Stunde von Sampeln,
das in ein Hidden Markerhoff-Modell reinstecken und das in ein Markerhoff-Modell sagt,
dann das, alles, was da gesagt wurde, Sprache, der Rest nicht.
Ja. Und das heißt, wir müssen immer aufpassen,
dass wir eben nicht in dieses Overfitting reinlaufen
Und da nicht reinzulaufen, ist gar nicht so schwer,
weil man ja eben nicht sehen kann, aha, ab wann
fitte ich over. Da gibt es dann verschiedene Möglichkeiten.
Ich weiß gar nicht, ob die hier noch aufgezählt sind.
Ich glaube nicht. Nein. Da gibt es verschiedene Möglichkeiten, das zu machen.
Man kann zum Beispiel immer nur mit einem Teil der Daten,
die man zur Verfügung hat, arbeiten und dann eben mit dem Rest,
den man quasi beim Trainieren hier weggelassen hat, eben gucken,
ob wir da eben auch noch eine hohe Wahrscheinlichkeit finden.
Und sobald bei dem Rest die Wahrscheinlichkeit wieder singt,
sehen wir, okay, wir sind in den Overfitting-Bereich reingekommen,
weil quasi etwas Was auch zu dem gehört, was wir haben wollen,
aber eben jetzt nicht real reingegeben haben, plötzlich unwahrscheinlicher wird.
Und dann kann man aufhören. Oder ähnliche Sachen.
Wie man das mit dem Overfetting genau macht,
werden wir hier nicht mehr besprechen. Aber wichtig ist eben,
im Kopfbehalten, Overfetting ist ein Problem,
in das man immer reinlaufen wird oder bei ganz vielen Dingen reinlaufen wird.
Es führt dazu, dass eben das Modell wirklich wieder schlechter wird.
Und genau das möchte man nicht.
Und deswegen muss man
etwas dagegen tun
Gut. Sind Fragen dazu. Zu den ganzen Hidden Mark auf Modelle und alles.
Wunderbar. Gut. Was man dann auch noch machen kann,
wenn man sich jetzt Hidden Mark auf Modelle anguckt,
ist, das Ganze zu erweitern auf nicht diskrete Domänen.
Also, bis jetzt haben wir immer eine endliche Menge von möglichen Beobachtungen gehabt.
Und eine, oder beziehungsweise eine nicht unbedingt eine endliche,
also wir hatten immer eine endliche,
aber nimm mal eine diskrete Menge von Beobachtungen.
Also er ist da oder er ist da
oder er ist da oder er ist da
Was man aber auch haben kann, so ein kontinuierliche Verteilung.
Das heißt, wir haben irgendwie eine Normalverteilung darüber, wo jemand ist.
Wenn wir jetzt nicht über LA oder New York sprechen,
sondern wir sprechen zum Beispiel darüber,
ich laufe mit meinem GPS-Gerät gerade irgendwo längs,
dann kann mir das GPS-Gerät nicht immer sagen, du bist exakt an diesem Punkt.
Sondern wenn wir das jetzt mal vereindimensionalisieren, irgendwie eine,
irgendeine Gaussverteilung darüber, irgendeine Normalverteilung, die eben sagt,
hier zu sein ist am wahrscheinlichsten,
aber du könntest auch mit einer gewissen Wahrscheinlichkeit irgendwie
noch zwei Meter weiter links oder zwei Mitarbeiter rechts sein oder
ein bisschen weiter vornehmen
Das liegt eben einfach daran, dass die Messung ungenau sind.
Und hier kann man eben genau das Gleiche anwenden,
was wir bei den Hidden Marke auf Modellen schon gemacht haben.
Nämlich, wir haben immer einen Zustand, also wo bin ich jetzt gerade?
Dann haben wir eine Beobachtung, die mir sagt,
was sagt mir mein GPS-Gerät, wo ich jetzt gerade bin?
Und dann haben wir einmal später wieder die Beobachtung,
also den Zustand, wo bin ich jetzt?
Und die Beobachtung, was sagt mir mein GPS-Gerät, wo bin ich jetzt?
Und das können wir jetzt wieder genauso eben modellieren.
Und Kondame zum Beispiel sowas machen wie, ich laufe diesen Weg hier längs.
Und plötzlich sagt er, ich bin hier und dann bin
ich wieder hier und dann bin ich wieder hier. Ja,
das heißt, ich bin, das GPS-Gerät sagt mir,
ich bin da und dann sagt er es,
ich bin da und dann sagt er es, ich bin da,
da, da, da, da, da.
Und was wir jetzt eben damit machen können, ist,
dass wir eben genau mit dieser Wahrscheinlichkeitsverteilung darüber,
wo man wirklich ist, das heißt, und eben unsere Abfolge davon,
wo wir meinen, dass wir vorher waren, berechnen können,
wo wir wahrscheinlich in Wirklichkeit längst gegangen sind,
unabhängig oder beziehungsweise in Abhängigkeit davon,
was uns unser GPS-Gerät gesagt hat.
Das heißt eben, wenn wir diese Beobachtung haben, dann ist es deutlich wahrscheinlicher,
dass wir wirklich halt einfach hier diese Linie einmal längst gegangen sind.
Und genau das können wir eben mit sogenannten Calman filtern machen und
Nutzen eben wirklich wieder genau die gleichen Techniken, die wir hatten.
Sind nur eben jetzt in einem kontinuierlichen Bereich,
wo wir eben eine Wahrscheinlichkeitsverteilung über eindimensionales oder ein zweidimensionales oder dreidimensionales Signal haben können.
Also zum Beispiel, wo bin ich jetzt gerade im Raum?
Oder welche Farbe ist hier gerade oder wie auch immer?
Das wäre zum Beispiel auch benutzt bei der Kinect oder so,
wenn ihr hier sowas mal, wie ich das öfter mal mache,
dann kann eben die Kinect nicht zu jedem Zeitpunkt genau sagen,
wo meine Hand ist, weil das kriegt eben die Software nicht dekodiert immer.
Aber sie kann sagen, wenn sie hier gesehen hat,
dass man anhand da war und sie kann dann zwei Punkte später sehen,
dass sie da war, dann muss man eine Hand eigentlich irgendwo in der Mitte dazwischen gewesen sein.
Selbst wenn der Algorithmus, der sagt,
wo ist die Hand jetzt gerade, zwischendurch gesagt,
die ist da oder sie ist hier oder sie ist da,
weil eben die Wahrscheinlichkeit, dass ich von hier nach da springe,
einfach so dermaßen gering ist,
dass es viel wahrscheinlicher ist,
dass ich in Wirklichkeit hier war und der Sensor
nur fälschlicherweise dargemessen hat
Gut, das war's mit den Folien und jetzt kommen direkt
die nächsten. Tadaa, das sind jetzt eigene Folien.
Gut, dass ich die noch vorbereitet habe,
sonst wäre ich schon fertig gewesen mit Kram hier.
Also, wir haben jetzt gerade eben schon gesehen,
dass wir, dass wir eben das Problem des Overfittings haben.
Das heißt, das, was wir beobachtet haben, ist zu viel
Oder hat eine zu hohe Wahrscheinlichkeit im Gegensatz zu dem,
was wir gerade mal nicht beobachtet haben.
Jetzt können wir einen Problemfall oder einen Spezialfall davon haben.
Nämlich, dass wir irgendetwas noch nie beobachtet haben.
Ja, angenommen, wir trainieren irgendein Language-Model. Und plötzlich kommt
ein tolles neues Modewort auf. Wie zum Beispiel Beamer.
Das hat noch nie jemand vorher gehört im Deutschen.
So, und dann kommen plötzlich solche Dinger hier an die
Decke und alle sagen Beamer
Dann wollen wir ja nicht, dass unser tolles Smartphone abstürzt,
nur weil wir vielleicht Beamer oder Smartphone sagen oder wir haben
irgendwie einen tollen, neuen Ausdruck, so Stock.
Ja, wie jemand vorher gehört. So,
oder wurde einfach nie gesagt, während das Sprachmodell trainiert wurde.
Und plötzlich finden alle Leute raus, toll,
das iPhone stürzt ab, wenn ich Stock sage.
Weil er sagt, das gibt's nicht, das gibt's nicht,
Bahn, pff, ever ever, ever.
So, das wollen wir ja nicht. Ja,
wir wollen, dass eben Dinge,
die wir zufälligerweise gerade mal nicht gesehen haben,
nicht plötzlich eine Wahrscheinlichkeit von Null haben
Also das heißt, also das Problem ist eben,
wenn wir irgendwas ein Hit-Mark-off-Modell haben und wir haben eine Beobachtung,
die wir vorher nie gesehen haben,
dann ist die Wahrscheinlichkeit dafür ja so,
wie wir Hid-Mark-off-Modelle bis jetzt aufgebaut haben, immer null.
Weil da wird einfach gesagt, gibt es eben nicht.
Wenn wir zum Beispiel einfach zählen, wie oft gab es
diese Beobachtung, dann kamen die einfach nie vor.
Und das heißt, jede Wahrscheinlichkeitsberechnung, die wir machen,
wo diese Beobachtung drin vorkommt, Ist totaler Müll.
Müll, Murks. Wenn wir zum Beispiel hier uns allen
Hidden Mark auf Modell angucken und wir haben nur zwei Zustände.
A und B. Ja. Wir haben irgendwelche Übergangswahrscheinlichkeiten. Erstmal
völlig egal, welche. Und wir haben einen Vektor,
der uns sagt, wie wahrscheinlich die Anfangs, wie die Anfangsverteilung ist.
Und wir wissen, Zu 100 Prozent sind wir am Anfang in Zustand,
A. Und wir sind auf keinen Fall am Anfang in Zustand B.
Und die einzige Beobachtung, die wir machen können, ist Fu.
Ja, weil das ein total dummes Hit-Mark-Off-Modell ist,
das eigentlich immer nur Fu generiert. Fu, fu,
fu, fu, fu, fu, fu.
Egal, wo das hier oben längst läuft.
Jetzt kein größerer Sinn dahinter. Und jetzt haben wir plötzlich
eine Beobachtung, die einfach nur aus Barbe steht.
Was passiert
Modellmännchen, die ist da von mir gesagt. Inwiefern weiß er
es nicht? Also weil umgehen tut es ja damit nicht.
Also das Modell ist ja erstmal nur eine Beschreibung.
Welche Wahrscheinlichkeiten kriegen wir da raus? Ja,
für welche Zustandsfolge, also angenommen wir sehenbar.
Welche Zustandsfolge ist jetzt wahrscheinlicher? Also wo kriegen wir jetzt
null raus zum Beispiel
Also wir haben ja verschiedene Möglichkeiten, möglichen Zustandsfolgen.
Wir können zum Beispiel Bar haben, also wir hätten zum Beispiel die Möglichkeit.
Wir waren in Zustand A und haben Ball generiert.
Oder wir waren am Anfang in Zustand B und haben Bar generiert.
Was ist wahrscheinlicher? Genau, beides gleich. Beides ist gleich wahrscheinlich,
obwohl wir ja vorher extra uns definiert haben, die Wahrscheinlichkeit in A zu sein.
Am Anfang ist unendlich viel wahrscheinlicher, als in B zu sein,
weil die Wahrscheinlichkeit am Anfang in B zu sein, ist null.
Und die Wahrscheinlichkeit am Anfang, in A zu sein,
ist eins. Und jetzt dadurch, dass wir irgendwas beobachten,
das wir nie gesehen haben, sinken alle unsere Wahrscheinlichkeiten zu null.
Das heißt, es ist völlig egal, welche Beobachtungsfolge wir haben. Das heißt,
wenn wir irgendwie einen Spracherkenner haben und zwischendurch würde irgendwie ein Wort kommen,
wo er sagt, ach,
die Wahrscheinlichkeit davon ist null,
wäre es für ihn auch dann im Nachhinein völlig egal,
was er für den Rest erkennen würde oder für das
wird davor
Könnt ihr sagen, ja, das war null,
dann ist die Gesamtwahrscheinlichkeit ja eh null, dann kann er auch völligen Quatsch rausgehen.
Obwohl er ja sinnvollerweise, sowohl am Anfang als auch am Ende,
als auch idealerweise bei dem Wort,
das er nicht kennt, irgendwas Sinnvolles rausgeben würde.
Aber dadurch, dass quasi alle unsere Berechnungen dazu führen,
ist eh null, haben wir überhaupt nichts mehr,
was wir überrechnen können.
Ist das gut oder ist das schlecht? Das will ich
nicht, Alter. Tada, ja genau, es ist schlecht.
Hatte man jetzt so ein Glamäßigkeitswerte, alles abhängt,
Das ist das, wo wir jetzt hinkommen gleich.
Also was machen wir jetzt? Ja, Vorschläge, da
haben wir Sicherheitswert. Hast du einen genaueren Vorschlag? Ja,
eins der Heizung ist alles abhängig, was noch nicht gewesen ist.
Und wie berechnet man den? Welche Wahrscheinlichkeit? Wie oft
man so ändert, das ist mein zum Ausland kommen.
Also sagen wir mal so 20 Prozent zum Beispiel. Und was ist,
wenn wir zum Beispiel dann,
da kommen wir nämlich in die ersten Probleme rein,
wenn wir sagen, die Wahrscheinlichkeit, dass wir was Unbekanntes sehen,
20 Prozent und jetzt haben wir über irgendwas gesehen und zwar nur einmal,
und berechnen daraus die Wahrscheinlichkeit und sagen, das ist fünf Prozent.
Dann wäre es plötzlich viermal so wahrscheinlich,
irgendwas zu sehen, was wir noch nie gesehen haben,
als etwas zu sehen, was wir schon mal gesehen haben.
Und das ist natürlich wieder etwas, was wir nicht wollen,
weil die Wahrscheinlichkeit, dass wir was sehen,
was wir vorher noch nie gesehen haben, ist ja geringer als die Wahrscheinlichkeit,
dass wir was sehen, was wir vorher schon gesehen haben.
Das müsste, glaube ich, intuitiv klar sein. Gut. Also, was machen wir dann? Wir wissen eben,
wir haben einen, selbst wenn wir davon ausgehen,
dass wir ein repräsentatives Sampling haben, das heißt,
dass wir keine systematischen Fehler gemacht haben beim Holen unser Trainingsdaten,
das heißt, wir haben eben nicht, was weiß ich,
für unser Sprachmodell nur Sat.1 Talkshows genommen,
sondern wir haben eben wirklich einen repräsentativen Querschnitt über alles,
was Personen im deutschsprachigen Raum so sagen genommen,
selbst dann kann es eben sein,
dass wir Dinge einfach nicht gesehen haben,
einfach weil wir Pech gehabt haben und es eben verpasst haben
Wenn es irgendwie zwei Millionen unterschiedliche Äußerungen gibt oder es gibt,
sagen wir, 100.000 Worte und wir haben eben nur 70.000 beobachtet,
dann haben wir eben 30.000 nicht beobachtet.
Aber das kann eben einfach durch Zufall so passiert sein.
Andererseits ist es ja auch so, dass sie wahrscheinlich,
also wenn wir etwas nur einmal gesehen haben,
dann haben wir da ja quasi Glück gehabt,
dass wir es einmal gesehen haben.
Weil das passt, ist ja offensichtlich so selten da,
dass wir es auch durch Pech und andere Verteilungen
vielleicht gerade einmal nicht
sehen hätten können
Und, ähm, da gibt es verschiedene Ansätze,
wie wir das jetzt möglichst gut lösen können.
Das eine ist, das ist ein sehr einfacher Ansatz,
das ist so ein Pseudo-Account.
Wir fügen eins zu jeder möglichen Beobachtung hinzu. Also das heißt,
wenn wir in Wirklichkeit zehnmal gesehen haben,
dass unser Gangster in L.A. war, dann sagen wir,
okay, wir haben uns elfmal gesehen.
Wenn wir 100 und 1.000 Mal gesehen haben,
dass er in New York war,
dann sagen wir,
okay,
das waren dann
100, 1001001. Ah, das ist ja schrecklich. Und
so weiter. Ja, und wir zählen bei allem einen dazu.
Und auch bei allem, was wir nicht gesehen haben,
zählen wir, wenn wir die Wahrscheinlichkeit berechnen, einen dazu.
Das heißt, die Wahrscheinlichkeit, das gesehen zu haben,
ist dann eben genau halb so hoch wie die Wahrscheinlichkeit von Dingen,
die wir genau einmal gesehen haben.
Weil die Dinge, die wir einmal gesehen haben, zählen wir als zwei.
Die Dinge, die wir nie gesehen haben,
zählen wir als eins. Dadurch haben wir nie Irgendetwas,
wo wir zu einer Wahrscheinlichkeit von null kommen.
Frage, was verlieren wir dadurch? Verlieren wir alles,
was den Luxus, den Klos World, das dann schon gibt.
Das heißt, wir können jetzt im Grunde nichts desto nun
Finger aufschließen
Genau, also das heißt,
die Closed World Ass haben schon Geld dann nicht mehr.
Was ja quasi unser Ziel war auch, dass wir quasi ja nichts,
was wir noch nicht gesehen haben, irgendwie als möglich ansehen.
Das heißt, wir können eben das auch nicht mal ausschließen,
das stimmt. Das ist natürlich gleichzeitig, es kommt immer
auf den darauf an, was jetzt quasi unser Einsatzgebiet ist.
Aber wenn wir quasi explizit sagen, wir wollen jetzt eben,
dass alles, was wir nicht gesehen haben,
auch möglich ist, dann ist das eben eine logische Folge davon.
Also die Closed Wild Assumption gilt nicht mehr.
So, was
Ist denn jetzt, wenn wir uns einfach alle möglichen Emissionswahrscheinlichkeiten angucken?
Haben wir da immer noch eine Wahrscheinlichkeitsverteilung? Also,
wenn wir jetzt zum Beispiel unseren Zustand haben,
hier... Ach, nehmen wir den mal wieder.
S. So. Und jetzt wissen wir zum Beispiel,
wir haben bis dahin immer Fuh beobachtet.
Wie hoch wäre jetzt die Wahrscheinlichkeit in unserem Modell dafür,
dass wir
Fuh beobachtet haben
Sagen wir mal, wir haben es zehnmal beobachtet.
Ja, und wie hoch wäre die Wahrscheinlichkeit?
100 Prozent. So. Und wie hoch ist die Wahrscheinlichkeit,
dass wir Bar beobachtet haben?
Haben wir null Mal beobachtet. Also wie hoch ist die
Wahrscheinlichkeit,
dass wir Bar generieren hier
Ja, aber wenn wir jetzt dieses,
wenn wir eben diesen Ansatz nutzen,
wie oft, was machen wir jetzt mit der Null?
In der Relation lassen, müssen wir zehn Prozent, zwei.
Zehn Sohle, zehn Mal gebrachten, zu 100 Prozent mit
der Relation. Also wir haben das hier zehnmal beobachtet,
dann machen wir unser Pseudocount darauf und sagen, okay,
wir nehmen an,
dass wir es elfmal beobachtet haben
Also, mit Pseudo-Account. So, und jetzt,
das eine, wir haben es neunmal beobachtet,
mit Pseudoaccount haben wir es an wie viel beobachtet,
wie oft beobachtet?
Einmal. Das heißt, die Wahrscheinlichkeit hierfür wäre dann jetzt,
ja, ja, ungefähr zehn Prozent.
Addiert sich das auf zu 100 Prozent?
Nee. So, was kann man dann machen
Aber was müssen wir machen, damit sich das zu 100 Prozent aufgeht?
Kann man das überhaupt? Also wir könnten ja jetzt sagen,
haha, guck mal, das haben wir ja nie beobachtet.
Dann können wir ja einfach,
und wir wissen die Wahrscheinlichkeit, dafür ist 10 Prozent,
dann können wir ja einfach das wieder so normalisieren,
dass wir in der Summe wieder auf 100 Prozent kommen.
Aber wenn wir das nicht beobachtet haben,
wissen wir denn überhaupt, dass wir es beobachten könnten?
Nein, wissen wir nicht. Das heißt,
wir können ja die Wahrscheinlichkeit hierfür erst beobachten,
also berechnen, nachdem wir es beobachtet haben,
die Wahrscheinlichkeitstabelle müssen wir aber vorher schon beobachten, berechnen.
Und das heißt eben, Wir haben hier gar keine richtige
Wahrscheinlichkeitsverteilung mehr, weil wir eben gar nicht richtig wissen,
wie viel wir nicht beobachtet haben.
Weil wir ja nicht wissen, gibt es ja zum Beispiel ein Element,
das wir nur so oft beobachtet haben oder gibt es da vielleicht 100.000 von?
Das ist eben das Problem mit, wenn man,
wenn man dann eben nicht mal mehr weiß,
welche Elemente man
überhaupt nicht beobachtet hat
In manchen Situationen weiß man eben, welche Elemente man nicht beobachtet hat,
weil man eben angeclosed World Assumption hat und sagt, okay,
das ist mein zulässiger Wertebereich und Teile davon habe ich einfach jetzt nie gesehen.
Aber wenn ich mir zum Beispiel einfach alle Worte angucke,
die es im Deutschen vielleicht so gibt,
dann haben wir eben eine total produktive Sprache,
wo wir die ganze Zeit irgendwie neue Worte generieren können.
Und das heißt, sobald man mir eine Liste gibt und sagt,
das sind alle Worte, die es so gibt,
dann kann ich im Deutschen einfach zwei Worte davon aneinanderhängen,
vielleicht noch so ein Fugenerster dazwischen packen und sagen,
haha, ich habe ein neues Wort.
Bam, unsere Wahrscheinlichkeitsverteilung ist keine richtige Wahrscheinlichkeitsverteilung mehr
Und das ist zum Teil eben einfach unproblematisch,
weil wir vielleicht gar nicht an den Wahrscheinlichkeitsverteilungen an sich interessiert sind,
sondern zum Beispiel nur daran interessiert sind, gegeben unsere Beobachtung,
was ist die wahrscheinlichste Verteilung oder was ist der wahrscheinlichste Weg durch unsere Zustände.
Dann haben wir das Ganze ja schon,
da wollen wir ja gar nicht mehr wissen,
wie wahrscheinlich ist diese Beobachtung jetzt oder hier oder da
und können das eben einfach ignorieren.
Aber das muss man eben in meinem Hintergrund,
im Hinterkopf behalten, wenn man solche ad hoc Änderungen macht,
kann es eben dazu sein,
dass man plötzlich
kein Wahrscheinlichkeitsmaß mehr hat
Genau. Einen anderen Ansatz, den ich jetzt hier nicht
weiter vorstellen werde, ist so etwas wie den Good-Turing-Ansatz.
Das ist von dem Turing. Da wird davon ausgegangen,
dass man eben eine Wahrscheinlichkeitsverteilung davon hat,
eben über die verschiedenen Elemente.
Und man guckt immer, wie oft habe ich zum Beispiel
bei meinen Beobachtungen
ein Element
nur einmal gesehen
Und wie oft habe ich ein Element nur zweimal gesehen und so weiter
und kann dann daraus berechnen, wie wahrscheinlich ist es,
dass es noch, wie wahrscheinlich noch andere Elemente sind,
die man eben jetzt zufällig gar nicht gesehen hat.
Also das heißt, wenn ich zum Beispiel fünf Elemente habe,
die ich jeweils hunderttausendmal gesehen habe,
oder ich habe 30 Elemente und die habe ich jeweils zwei Millionen mal gesehen und ich habe kein Element weniger als hunderttausendmal gesehen,
dann ist es ja sehr unwahrscheinlich, dass ich ein Element habe,
das ich jetzt nicht gesehen habe,
weil es eben auch so kein Element gibt,
was ich zufällig
genau einmal gesehen habe
Und damit kann man dann toll rumrechnen und kommt dann eben zu
ziemlich guten Vorhersagen. Das ist schon in den 40ern,
glaube ich, entwickelt worden, zum Brechen des Eligma-Codes.
Und dann ist das irgendwie wieder in Vergessenheit geraten und
es ist irgendwie Anfang der 90er wieder quasi aus seiner Versenkung
gehoben worden und wird eben auch relativ viel benutzt.
Das heißt eben, man kann anhand der Häufigkeitsverteilung der Beobachtung,
die man hat, eben berechnen,
wie wahrscheinlich es ist,
dass man bestimmte Elemente nicht gesehen hat
So, das ist das eine, das,
jetzt haben wir immer über Emissionswahrscheinlichkeiten geredet.
Es kann ja aber auch sein, dass Transitionswahrscheinlichkeiten einfach zufällig
nicht gesehen wurden. Also das heißt, wenn wir jetzt
zum Beispiel uns so ein Part of Speech Chacker angucken.
Und da können wir einfach zählen, wie oft ist von
Zustand A in Zustand B gegangen worden und so weiter.
Können wir da einfach durchzählen, weil wir die Daten alle haben?
Dann kann es ja sein, dass einfach bestimmte Kombinationen so selten aufgetreten sind,
dass wir sie in unseren Trainingsdaten nie gesehen haben. Insbesondere,
wenn wir irgendwie dann höher Hire-Order,
Marker of Models haben, wo wir eben sagen,
der aktuelle Zustand hängt nicht nur von den vorherigen Apps,
sondern von den beiden vorherigen oder von den drei vorherigen oder so weiter,
weil je mehr wir da reintun, desto seltener wird es,
genau diese Kombination schon mal gesehen zu haben.
Und jetzt können wir da natürlich wieder genauso wenig sagen,
ja ha, wenn wir das nie gesehen haben,
dann ist die Wahrscheinlichkeit null.
Weil das eben nicht stimmt. Es könnte ja zum Beispiel
sein, dass wir ein bestimmtes Wort haben.
Im Englischen gibt es zum Beispiel eine Wortklasse, da werdet
ihr gleich raten können, welche Worte da alle drin sind.
Hinweis, es ist genau ein Wort, das in dieser
Wortklasse drin ist. Dafür haben sie eine eigene Wortklasse gemacht.
Und jetzt heißt das ja, dass wir sagen können,
dieses Wort, ich schreibe das mal klein.
Dieses Wort kommt nur in dieser Wortklasse vor.
Und jetzt beobachten wir das Wort, haben davor aber irgendwie gesagt,
ja, aber irgendwie war das, müssen wir irgendwie anders dahin gekommen sein.
Jetzt, weil wir hier irgendwie Ex, Y,
Z, irgendwie drei verschiedene Tags so hatten und sagen,
ja, das kann ja jetzt gar nicht dahinter kommen.
Und dann fällt die Wahrscheinlichkeit wieder auf null. Damit ist
plötzlich alles irgendwie ganz schlecht und das wollen wir nicht.
So, das heißt, wir wollen ihn auch bei den Transitionswahrscheinlichkeiten möglichst eben das Abfangen.
Und wenn wir so höher ortrige Mark-Off-Modelle haben, dann kann man das machen,
indem man statt eben direkt die Wahrscheinlichkeit abhängig zu machen von den zwei vorherigen Zuständen oder von dem einen vorherigen Zustand,
kann man dann das sowohl von den zwei vorherigen Zuständigen abhängig machen,
als auch von dem Zustand davor,
als auch von der Wahrscheinlichkeit für den Zustand selber.
Und das gewichtet man jeweils, sodass man sagt,
zum Beispiel mit 95 Prozent nehmen wir eben die Wahrscheinlichkeit gegeben,
die beiden vorherigen Zustände rein, mit vier Prozent nehmen wir die Wahrscheinlichkeit gegeben,
den vorherigen rein und mit einem Prozent nehmen wir eben die Apriori-Wahrscheinlichkeit für diesen Zustand selber rein.
Das heißt, wenn wir diese Folge nie gesehen haben,
aber wir haben diese Klasse schon mal gesehen,
also diesen Status, diesen Zustand,
dann haben wir immerhin noch eine positive Wahrscheinlichkeit,
auch wenn sie eben sehr gering ist,
weil zum Beispiel unsere ersten beiden Summanten null sind,
dann haben wir immer noch irgendwie 0,01 mal die Apriori-Wahrscheinlichkeit von
diesem Zustand selber
Damit können wir das Ganze eben glätten.
Deswegen nennt sich das auch Smoothering. Wichtig dabei ist eben,
ich habe jetzt hier einfach irgendwelche Faktoren hingeschrieben.
Es soll natürlich so sein, dass sie Gewichtung singt,
aber welche Werte das jeweils annimmt, muss man wieder durch ausprobieren,
rausfinden.
Muss man eben versuchen,
die möglichst zu optimieren
Ha, das war's. Mehr habe ich dazu jetzt gerade
gar nicht zu erzählen. Aber, dann kann ich noch kurz sagen,
die Alternative dazu ist eben so eine Art Backoff zu machen. Das heißt,
man sagt eben, wenn ich das nie gesehen habe,
hier, dann ist die Wahrscheinlichkeit nicht null,
sondern irgendwie zum Beispiel wieder die Hälfte von dem,
was ich am seltensten gesehen habe.
Oder sowas in der Richtung. Das heißt, man springt
einfach zurück. Oder man sagt eben, wenn ich,
ich nehme normalerweise diese Wahrscheinlichkeit und wenn ich das nie gesehen habe,
dann nehme ich diese Wahrscheinlichkeit und multipliziere sie irgendwie mit einem Faktor,
um dann nochmal dass die Wahrscheinlichkeit möglichst zu dämpfen.
Und wenn ich das auch nie gesehen habe,
dann gehe ich stattdessen hier hin und nimme dann nochmal
noch viel fieseren Faktor, um das Ganze zu dämpfen.
Da kommt man eben auch mit solchen Ad-hoc-Sachen immer in das Problem,
dass man irgendwie keine Wahrscheinlichkeitsverteilung in dem Sinne mehr hat.
Das kann einem aber eben manchmal einfach im aktuellen Fall völlig egal sein,
ob das nur eine richtige Wahrscheinlichkeitsverteilung ist oder nicht,
weil wir eben einfach nur den wahrscheinlichsten Pfad da durchgehen wollen oder irgendwie sowas.
Und dann sagen wir, ja, ist uns egal,
ob sich das jetzt irgendwie theoretisch auf einsummieren würde oder nicht
Dazu gibt es auch irgendwie von,
zu den Ansätzen gibt es bestimmt irgendwie sieben verschiedene,
die man irgendwie nutzen kann, die alle unterschiedliche,
theoretische und praktische Vor- und Nachteile haben.
Das wird dann aber eben recht speziell. Wichtig ist eben zu wissen,
in vielen Anwendungsfällen muss man so etwas machen,
weil man eben sonst einfach dazu kommt, dass irgendwie der ganze Algorithmus zusammenbricht.
Und wenn man das machen muss, sollte man sich vor,
zumindest nochmal damit beschäftigen, was man davon jetzt macht,
weil das durchaus Auswirkungen darauf haben kann,
wie gut
das Modell funktioniert
Gut, wenn ihr keine Fragen habt, mache ich nochmal einen kurzen,
eine kurze Zusammenfassung von dem, was wir gemacht haben.
Oder habt ihr jetzt Fragen bis hierhin dazu? Gut. Also,
was wir gesehen haben, ist erstens, wir können Hidden Markeauf-Modelle trainieren,
ohne jemals die realen Zustände gesehen zu haben,
indem wir so einen iterativen Algorithmus nutzen, eben den Baum-Welch-Algorithmus.
Da haben wir aber eben immer das Problem,
dass wenn wir es zu lange trainieren,
dass wir in dieses Overfetting reinkommen, was eben daran liegt,
dass wir immer zu wenig Daten haben, Wir müssen eben versuchen,
möglichst von dem Overfitting wegzukommen und wir müssen versuchen,
möglichst einen Anfangszustand zu haben, der passt.
Schon möglichst gut. Weil je besser wir,
da wir eben nur besser werden können oder beziehungsweise nur wahrscheinlicher werden können,
ist ein guter Anfangszustand immer schon die halbe Miete.
Oder wenigstens die Viertelmüte. Dann haben wir eben dadurch,
dass wir einfach nicht alles beobachten können, immer das Problem,
dass wir Dinge einfach nicht beobachtet haben,
obwohl sie irgendwie in der Welt vorkommen.
Und da müssen wir eben möglichst versuchen,
mit Smoothing Oder mit anderen Möglichkeiten, das auszugleichen.
Das heißt, wir müssen die Emissionswahrscheinlichkeiten so anpassen,
dass eben auch Sachen, die wir nie gesehen haben, möglich sind.
Und wir müssen die Emissionswahrscheinlichkeiten so anpassen, dass eben auch Übergänge,
die wir nie gesehen haben, trotzdem möglich sind.
Und wenn wir das machen, dann haben wir ein
relativ robustes System, das erstaunlich viel machen kann.
Und das sind alles Dinge, die eben in der realen
Welt die ganze Zeit eingesetzt werden. Also das heißt,
das ist das, was man braucht für Spracherkennung.
Das braucht man für genau so ein Part of Speech Hagging
oder kann man dafür nutzen
Und für die ganze Dekodierung von Signalen, auch in eurem Rechner,
euer GPS-Gerät, macht das, was ich gerade eben gesagt hatte,
mit dem Kallmann-Filter quasi schon von selber. Das heißt,
ein GPS-Gerät, wenn ihr in den Tunnel reinfährt,
sagt nicht, oh, ich bin plötzlich stehen geblieben,
weil die Wahrscheinlichkeit plötzlich stehen zu bleiben,
sondern gerade eben noch mit 100 kmh oder nex gefahren ist,
ist sehr gering.
Die Wahrscheinlichkeit ist viel höher, dass man weitergefahren ist und
nur gerade das Signal nicht mehr richtig ist.
Und das heißt eben, genau das ist etwas,
was man in ganz vielen Bereichen findet.
Bis hin, ich glaube sogar zum Ethernet,
wo man eben unten irgendwie versucht,
Fehler automatisch auszubügeln