Okay, einen schönen guten Tag. Ich hatte gestern ein
längeres Gespräch mit einem der Studierenden hier, wo ich gleich vorweg schicken muss,
dass ich sehr dankbar bin für dieses Gespräch.
Es ist irgendwie ein Phänomen, was mich schon die ganze Zeit beunruhigt.
Und wo ich keine richtige Erklärung dafür habe,
dass in dieser Veranstaltung praktisch keinerlei Gespräch zustande kommt.
Ich verbaue von Zeit zu Zeit mal Fragen ein.
Die Response ist sehr, sehr unterschiedlich. Was ich aber insbesondere vermisse,
ist nicht, dass sie auf die Fragen nicht antworten.
Da gibt es ja immer mehrere Erklärungen dafür, warum das
so ist. Was mich beunruhigt, ist die Tatsache,
dass sie
keine Fragen stellen
Ich habe praktisch so gut, wie noch keine Einzelverständnisfrage gekriegt.
Trotz der Tatsache, dass ich den Eindruck habe,
dass 95 Prozent von Ihnen überhaupt nicht wissen, wovon ich spreche.
Ich hoffe, ich nehme an, dass dieser Eindruck mich täuscht.
Sie müssen sich jetzt nicht outen in der Angelegenheit.
Die Sorge, die mich umtreibt, ist, woran liegt das?
Ich bin hier dazu da, um was zu erklären.
Ich bin dazu da, auch Fragen zu beantworten.
Und insbesondere auch Verständnisfragen. Wenn Sie an irgendeiner Stelle nicht wissen,
wovon reden wir jetzt gerade, dann ziehen Sie die Notbremse.
Und dann werde ich darauf reagieren,
so wie ich jetzt gleich darauf reagieren werde
Es ist eine Feststellung gewesen, auch in dem Gespräch,
dass offensichtlich die Vorlesung mit den Übungen recht wenig zu tun hat.
Das ist auch etwas, was sich im abstrakten Fall
nicht nachvollziehen kann. Wir machen in der Übung Dinge,
die zum großen Teil hier in der Vorlesung auf dem elementaren Niveau
mal durchgerechnet worden sind, die auch im Buch so erklärt sind.
Und ich wundere mich dann außerordentlich, weshalb bei der dir,
ich wollte eigentlich die Frage nicht ansprechen,
aber jetzt bin ich dabei. Das bei der Diagnoseaufgabe,
95 Prozent geschätzt, auch nicht im geringsten daran denken,
dieses Lösungsverfahren anzuwenden, was sowohl im Buch besteht,
als auch hier in der Vorlesung behandelt wurde und hier durchgerechnet worden ist.
Zwar am Beispiel der elektrischen Schaltung und nicht am Beispiel des Motors.
Aber diese Transferleistung ist das, was die Übung erbringen soll.
Dass man sich anschaut, was sind die Gemeinsamkeiten,
was sind die Unterschiede, wie kann ich eine Lösung,
die für Problem X existiert, auf Problem Y übertragen.
Das war das Ziel der Übung. Und dass dann alle
möglichen Lösungsvarianten kommen, die teilweise völlig frei extemporiert sind,
aber mit dem bewährten Lösungsverfahren, die hier behandelt worden sind,
nichts zu tun haben,
da wundere ich mich
schon ausordentlich
Gleiches gilt also auch für die besten Netze. Ich habe
hier Lösungsverfahren eins nur andiskutiert. Das ist das Sampling,
weil für das Sampling braucht man immer große Datenmengen,
die wir nicht zur Verfügung haben.
Aber gegeben, wir haben Wahrscheinlichkeitsverteilungen, habe ich hier mit
dem bayablen Eliminationsverfahren ein Berechnungsverfahren bis auf die unterste Ebene durchgerechnet.
Dass ich in die Faktoren gezeigt habe, wie man Faktoren miteinander multipliziert,
wie man vaiablen eliminiert, entweder durch Einsätzen von Werten,
wodurch eine im Sinne der Datenbanktechnik eine Projektion erzeugt wird,
von einem hochdimensionellen, höherdimensionalen Raum in ein niedriger dimensionalen Raum.
Oder aber über das Ausmultiplizieren von zwei Faktoren,
was im Prinzip der Join-Bildung in der Datenbank-Technologie entspricht.
Das habe ich hier behandelt. Und insofern wundere ich mich
ein bisschen, dass das alles nicht zählt.
Dass es dann hinterher heißt, ja,
dass zwischen Vorlesung und Übung gibt es keinerlei Berührungspunkte.
Ich mache also auf Anregung von gestern hin jetzt nochmal einen Einschub,
dass ich versuche, die grundlegenden Algorithmen nochmal auf einer Ebene weiter unten zu erklären,
als ich das bisher gemacht habe.
Ich habe zwei verschiedene Verfahren vorgestellt. Einerseits habe ich pauschal gesagt,
in einem Hidden-Mark-Off-Modell, beispielsweise als spezielle Form eines basischen Netzes,
können wir über vaiablen Eliminierung beliebige Lösungen berechnen.
Das ist, wir haben gesehen, was bei Jablen Eliminierung ist.
Wir wenden das auf Hidden-Mark-Off-Modelle an.
Das ist das abstrakte Niveau. Das ist das Niveau,
was wir
tatsächlich erreichen müssen
Denn erst, wenn ich mich auf dieses Niveau begebe,
bin ich überhaupt in der Lage, größere Probleme zu lösen.
Wenn ich immer auf der Ebene der Einzelwahrscheinlichkeiten arbeite und denke,
werde ich von der Komplexität erdrückt werden.
Deshalb erfindet die Informatik Abstraktionsebenen, dass sich über diese Details
oder von diesen Details abstrahieren kann und zu den generellen Zusammenhängen kommen.
Und die generellen Zusammenhänge sind eben, wir haben bedingte Wahrscheinlichkeitstabellen,
die wir miteinander kombinieren müssen, durch Faktoren, Multiplikationen.
Und wir geben eine Illiminationsreihenfolge vor, die typischerweise der Zeitfolgen
von links nach rechts geht. Also es werden immer Beobachtungen
in die mit bedingten Wahrscheinlichkeitstabellen für die Emissionswahrscheinlichkeiten eingesetzt.
Und es werden dann die Initialwahrscheinlichkeiten für den Übrigbleibenden,
für das übrigbleibende basische Netz, über dieses Ausmultiplizieren mit dem ersten Strukturknoten eliminiert.
Das ist das abstrakte Herangehen. Das konkretere Herangeben ist die
klassische Notationsweise für die verschiedenen Algorithmen, die es für Hidden Mark of Modelle gibt.
Und da hatten wir verschiedene durchgesprochen. Dass sich beispielsweise ermitteln kann,
wie groß die Wahrscheinlichkeit ist, mit einer Beobachtungssequenz einen bestimmten Zustand zu erreichen.
Oder wie groß die Wahrscheinlichkeit dafür ist,
in der Vergangenheit einen Zustand passiert zu haben.
Oder wie groß die Wahrscheinlichkeit dafür ist, in der Zukunft,
also ohne irgendwelche vorliegenden Beobachtungen in einem Zustand zu landen.
Oder aber, wie groß ist die Wahrscheinlichkeit, eine beliebige Zustandssequenz zu ...
Wie groß ist die Wahrscheinlichkeit für die Beste? Nein,
was ist die beste Zustandssequenz? Was ist die beste Zustandssequenz,
die ich in einem gegeben, eine Beobachtung ermitteln kann.
So, und da habe ich hier, es gibt verschiedene
Modelle oder verschiedene Anwendungskünstliche Anwendungen. Es sind keine Anwendungen,
künstliche Anwendungen für Hit-Mark-Off-Modelle, die zur Erklärung herangezogen werden.
Üblicherweise, eins davon ist das Wettermodell, ja,
ich habe verschiedene Zustände, die sagen, es ist,
ja, das ist jetzt wieder die Frage, ja,
sagen wir so, es gibt verschiedene Zustände.
Das Problem ist, ich kann die Zustände auch direkt beobachten.
Dieses Beispiel hat den Vorteil, dass sich die Zustände nicht
beobachten kann
Die beim Wetter ist es also so, dass ich verschiedene Wetterlagen habe,
wie Regenwetter, Sonnenwetter, also Hochdruck, Tiefdruckwetter.
Und davon hängen bestimmte Beobachtungen ab. Also beispielsweise, ich
werde nass. Und all das ist nur über Wahrscheinlichkeiten gekoppelt,
denn nicht immer, wenn es an einem Tag regnet,
muss ich tatsächlich auch nass werden.
Ich könnte Glück haben und bleibe gerade trocken. Also ist
das nur in einer bestimmten Prozentzahl der Fälle tatsächlich gegeben,
dass ein Regenwetter dazu führt, dass ich tatsächlich auch nass werde.
Das ist ein übliches Anwendungsbeispiel, was immer diskutiert wird.
Ich habe dieses hier genommen, weil es so herrlich herrlich
politisch inkorrekt ist. In meinem Garten wütet der Maulwurf.
Und das Problem muss gelöst werden. Also es gibt diverse Tunnel,
wenn es nur die Tunnel wären, wäre das das harmlose.
Es gibt auch noch Maulwurfs Haufen und alle, die damit verbundenen Erscheinungen.
Und es gibt also solche Haufen. Wir werden die Zahl begrenzen.
Es gibt nur drei Maulwurfshaufen. Und jetzt ist die Frage,
wie kann ich abschätzen, wie groß die Wahrscheinlichkeit ist,
dass der Maulwurf an einem dieser Haufen als nächstes auftaucht,
sodass ich also irgendeine Form von Tötungsmaschinerie darauf ansetzen kann oder
eine Falle
Für die, ich bin ja, oder für die mehr zartbeseiteten Leute
eine Falle aufstellen kann, um den Maulwurf zu fangen.
Das Internet ist übrigens auch nicht nur für Maulwürfe,
auch für Wühlmäuse, voll von Rezepten,
wie man den Tieren beikommen kann.
Offensichtlich ein sehr, sehr drängendes Problem für Gartenbesitzer. Gut,
also im einfachsten Falle, wenn wir keinerlei Beobachtungen haben,
dann können wir was machen.
Ja. Bitte? Eines Was
Eine Gleichverteilung annehmen. Ja, das ist wie immer,
damit haben wir keinerlei Gewinn erzielt. Wir können es besser machen.
Wir können tatsächlich eine Marktoff-Kette modellieren und können mithilfe dieser Marktoff-Kette
Prediktion für die Zukunft machen. Also gegeben ist,
wir haben drei solche Maulwurfshaufen gegeben und wir wollen wissen,
wie groß ist die Wahrscheinlichkeit, dass er demnächst in einem
dieser Haufen auftaucht oder nach einer bestimmten Anzahl von Schritten.
Im Übrigen, die Folien sind nicht direkt übernommen,
aber angepasst an Folien von einem Kollegen an der MIT.
Also wenn irgendjemand an der Lehrwürdigkeit des Beispiels zweifelt,
ich habe es auch nur gebeugt.
Was wir brauchen, sind Transitionswahrscheinlichkeiten. Wir müssen also sagen können,
wie groß ist die Wahrscheinlichkeit,
dass wenn der Maulwurf gerade im Haufen X1 aufgetaucht ist,
er als nächstes im Haufen X1 wieder auftauchen wird.
Oder wie groß ist die Wahrscheinlichkeit? Er war
gerade am Haufen X1. Wie groß ist die Wahrscheinlichkeit,
dass er als nächstes am Haufen X2 auftaucht und so weiter und so fort.
Also eine bedingte Wahrscheinlichkeitsverteilung über Einfach nur Haufen. Also das ist
die Abfolge von Besuchen, die der Maulwurf an seinen verschiedenen Haufen macht.
Und das ist etwas, umständlich zu schreiben.
Deshalb habe ich in diesen algorithmischen Ausbuchstabierungen eine Kurznotation verwendet.
Das steht für Transitionswahrscheinlichkeiten und wann immer ein Index da ist,
heißt das, Maulwurf ist ein Haufen Eins und taucht als
nächstes ein Haufen Eins wieder auf.
Oder Maulwurf ist ein Haufen Drei und taucht als nächstes ein Haufen Zwei wieder auf.
Es ist nur eine andere Notationsweise für genau diese Informationen.
Während hier also immer erster Zustand, Folgezustand kodiert ist,
ist also hier,
dass in der zeitlichen Reihenfolge
Früherer Zustand, Folgezustand in der Reihenfolge angegeben. Und dann
brauchen wir eben diese Wahrscheinlichkeiten. Und wir sehen natürlich,
dass wenn wir im Zustand Zustand 1 sind, die Wahrscheinlichkeiten anschließend im Zustand 1,
2 oder 3 aufzutauchen, eine komplette Wahrscheinlichkeitsverteilung sind.
Das heißt, sie summieren sich immer zu eins.
Genau das Gleiche für die zweite Zeile, wenn ich eben,
wenn der Maulwurf am Haufen 2 war,
dann müssen sich die Wahrscheinlichkeiten dafür,
dass er als nächstes an den Haufen 1,
2 und 3 auftaucht,
auch wieder zu einsummieren
Das ist das eine, was wir brauchen und das andere sind Initialwahrscheinlichkeiten.
Das geht jetzt an die Frage, die Sie aufgeworfen haben,
also was nehmen wir am Anfang an, wo ist der Maulwurf?
Wir können entweder eine Gleichverteilungsannahme machen, was könnten wir noch machen?
Ja, auf unsere Erfahrung werde ich. Ja,
da sind wir oder wenn ihr die Erfahrungswerte,
die hier generiert sind, ist natürlich richtig,
aber im Idealfall haben wir eine Beobachtung zur Verfügung.
Im Idealfall haben wir eine Beobachtung,
was sagt uns eine Beobachtung für diese Initialwahrscheinlichkeiten
Also die Beobachtung wird dem Weiteren sein. Wir sind beim Haufen,
wir wissen, hier steht es ja. Wir wissen mit Sicherheit,
dass er zum Zeitpunkt 1 an Haufen 1 aufgetaucht ist.
Die Wahrscheinlichkeit soll gleich eins sein. Heißt also die anderen Wahrscheinlichkeiten müssen was sein.
Ja, ja, das ist ein sogenannter One-Hot-Wake-Tor.
Er kann nur an einem Punkt gleichzeitig sein,
wenn es nicht eine ganze Herde von Maulwürfen ist.
Er ist also am Anfang am Haufen 1 gesichtet worden,
die Wahrscheinlichkeit dafür ist eins.
Wir haben es gesehen für die anderen Haufen ist die Wahrscheinlichkeit
gleich null
Und jetzt können wir eben hingehen,
was wir kalkulieren wollen, ist diese Wahrscheinlichkeitsverteilung,
die uns sagt, zu einem bestimmten Zeitpunkt D,
das ist also hier in dem Text gegeben,
den müssen wir nochmal angucken.
Wir haben jetzt Zeit, um unsere Wunderwaffe zu holen,
mit der wir den Maulwurf den Garaus machen wollen.
Und während dieser Zeit bewegt sich der Maulwurf ja weiter.
Also D-Zeitschritte und jetzt wollen wir wissen,
wo sollen wir nach einer bestimmten Anzahl von Zeitschritten uns postieren,
damit wir an dem Haufen stehen,
wo der Maulwurf mit der größten Wahrscheinlichkeit vorbeikommt
Hier muss man noch eins dazu sagen, dass dieses Beispiel
natürlich, wie alle solche Beispiele, hochgradig getweekt ist.
Also was heißt hier diese Null-Wahrscheinlichkeit? Wir können das ja auch als Transition,
als zustandsbasierten Grafen wieder aufmalen, der also sagt,
wir haben einen Zustand X1,
wir haben einen Zustand X2, einen Zustand X3,
von eins nach eins komme ich mit der Wahrscheinlichkeit 0,1,
von eins nach zwei komme ich mit der Wahrscheinlichkeit 0,4
und von eins nach drei komme ich mit der Wahrscheinlichkeit 0,5.
Von zwei nach eins
komme ich mit der Wahrscheinlichkeit
Vier. Von zwei nach zwei komme ich überhaupt nicht.
Das heißt, er zwei ist offensichtlich ein unwirtlicher Ort,
wo der Maulwurf nicht gerne verweilt.
Da will er weiterziehen. Anders ist es nicht zu interpretieren
. Von zwei nach drei komme ich mit der Wahrscheinlichkeit 0,6.
Von drei nach eins. Das ist dir kannte hier,
komme ich mit der Wahrscheinlichkeit von null.
Oder aber gleichbedeutend damit,
es gibt keine Kante
Warum das so ist? Darüber sagt das Beispiel natürlich überhaupt
nichts. Das ist immer die Frage von null Wahrscheinlichkeiten.
Und diese null Wahrscheinlichkeiten sind hier nur aufgenommen worden,
weil ja im Endeffekt zeigen muss, dass warum ich Pitalbedicoding brauche.
Weil nämlich genau dann,
wenn ich lokal durchs Moothing lokale maximale Wahrscheinlichkeit festgestellt habe,
also an den einzelnen Zeitschritten weiß,
was ist der Zustand mit der größten Wahrscheinlichkeit,
den ich dort einnehmen kann,
kann das zu einer Zustandssequenz führen,
die durch eine solche Null-Wahrscheinlichkeit durchmüssen.
Und deshalb im Sinne dieses Modelles
unmöglich sind
Während der Vitterbi-Algorithmus nur solche Kombinationen überhaupt betrachten kann,
die bezüglich des Modells legal sind,
weil er nämlich immer sofort die Transitionswahrscheinlichkeit auf das Zwischenergebnis drauf multipliziert.
Und wenn die null ist, dann wird eben die Gesamtwahrscheinlichkeit null.
Solange ich noch über alternative Pfade summiere, wie es beim Vorwärtsalgorithmus ist,
habe ich ja noch Alternativen dahin zu kommen.
Beim Vitterbi-Algorithmus entscheide ich mich aber für das Maximum.
Es gibt also nur einen maximalen Pfad und wenn der blockiert
ist,
habe ich
ein Problem
So, wo waren wir stehen geblieben? Das ist null
von 3 nach 2 mit 0,6 von 3 nach 2 mit 0,6.
Und von 3 nach 3 mit 0,4. Dort hält sich
der Maulwurf offensichtlich gerne auf. Was wir hier sehen,
ist, dass an diesen Stellen es tatsächlich symmetrisch ist,
die Wahrscheinlichkeit, dass er von da nach dort und wieder zurückgeht,
an anderen Stellen fehlt diese Symmetrie.
Also es gibt keine inhaltlichen Erklärungen dafür,
die Zahlen sind nur gemacht worden,
um dann im Endeffekt zu zeigen,
warum das eine Verfahren im Ablauf besser geeignet ist als ein
anderes Verfahren
So, also wir haben dann die Anfangsbeobachtung mit dem One-Hot-Vector und wir wollen jetzt Prädiktionen machen.
Die Prädiktion heißen also zu einem bestimmten Zeitpunkt in der Zukunft,
wollen wir wissen, wie groß ist die Wahrscheinlichkeit an einem dieser drei Haufen aufzutauchen?
Generell läuft das Ganze immer auf eine Rekursionsvorschrift hinaus,
die sagt, ich kann die Wahrscheinlichkeit an einem,
zu einem bestimmten Zeitpunkt D immer zurückführen auf die Wahrscheinlichkeiten zu einem Zeitpunkt D-Minus 1,
an einer Menge von Vorgängerzuständen,
von denen aus ich in den aktuellen Zustand kommen kann,
also wenn ich die Wahrscheinlichkeit diesen Zustand wissen will,
dann habe ich ja drei mögliche Vorgängerzustände,
von denen aus ich in diesen Zustand kommen kann,
multipliziert mit der Transitionswahrscheinlichkeit von, oh sorry,
das muss genau umgekehrt sein,
die Folien sind heute Nacht entstanden.
Es war eins oder sowas. Das Prime muss an einer anderen Stelle stehen,
die Wahrscheinlichkeit von S, Prime nach S zu kommen.
Denn ich möchte ja in dem Zustand es landen,
von Zustand S. Prime gehe ich aus.
Und hier ist es richtig rum.
Es ist also Nachfolgezustand von S. Prime
Und für alle diese As-Primes muss ich das hier tatsächlich machen.
Also hier, nur müssen die Indizes vertauscht werden. Das ist die allgemeine Vorschrift,
wie ich rekursiv immer aufgrund der früheren Wahrscheinlichkeiten,
äh Quatsch, aufgrund der früheren Wahrscheinlichkeiten, mit Multiplikation,
mit der Transitionswahrscheinlichkeit, die Folgewahrscheinlichkeiten berechnen kann.
So, das können wir jetzt für die individuellen Fälle ausprobieren.
Das ist ja sozusagen eine Einzelwahrscheinlichkeit, die ich hier habe,
die ich berechnen kann. Also ich möchte jetzt zum Zeitpunkt 2
zum Zeitpunkt 1 weiß ich das ja schon, da habe ich eine Beobachtung.
Die stand ja hier auf der vorhergehenden Folie. Das ist die Beobachtung zum Zeitpunkt 1. Jetzt möchte ich wissen,
wie groß ist die Wahrscheinlichkeit, sind die Wahrscheinlichkeiten zum Zeitpunkt 2,
an Zustand X1 zu sein,
also eine Maulwurst auf dem 1. Und da muss ich eben über alle Zustände,
die es gibt, mir die Möglichkeiten vom Zustand S in den einen dieser Zustände hier kommen,
und zwar nein, in den Zustand X1 zu kommen,
also von einem dieser Zustände hier in den Zustand X einzukommen,
denn für den möchte ich die Wahrscheinlichkeit wissen.
Und ich nehme immer die Wahrscheinlichkeit des vorangegangenen Zustandes,
mit der muss ich
das multiplizieren
Dass er also im vorangegangenen Zeitpunkt in diesem einem dieser Zustände war.
Also ich gucke immer, was sind die möglichen Vorgängerzustände?
Ich nehme die Wahrscheinlichkeit, mit der sich in vorhergehenden Zeitschritt
in diesem Zustand befunden hat und multipliziere das mit der Transitionswahrscheinlichkeit
vom vorhergehenden Zustand in den Folgezustand zu kommen.
Heißt also, ich muss die Wahrscheinlichkeit zum Zeitpunkt 1 im Zustand X1 zu sein,
mit der Wahrscheinlichkeit, dass er im Zustand 1 verweilt, multiplizieren.
Das ist also genau diese Wahrscheinlichkeit hier. Dann muss ich,
und das ist die Wahrscheinlichkeit 1, denn dort habe ich ihn beobachtet.
Das heißt also, der erste Somantier ist die Beobachtungsinformationen,
ich habe ihn gesehen, das heißt,
die Wahrscheinlichkeit ist eins, dass er dort war,
multipliziert mit der Wahrscheinlichkeit, dass er dort geblieben ist.
Das ist die erste Variante. Die zweite Variante ist,
er könnte ja vorher auch im Zustand X2 gewesen sein,
dann muss ich die Wahrscheinlichkeit, dass er im Zustand X2 war,
multiplizieren mit der Wahrscheinlichkeit, dass er von zwei nach eins gewandert ist.
Glücklicherweise ist die Wahrscheinlichkeit, dass einem Zustand zwei dank Beobachtung,
dass er dort war, die Wahrscheinlichkeit ist gleich null,
denn ich habe ihn gesehen, dass er dort nicht war,
denn er war am Haufen eins.
Und das Gleiche passiert hier hinten, Da haben wir noch zusätzlich zweimal eine Null.
Einerseits ist diese Beobachtungswahrscheinlichkeit gleich null, weil wir ihn da
nicht gesehen haben und auch die Wahrscheinlichkeit von drei nach eins.
Das ist genau die, wo die Kante hier fehlt,
die ist ebenfalls null. Deshalb bringt es keinen Beitrag,
bleibt also bei der Wahrscheinlichkeit von 0,1,
dass er im nächsten Zeitpunkt am Haufen X1 wieder ist.
Dann müssen wir das für die anderen Fälle auch noch machen.
Also für Haufen zwei, wie groß ist die Wahrscheinlichkeit,
dass er im Haufen zwei auftaucht. Da müssen wir wieder gucken,
die Vorgänger Haufen und das ist ein vollständig verkoppeltes, also ergodisches Modell.
Das heißt, ich kann immer von jedem überall hinkommen.
Modolo, der Tatsache, dass da null Wahrscheinlichkeiten drin sind.
Und ich muss jetzt wieder gucken, was ist die Wahrscheinlichkeit,
dass er im Vorgängerzustand in einem dieser Zustände war, multipliziert mit der Übergangswahrscheinlichkeit,
dass er von diesem Vorgängerzustand in den aktuellen Zustand X2 gekommen ist.
Also im konkreten Fall, wir haben Hier jetzt wieder die Beobachtungswahrscheinlichkeiten einzusetzen.
Und hier sind die Transitionswahrscheinlichkeiten von X1 nach X2 zu kommen,
von X1 nach X2, mit 0,4. Von X2 nach X2
zu kommen, fehlt also null.
Und von X3 nach X2 zu kommen, von X3 nach X2.
Das ist diese Kante ventuell 1,6. Und wir sehen viele schöne
Nullfaktoren drin, wegen der Beobachtung. Das wird sich gleich
dramatisch ändern. Und deshalb kommen wir auf die Wahrscheinlichkeit,
dass er am Anfang in dem Zustand ist,
Für den dritten Zustand das Gleiche wieder, wie wahrscheinlich ist es,
dass er am nächsten Zeitschritt, also im Zeitpunkt zwei,
im Zustand X3 ist. Wir brauchen die Wahrscheinlichkeit der Vorgängerzustände,
multipliziert mit den Übergangswahrscheinlichkeiten, den Vorhergängerzustand wissen wir sicher,
1-0-0,
und die Übergangswahrscheinlichkeiten von den Einzelzuständen nach X3 zu kommen,
sind eben von X-1 nach X3 mit 0,5,
das ist der erste Faktor hier,
von X-2 nach X-3 mit 0,6,
das ist dieser Faktor,
und von X3 nach X3,
das ist dieser 0,4 hier hinten
Die hier hinten fallen weg und es bleibt die 0,5 übrig,
weshalb wir jetzt eine Wahrscheinlichkeitsverteilung haben,
wenn wir die drei zusammenfassen, die sagt,
mit 10 Prozent Wahrscheinlichkeit am Haufen 1, mit 4 Prozent,
mit 40 Prozent Wahrscheinlichkeit am Haufen 2,
mit 50 Prozent Wahrscheinlichkeit am Haufen 3.
Und das Ergebnis ist überhaupt nicht überraschend.
Das Ergebnis ist, stand praktisch schon am Anfang hier drin.
Es ist nämlich genau diese Zeile der Matrix,
die sagt, wenn ich im Zustand X1 bin,
was ist die Wahrscheinlichkeit,
dass ich in den jeweiligen anderen Zuständen lande
Und ich habe eben die Beiträge für diese Zustände sind immer null,
da kommt nichts zusätzliches hinzu, bleibt also nur die Wahrscheinlichkeit aus einem,
nee, das ist Quatsch, was ich jetzt sage,
ich lasse das mal lieber.
Das ist eine Überinterpretation eben gewesen. So, also wir haben
eine Wahrscheinlichkeitsverteilung im Zeitpunkt 1 gehabt, das ist durch die Beobachtung gegeben.
Wir haben eine Wahrscheinlichkeitsverteilung im Zeitpunkt 2, die haben wir eben berechnet.
Und das können wir jetzt auf einem etwas abstrakteren Level betrachten,
was wir hier gemacht haben, ist,
dass wir eine Wahrscheinlichkeitsverteilung für P2 berechnen,
indem wir eine Wahrscheinlichkeitsverteilung für P1 nehmen.
Das ist nämlich genau unsere Beobachtungswahrscheinlichkeit gewesen, also 1-0-0.
Und mit der Transitionsmatrix multiplizieren. Das ist jetzt,
wir gucken uns nicht mehr Einzelwahrscheinlichkeiten an,
sondern wir gucken uns ganze Wahrscheinlichkeitsverteilungen an.
Und können also durch diese Vektor mal Matrix-Multiplikationen eben einen Vektor berechnen,
der uns die Wahrscheinlichkeitsverteilung zum Zeitpunkt P2 beschreibt.
Und das machen wir rekursiv jetzt immer weiter. P3,
die Verteilung berechnen wir, indem wir P2 wieder mit der Transitionsmatrix multiplizieren,
wobei die eben immer unverändert bleibt,
weil wir ein stationäres Mark-of-Modell haben
Beim stationären Markthof-Modell ändern sich die Wahrscheinlichen,
die Übergangswahrscheinlichkeiten während der Traversion des Grafen nicht.
Also zu jedem Zeitpunkt ist die Übergangswahrscheinlichkeit immer dieselbe.
Das heißt, wir multiplizieren immer mit der gleichen Matrix.
Was sich allerdings ändert, sind diese zu dem jeweiligen Zeitpunkt
gegebenen Wahrscheinlichkeitsverteilung. Und das können wir dann eben berechnen,
nach dem gleichen Schema, wie wir das eben gemacht haben,
wir haben immer eine Initialwahrscheinlichkeit für den restlichen Grafen.
Die haben wir eben berechnet. Das ist der Vektor,
der hier vorn steht,
der hier
Und den können wir da reinstecken und jetzt wieder mit Themen
multiplizieren und dann kriegen wir diesen Vector heraus.
Wir können natürlich wieder individuell für die einzelnen Komponenten hier sagen,
was ist die Wahrscheinlichkeit zum Zeitpunkt 3 im Zustand 1 zu sein.
Und dafür können wir die gleiche Prozedur anwenden,
die wir vorher auch angewendet haben.
Und was ist die Wahrscheinlichkeit zum Zeitpunkt 2 im Zustand 2
zu sein oder im Zustand 3 zu sein?
Oder im Maulwurftherminologie, an welchem Haufen taucht er gerade auf?
Und wenn wir das nochmal machen,
dann verändern sich
die Wahrscheinlichkeiten wieder
Etwas. Und das Schöne an diesem Ding ist, das kann ich
ad infinitum fortsetzen. Und das konvergiert jedenfalls unter bestimmten Annahmen,
die hier immer erfüllt sind, konvergiert tatsächlich gegen eine Wahrscheinlichkeitsverteilung.
Wir kriegen also irgendwann ein stationäres Apri-Ori-Modell, was uns sagt,
wenn wir über lange Zeit beobachten, was ist die mittlere Wahrscheinlichkeit,
mit der wir den Maulwurf an den verschiedenen Hügel antreffen.
Und wir sehen also, wenn wir uns an Hügel Nummer 3 platzieren,
ist die Wahrscheinlichkeit am größten, dass wir ihn dort erwischen.
Und zwar ziemlich heftig, fast 50 Prozent,
also wesentlich besser als diese anderen beiden Haufen
Das ist erstmal nur ein reines Mark-of-Modell. Wir haben in keiner Weise Beobachtungen mit hinzugezogen,
außer der Tatsache, dass wir den Initialzustand gekannt haben.
Aber von dem Initialzustand bewegt sich jetzt das Modell ohne äußeren Einfluss immer von Zeitschritt zu Zeitschritt weiter,
berechnet immer wieder die Wahrscheinlichkeit für die nächste,
die Verteilung für den nächsten Schritt,
die dann wieder eingeht in die Berechnung für den übernächsten Schritt.
Und das so weiter. Aber Beobachtungen sind dort an keiner Stelle irgendwie aufgetaucht.
Da müssen wir jetzt dazukommen, dass wir tatsächlich Beobachtung machen können.
Und die Hypothese ist hier, wir können ihn hören,
was er Unwahrscheinliches, habe noch nie einen Maulwurf gehört,
aber wir können ihn nicht sehen, weil es zum Beispiel dunkel ist.
Also wir haben nur irgendwie Gehör und Gehör es immer unscharf in seiner Richtungsperzeption.
Das heißt, wir können nur Grob angeben,
woher das Geräusch kommt, wir können, ist aber nicht exakt sagen.
Was wir jetzt hier haben, sind sogenannte Beobachtungs- oder Emissionswahrscheinlichkeiten,
Emissionswahrscheinlichkeiten deshalb, weil wir ein generatives Modell haben,
was unter der Annahme einer bestimmten Zustandssequenz Beobachtung erzeugen kann mit bestimmten Wahrscheinlichkeiten oder eben umgekehrt,
weil das unsere Beobachtungen sind, die wir machen,
die dann ein,
auf die wir auf die Zustandsfolge rückschließen können
Und das ist also der Vorteil dieses Beispiels hier,
dass sich eine wirklich strikte Trennung zwischen Zuständen und Beobachtung habe.
Also kann eben tatsächlich nicht direkt beobachten, wo befindet sich
der Maulwurf, sondern ich habe nur Wahrscheinlichkeitsbasierte Evidenz.
Dumm ist an diesem Beispiel,
dass sowohl die Beobachtung als auch der Zustand
praktisch den gleichen Wertevorrat teilen
Wenn die Beobachtung von Haufen 3 kommt, kommt genauso gut der Zustand von Haufen 3.
Also Beobachtung und Zustand unterscheidet sich in keiner Weise.
Der Maulwurf ist ein Haufen 3 und ich höre etwas vom Haufen 3.
Ich drücke alles in Begriffen von Haufen aus.
Und das ist das Schlechte an dem Beispiel,
dass ich nicht von vornherein eine Domänentrennung habe.
Wie beispielsweise bei der Kuh, wo ich eben einerseits Beobachtung
habe, ist der Test positiv oder nicht.
Oder und andererseits Zustände habe die Kuh ist krank oder nicht.
Da sind die Wertevorräte für die Zustände völlig anderer als die für die Beobachtung.
Hier sind die Wortevorräte dummerweise die gleichen. Ich rede also immer,
Geräusch kommt von Haufen sowieso und Wahrscheinlich ist der Maulwurf ein Haufen sowieso.
Das ist also ein und dieselbe Welt, in der wir reden. So,
und dann habe ich eben eine Matrix, die jetzt wieder sagt,
ich bin in einem bestimmten Zustand, wie wahrscheinlich ist es,
dass ich dort das Geräusch von eine bestimmte Beobachtung mache.
Also die Beobachtung heißt, Geräusch kommt von Haufen eins und
das heißt, Maulwurf ist ein Haufen eins.
Und dann heißt es eben, 0,6 ist die Beobachtungswahrscheinlichkeit,
das sehe ich der Maulwurf am Haufen eins befindet und dort
auch tatsächlich das Geräusch wahrgenommen wird.
Aber es könnte genauso sein, dass er sich an Haufen eins
befindet und das Geräusch wird aus Richtung von Haufen zwei wahrgenommen.
Oder Ausrichtung von Haufen drei, denn die haben auch Endliche Wahrscheinlichkeitsbeiträge.
Also nicht null Wahrscheinlichkeitsbeiträge. Auch hier machen wir wieder eine
Kurznotation. E heißt Emissionswahrscheinlichkeit und steht dann eben dafür,
wie wahrscheinlich ist es, dass im Zustand eins,
Beobachtung eins emittiert wird und wie wahrscheinlich ist es,
dass im Zustand eins Beobachtung zwei emittiert wird und so weiter und so fort.
Das ist jetzt sozusagen eine Anreicherung des Hidden-Mark-Off-Modells, dass ich
jetzt hier emissionsmöglichkeiten angebe. Also wie wahrscheinlich ist es,
ich bin im Zustand X2, wie wahrscheinlich ist es,
dass ich die Beobachtung eins mache und das ist dann eben
Und wie wahrscheinlich, also es sei sich die Beobachtung,
zwei und drei Macher für die Beobachtung zwei,
es ist 0,6. Und für die Beobachtung drei ist es wieder 0,2.
Das sind die Emissionswahrscheinlichkeiten. Und wir sehen, auch das muss wieder
eine Wahrscheinlichkeitsverteilung sein, die müssen sich zu eins aufsummieren.
Denn andere Beobachtungen außer diesen drei Haufen gibt es nicht.
Deshalb addiert sich das hier immer wieder zu eins.
Und das Ganze ist schön symmetrisch gemacht. Also wir haben die Hauptdiagonale,
die Wahrscheinlichkeit, dass ich das Geräusch von dort höre,
wo es tatsächlich, wo der Maulwurf ist, ist relativ groß.
Die Wahrscheinlichkeiten, dass es abweichend davon ist,
die sind relativ klein
So, erst mal bis dahin, nachvollziehbar. Ja, gut. So,
jetzt machen wir eine Beobachtung und die Beobachtung sagt,
im Zeitpunkt 1 ist der Maulwurf am ersten Hügel im Zeitpunkt 2
und 3 wurde er am dritten Hügel wahrgenommen, gehört.
Wir reden über, die Beobachtungen sind immer Hörempfindungen.
Wir wissen nicht, ob er dort ist,
weil unser Gehörvermögen schlecht ist, um das zu lokalisieren.
So, und jetzt sollen wir also Verteilungen von Zuständen berechnen,
zum einem bestimmten Zeitpunkt, also beispielsweise am Ende der Beobachtungskette und also zum Zeitpunkt 3.
Wo befindet sich der Maulwurf wahrscheinlich hier zum Zeitpunkt 3?
Oder ich möchte auch wissen, was ist die wahrscheinlichste Zustandsfolge,
die ja während dieser Beobachtung durchlaufen hat.
Wenn ich also die Zustands, die Wahrscheinlichkeitsverteilung über den Endzuständen
haben will, was brauche ich für einen Algorithmus?
Dass wir so alles zur Auswahl haben. Also ich springe
auch meinen Mund da zwischen den Folien hin und her.
Ich muss mal gucken, ob ich die hier irgendwo Nö,
habe ich nicht. Warum habe ich die nicht hier?
Ach so, die sind auch im Netz. Da werden
sie gleich sehen, dass das gut abgehangene Beschreibungen sind.
Kann ich das auch größer machen hier?
Die vier Varianten haben wir für das Erklärungsproblem.
Ja. Also die Thermen würde ich vorschreiben oder vorher.
Das sind zwei völlig unterschiedliche Dinge. Also dann mal
eine Entscheidung her
Leider nein. Es ging um die Frage, was müssen wir verwenden,
wenn wir die Zustandsverteilung am Ende der Beobachtungssequenz wissen wollen.
Jetzt sind meine, ich muss hier mal ein paar
Fehlernachrichten wegblenden, sonst finde ich ja nichts mehr.
Finde ich immer noch nichts. Nein, das ist es
auch nicht. Wenn man das hier irgendwie,
hör mal, was das hier alles für Zeug.
Jetzt sind meine Folien weg. Ach so,
es ist
Die, hier sind sie. Ja,
die Aufgabe war also, wir wollen die Verteilung über den
Zuständen haben zum Zeitpunkt des Endes der Beobachtungssequenz.
Also dann wieder zurück zu den Folien. Was gibt uns
die Wahrscheinlichkeitsverteilung? Hier steht History. Also ein Zustandsverlauf,
das ist keine Verteilung. Eine Verteilung sagt er.
Von den gegebenen möglichen Alternativen, welches wie wahrscheinlich.
Also das, was hier Distribution heißt,
wir brauchen eine Distribution.
Mit Terbi ist es mit Sicherheit nicht
Das gibt uns nämlich keine Distribution, sondern da kriegen wir eine Sequenz raus.
Also welche von diesen drei Möglichkeiten kommt in Frage?
Das ist Filtering, genau. Wir haben eine Beobachtung,
die bis zum Zeitpunkt K geht.
Und wir wollen zum Zeitpunkt K die Wahrscheinlichkeitsverteilung über den Zuständen
wissen. Also mit welcher Wahrscheinlichkeit ist er in welchem Zustand
Das ist die Aufgabe, die wir haben und das, das müssen wir also verwenden.
Wir werden auch hier nichts weiter besprechen als den Vorwärtsalgorithmus,
den die Unterschiede zu den anderen Algorithmen hatte ich ja schon angedeutet,
wenn wir das,
die zweite Aufgabenstellung wissen wollen und jetzt ist es also die häufigste Verteilung,
eher die häufigste Sequenz, die wahrscheinlichste Sequenz von Zuständen,
die der Maulwurf absolviert hat, Impfobachtungszeitraum, dann brauchen wir den Betabe-Algorithmus.
Das sind also die beiden Möglichkeiten, wir gucken uns diesen
ersten an hier, Das war die Beschreibung des Vorwärtsalgorithmuses.
Wir haben Vorwärtskoeffizienten, die uns etwas darüber aussagen,
wie groß ist die Wahrscheinlichkeit,
dass ich zu einem bestimmten Zeitpunkt in einem bestimmten Zustand lande.
Das waren unsere Alpha-Koeffizienten in der bisherigen Notation.
Und das berechnet sich immer aus der Wahrscheinlichkeit,
mit der eine bestimmte Beobachtung zum Zeitpunkt D erzeugt wurde.
Wir haben also eine Beobachtungssequenz,
die stand hier vorne auf der Fuld,
da oben ist sie,
auf der Folie drauf
Zu jedem Zeitpunkt, Zeitpunkt 1, Zeitpunkt 2,
Zeitpunkt 3, haben wir eine bestimmte Beobachtung gemacht.
Allerdings eine möglicherweise gestörte Beobachtung, weil unsere Sensorik schlecht ist.
Und wir müssen jetzt also die Wahrscheinlichkeit,
mit der die bestimmte Beobachtung gemacht worden ist, multiplizieren,
mit allen Möglichkeiten in diesem Zustand gekommen zu sein,
wo wir diese Beobachtung tatsächlich gemacht haben.
Es geht also um den Zustand S. Und das ist genau
das Gleiche, was wir vorher für die Markov-Kette hatten.
Wir müssen nur immer gucken, wie groß ist die Wahrscheinlichkeit,
dass wir in einem Vorgängerzustand waren und wie gut es ist,
ah, hier habe ich es richtig gemacht,
an einer Stelle habe ich es korrigiert, hier was,
habe ich es korrigiert, an der anderen Stelle dich.
Wie groß ist die Wahrscheinlichkeit aus dem Vorgängerzustand Esprime in den Folgezustand S zu kommen?
Und das müssen wir für alle Vorgängerzustände machen. Und das
haben wir eben gerade durchexerziert, wie wir diesen Teil berechnen.
Der ist für die Mark-Off-Kette genauso hier, wie für das Vorwärtsmodell.
Alles, was hinzukommt, ist, dass wir jeweils in
jedem Schritt immer mit der aktuellen Emissionswahrscheinlichkeit nochmal multiplizieren müssen.
Und das ist die Wahrscheinlichkeit, im aktuellen Zustand S,
eine konkrete Beobachtung, die wir ja haben,
gemacht zu haben
Wir brauchen natürlich Anfangsbedingungen noch dafür und das sind die,
sind die sogenannten Initialwahrscheinlichkeiten, die Wahrscheinlichkeit also im ersten Zustand die Beobachtung,
die im ersten Zustand gemacht wurde,
gemacht zu haben und in einem bestimmten Zustand zu sein,
ist also die Initialwahrscheinlichkeit in dem Zustand zu sein,
multipliziert mit der gleichen Beobachtungswahrscheinlichkeit wie hier oben.
Also im Endeffekt machen wir hier auch nichts anderes.
Wir nehmen diese Emissionswahrscheinlichkeit und multiplizieren sie mit der Wahrscheinlichkeit
in diesem Zustand zu sein.
Und das ist unsere Initialwahrscheinlichkeit,
die wir
irgendwoher kommen müssen
Wir gleich noch diskutieren. Und hier oben machen wir auch
nichts anderes. Wir multiplizieren die Emissionswahrscheinlichkeit mit der Wahrscheinlichkeit,
sich überhaupt zu dem Zeitpunkt in diesem Zustand zu befinden.
Das ist nämlich dieser zweite Teil. Das ist das,
was uns die Marc-of-Kette sagt. Alles, was wir machen müssen,
ist, dass wir zusätzlich noch diese Emissionswahrscheinlichkeiten für die gegebene Beobachtung hineinmultiplizieren.
Und wir haben eine Beobachtung. Wir wissen also,
dass wir im Zustand zwei beispielsweise in einen Haufen Drei war.
Das wissen wir nicht. Nein, sorry, falsch.
Das ist unsere Wahrnehmung gewesen. Das muss man immer sagen
, die kann fehlerbehaftet sein
Aber das ist im Prinzip die gesamte, die gesamte Essenz des Vorwärtsalgorithmus.
Und jetzt brauchen wir irgendeine Annahme über die Initialwahrscheinlichkeit.
Diese Peace müssen irgendwoher kommen. Und auf den Originalfolien
ist dort die initiale Beobachtung für die Mark-of-Kette genommen worden.
Also dieser One-Hot-Vector, Wahrscheinlichkeit 1 für Haufen 1,
Wahrscheinlichkeit 0 für Haufen 2 und Haufen 3. Das halte ich nicht für sehr realistisch.
Dann ist also die Annahme, dass wir irgendeine Langzeitstatistik zugrunde legen,
viel realistischer. Wir kommen ja irgendwann in den Garten
Und wissen nicht, wo der Maulwurf ist. Aber wir
wissen, wie er sich verhält. An welchen Haufen er
besonders häufig und an welchen er eher selten ist.
Und diese Wahrscheinlichkeiten, die haben wir ja vorhin gerade ausgerechnet.
Das war eben genau diese Wahrscheinlichkeitsverteilung hier. Das ist das Langzeitkonvergenz,
die Langzeitkonvergenzschätzung, die wir hier hatten, nur ein bisschen gerundet.
Also 0,16, 0,36 und 0,48. Ich wollte nicht
endlose Zahlen eintippen müssen
Gut, und da können wir jetzt eben
die individuellen Wahrscheinlichkeiten für den ersten Zeitschritt tatsächlich ausrechnen,
indem wir jetzt diese Initialwahrscheinlichkeit mit der Beobachtungswahrscheinlichkeit multiplizieren.
Das ist die Initialwahrscheinlichkeit, also mit 16 Prozent Wahrscheinlichkeit im Zustand.
1 mit 36 im Zustand 2 und mit knapp 50 im Zustand 3 oder Haufen 3.
Und da müssen wir eben immer diese jeweilige,
diese jeweilige Komponente der Initialwahrscheinlichkeit für den Zustand X1 nehmen und
mit der Emissionswahrscheinlichkeit, dass sich im ersten Zustand die erste
Beobachtung emittiere
Multiplizieren. Denn, warum die erste Beobachtung, weil das
genau unsere Beobachtungssequenz war, im ersten Zustand, beobachten wir Haufen 1.
Deshalb also muss dort Haufen 1 eingesetzt werden. Deshalb also hier immer,
wie komme ich vom Zustand 1,
mit welcher Wahrscheinlichkeit kann ich aus dem Zustand 1 die Beobachtung 1 vorhersagen,
mit welcher Wahrscheinlichkeit vom Zustand 2 aus und welcher Wahrscheinlichkeit vom Zustand 3 aus.
Denn jede Beobachtung ist mit jeder Zugrunde liegenden Hypothese verträglich.
Egal wo der Maulwurf sich befindet, es gibt immer einen gewissen Wahrscheinlichkeitsanteil,
dass seine Geräusche aus einer anderen Richtung kommen,
als dort, wo er tatsächlich ist.
Und deshalb muss ich also diese Komponenten alle aufaddieren.
Das sind die Möglichkeiten, in den aktuellen Zustand zu kommen. Also,
wie wahrscheinlich ist, dass es Ende dem Zustand ist,
multipliziert mit der Wahrscheinlichkeit, dass die Wahrnehmung tatsächlich stimmt.
Ja, dass also das Geräusch wirklich aus Richtung Haufen 1 kommt.
Oder wie groß ist die Wahrscheinlichkeit, dass er im Zustand 2 ist,
aber meine Wahrnehmung täuscht mich und gaukelt mir hoffen, eins vor.
Und das Gleiche dann nochmal für die dritte Wahrscheinlichkeit.
Und das müssen wir wieder aufmultiplizieren. Das sind also die Wahrscheinlichkeit,
diese Langzeitschätzung, die wir gemacht haben,
für die Aufenthaltswahrscheinlichkeit des Maulwurfs und dann eben multipliziert mit den Gewichtungsfaktoren für die Beobachtungssicherheit,
die wir haben.
Also wie sicher kann ich mir sein,
dass mein Hören stimmt und nicht mich trügt.
Und damit kriegen wir die erste Wahrscheinlichkeit,
dass er sich im Zustand X1 befindet, heraus.
Und natürlich, weiter. Wir wollen ja Wahrscheinlichkeitsverteilung haben,
müssen wir das für die anderen Zustände zum gleichen Zeitpunkt auch machen.
Also wir sind immer noch im ersten Zeitschritt. Wir müssen
das aber nach dem, was wir X1 gemacht haben,
auch für X2 und für X3 machen.
So, und das heißt also wieder,
wir müssen die Initialwahrscheinlichkeiten, die haben sich ja nicht geändert.
Das ist ja unsere Langzeitschätzung. Das sind wieder die
gleichen Faktoren hier. Jetzt multiplizieren mit der Wahrscheinlichkeit dafür,
wie sicher sind wir uns, dass wir wirklich X2 hören,
wenn er in X2 ist.
Und dann sehen wir eben bei X2,
da haben wir dieses Maximum für die anderen Alternativen,
ist die Wahrscheinlichkeit kleiner
Und das rechnen wir aus und kriegen die zweite Wahrscheinlichkeit dafür,
dass er sich jetzt gegeben, die Beobachtung,
die wir bis dahin gemacht haben, im Zustand X2 befindet.
Vorhin haben wir nur berechnet, mit welcher Wahrscheinlichkeit
er ohne Beobachtung sich in einem bestimmten Zustand befindet.
Jetzt können wir das vergleichen mit diesen Angaben im, die wir vorhin rausgekriegt haben.
Und da sehen wir eben die Abweichung auch,
die kommt jetzt durch die Beobachtung zustande. Initial haben wir geglaubt,
er ist mit 36 Prozent Wahrscheinlichkeit am Haufen 2. Jetzt wissen wir,
die Wahrscheinlichkeit ist tatsächlich geringer, weil wir Informationen haben,
wir haben ihn von 1 gehört.
Das zieht Wahrscheinlichkeitsmasse von der Hypothese X2 weg
Und hin zu der Hypothese X1. Das müssten wir euch da auch sehen.
Bei der Hypothese X1, das ist jetzt deutlich größer geworden.
Da hatten wir ursprünglich 16 Prozent, jetzt sind es 26 Prozent.
Das ist der Einfluss des Hörens auf die Annahme,
wo er sich dann tatsächlich befinden könnte.
Gut, und sorry, X3 natürlich das Gleiche.
Wir müssen jetzt immer gucken, was ist das,
die Wahrscheinlichkeitsverteilung ist weder die gleiche. Und die wird jetzt
gewichtet durch die Höreevidenz. Jetzt ist es aber so,
dass wir über den dritten Zustand reden und am dritten Zustand
ist es Recht, wahrscheinlich,
dass das Geräusch
auch von dort kommt
Für die anderen beiden ist es wieder kleiner und wir kriegen ein Wahrscheinlichkeitsbeitrag,
der deutlich geringer ist, als der, den wir ursprünglich hatten,
mit 0,48. Jetzt sind wir bei 0,39 gelandet.
Also er ist deutlich viel Wahrscheinlichkeitsmasse von der Hypothese, auf die geflossen. Gut,
damit haben wir ein schönes Beispiel dafür, wie man mit basischen Netzen,
in einen Wahrscheinlichkeiten vor und nach Beobachtungen behandeln kann.
Wir haben Apriori-Wahrscheinlichkeiten, das ist eben die Annahme,
die wir gemacht haben, über die Langzeitbeobachtung hinweg.
Und Wir haben zusätzliche Evidenz. Wir haben eine Beobachtung,
eine Messung am jeweiligen Objekt gemacht. Und das verändert uns,
sodass wir Aposteryori-Wahrscheinlichkeiten nach Beobachtungen bebommen, die von den ursprünglichen Wahrscheinlichkeiten abweichen.
Also wir haben sozusagen die Wahrscheinlichkeitsverteilung in dem basischen Netz geupdatet.
So, das war alles noch Zeitpunkt 1. Jetzt kommt Zeitpunkt 2.
Und dann machen wir genau das Gleiche. Wir wollen wieder
eine Wahrscheinlichkeitsverteilung wissen. Also wir befinden uns jetzt im Zeitpunkt
2, das ist immer der Index da unten.
Und wir wollen die Wahrscheinlichkeit für den Zustand X1 wissen,
die Wahrscheinlichkeit für den Zustand X2 und dann auch die Wahrscheinlichkeit
für den Zustand
Und jetzt kommt also nicht die initiale Vorschrift zum Tragen.
Also bisher haben wir die benutzt hier, immer initialwahrscheinlichkeit,
mal Beobachtung im ersten Zustand.
Jetzt müssen wir diese hier, die etwas kompliziertere,
wo wir sowohl die Beobachtung als auch die Transitionswahrscheinlichkeiten mit einbeziehen müssen.
Die wird jetzt zugrunde gelegt. Und dadurch wird das ein bisschen komplizierter.
Wir müssen jetzt also immer die Beobachtung im aktuellen Zustand,
das ist X1, machen wir eine Beobachtung,
und zwar die zum Zeitpunkt zwei.
Und wenn wir in die Beobachtungssequenz gucken,
Zum Zeitpunkt zwei beobachten wir Haufen Reihe. Also wir können,
das ist wieder Informationen, die wir einsetzen können.
Dass wir also sagen, wir brauchen jetzt die Emissionswahrscheinlichkeit dafür,
da fehlt eine schließende Klammer, sorry, das ist alles etwas hassig entstanden.
Wir brauchen die Wahrscheinlichkeit dafür, dass wir im Zustand X1
die Beobachtung drei machen, zum Zeitpunkt zwei.
Das ist das, was in dieser Beobachtungssequenz steht
Diese Emissionswahrscheinlichkeit, die wird hier auf alles, auf diesen Faktor
drauf multipliziert. Die steht hier also außerhalb der Klammer,
nur hier hinten fehlt die fließende Klammer. Und das,
was hier drin steht, ist nichts anderes als das,
was unsere Marktkopfkette uns schon gesagt hat.
Wir müssen die Wahrscheinlichkeit nehmen, im Vorgängerzustand,
im Zustand zum Zeitpunkt eins gewesen zu sein.
Und zum Zeitpunkt eins können wir eben in den Zuständen X3,
X2 oder X1 gewesen sein.
Die Wahrscheinlichkeitsverteilung haben wir eben berechnet. Die geht jetzt im
nächsten Schritt in die Berechnung des Nächsten, der nächsten Verteilung ein.
Indem wir das jetzt immer mit den entsprechenden Transitionswahrscheinlichkeiten multiplizieren
War im Zustand X1 und ich bin auch noch im Zustand
X1. Ich habe einfach nur diese Schleife hier gedreht.
Und das ist eben mit der Wahrscheinlichkeit 0,1 passiert.
Und das ist die Wahrscheinlichkeit, die wir eben für den ersten Zeitschritt ausgerechnet haben.
Also die Zeit, die Wahrscheinlichkeit im ersten Zeitschritt multipliziert mit
der Übergangswahrscheinlichkeit vom ersten Zeitschritt zum zweiten Zeitschritt.
Das ist dieser Teiltherm. Dieser Teiltherm sagt dann also,
was ist die Wahrscheinlichkeit? Im ersten Zustand,
im ersten Zeitpunkt im Zustand X2 gewesen zu sein.
Und wie groß ist die Wahrscheinlichkeit vom Zustand X2
in den Zustand X1 gewechselt zu sein?
Das ist eben 0,4 von
Eins nach X2, das ist diese Kante hier.
Und da haben wir eben die Transitionswahrscheinlichkeit, das ist die 0,4.
Und dieses ist die Wahrscheinlichkeit aus dem vorhergehenden Zustand,
die wir gerade eben für den ersten Zeitschritt berechnet hatten.
Und im dritten wird es wieder einfach,
weil diese Transition von 3 nach 1 fehlt,
das ist eben die von hier nach hier,
da haben wir eine Nullwahrscheinlichkeit,
deshalb verschwindet dieser Perm,
er wäre ein relativ hoher Beitrag,
wo jetzt aber wahrscheinlich wieder
Wahrscheinlichkeitsmasse abgezogen wird
Gut, und das Gleiche für den zweiten Zustand,
also jetzt im zweiten Zeitschritt, den zweiten Zustand betrachten.
Wir müssen also aus dem zweiten Zustand heraus die Beobachtung zum zweiten Zeitschritt machen.
Das ist eben die Etmission von Beobachtung 3 im Zeitpunkt 2.
Und hier drin haben wir wieder die Wahrscheinlichkeit in den betreffenden Zustand
geraten zu sein, immer aus der Wahrscheinlichkeit des Vorgängerzuständes,
gegeben die damalige Beobachtung.
Das ist jetzt immer unter der Berücksichtigung der bereits gemachten Beobachtungen
multipliziert mit der Transitionswahrscheinlichkeit in den nächsten Zustand.
Und dass für alle Möglichkeiten,
für alle Vorgängerzustände,
die in Frage kommen
Da haben wir eben immer die drei, die da in Frage kommen.
Und das Ganze können wir dann wieder ausrechnen. Wir sehen jetzt,
diese Wahrscheinlichkeiten werden zunehmend kleiner, weil wir immer mal Scheinlichkeiten multiplizieren.
Wir kriegen jetzt auch keine Wahrscheinlichkeitsverteilung mehr raus,
die sich also irgendwann mal zu eins addieren.
Das ist, um die Sache noch komplett zu machen,
dann schließlich die dritte, der dritte Zustand auch noch.
Wir haben jetzt zu betrachten die Emissionswahrscheinlichkeit aus dem dritten Zustand für
die zweite Beobachtung. Die zweite Beobachtung ist die drei,
also ist die Frage,
mit welcher Wahrscheinlichkeit wird aus dem Zustand drei heraus
die drei emittiert
Multipliziert mit der Wahrscheinlichkeit in diesen Zustand 3 überhaupt gekommen zu sein.
Also entweder vom Zustand 1 aus,
vom Zustand 2 aus, vom Zustand 3 aus.
Mit der Wahrscheinlichkeit vorher im Zustand 1 gewesen zu sein,
mit der Wahrscheinlichkeit, vorher im Zustand X2 gewesen zu sein oder X3 gewesen zu sein.
Das ist immer wieder die gleiche Leier. Und wir kriegen
eine neue Verteilung heraus, was, wie gesagt,
keine Vollständigen, oh, das war es dann auch.
Weiter bin ich nicht gekommen. Wir haben also jetzt
einen deutlichen Wandel in der Wahrscheinlichkeit gegeben, die Beobachtungen,
deutlicher Gewinner ist jetzt hier der Zustand
Während X, nee, der hat auch deutlich hinzugewonnen,
relativ, der ist jetzt halb so viel, wird er,
nee, doch, nee, das ist ungefähr vergleichbar.
Aber der eindeutige Verlierer ist hier der dritte Zustand,
der also kaum noch in Frage kommt für die Erklärung,
wo der Maulwurf sich gerade befinden könnte.
So, das ist der Vorwärtsalgorithmus.
Jetzt könnte man das Gleiche für den Rückwärtsalgorithmus machen.
Was müssen wir ändern beim Rückwärtsalgorithmus
Hm? Ja, was müssen wir dem Endzustand?
Welche Informationen haben wir im Initialzustand? Wussten wir,
oder Gott, wenn eine Annahme über die Wahrscheinlichkeitsverteilung machen.
Das sind die Peace gewesen. Können wir
das für den Rückwärtsalgorithmus
auch machen
Da können wir natürlich nicht, ja,
wir haben keine Beobachtung zur Verfügung, wo wir sagen können,
in irgendeinem, ja, wir könnten auch sogar die Langzeitverteilung nehmen.
Was wir aber mit Sicherheit wissen, ist,
dass eben wieder die Summe über die Wahrscheinlichkeitsverteilung,
über die Zustände, die er zum letzten Zeitpunkt einnehmen kann,
die muss wieder eins ergeben.
Das ist also die Randbedingung, die wir kennen.
Ansonsten sind die Berechnungsvorschriften exakt dieselben, also da ändert sich so gut wie nichts.
So, jetzt brauche ich wieder die anderen Folien. Das ist der Vorwärtsalgorithmus gewesen,
also ich Ich initialisiere mit der Schätzung der Initialwahrscheinlichkeiten und berechne dann
immer die Vorwärtskoeffizienten auf der Basis der vorangegangenen Vorwärtskoeffizienten und kann zum Schluss eben die Gesamtwahrscheinlichkeit dafür,
dass das Modell diese Sequenz erzeugt hat,
durch Summation über die Endzustände herstellen.
Und das ist jetzt, wenn wir tatsächlich von hinten hergehen,
ist das gleich eins. Und das können wir hier uns angucken,
die Betters von dem Endzustand, die müssen eben gleich eins sein.
Denn ich bin ja irgendwann mal bei dem Endzustand angekommen
Und ansonsten mache ich das eben genau umgekehrt,
dass ich immer sage, was ist die Wahrscheinlichkeit des vorangehenden Zustandes,
dass ich aus dem vorangehenden Zustand mich entfernen kann,
mit der Beobachtung, die ich gemacht habe dabei.
Also ich entferne mich aus dem Zustand K und berechne das
auf der Grundlage, wie war die Wahrscheinlichkeit,
dass ich mich aus der Folgezustände in den Endzustand retten konnte.
Und das muss ich wieder über alle Nachfolgerzustände jetzt machen.
Da muss ich aufsummieren, immer multipliziert mit der Emissionswahrscheinlichkeit und
den Transitionswahrscheinlichkeiten. Und jetzt hier habe ich,
das ist die einzige signifikante Unterschied,
dass ich eben jetzt keine gemeinsamen Faktor mehr vor der Summe habe,
sondern der ist individuell,
weil ich eben von verschiedenen Nachfolgezustände haben kann und in diesen verschiedenen Nachfolgezuständen habe ich natürlich unterschiedliche Emissionswahrscheinlichkeiten.
Und die müssen hier berücksichtigt werden. Aber im Endeffekt
ist es genau eine, nein nicht genau dieselbe,
aber eine sehr ähnliche Rekursionsgleichung, die ich habe.
Und das können wir auch nochmal uns vor Augen halten.
Das ist tatsächlich die Basis dafür, dass das Ganze überhaupt effizient berechenbar ist,
weil ich auf diese Art und Weise eben eine Zeitkomplexität bekomme,
die Linie A in der Zeit ist.
Ich gehe immer Zeitschritt für Zeitschritt vorwärts,
entweder von vorn nach hinten oder von hinten
nach vorn
Also hier brechne ich immer die Wahrscheinlichkeiten aus einem Zustand in den Endzustand zu kommen und die Alphas sind immer die Wahrscheinlichkeiten aus einem Anfangszustand in den aktuellen Zustand zu kommen. Gut,
also die Ähnlichkeit sollte deutlich sein, wenn man den Vorwärtskoeffizienten berechnen kann,
dann kann man auch die Rückwärtskoeffizienten berechnen und dann kommen wir noch als Letztes zu den wie Terby-Algorithmus,
der dann eben nichts anderes macht,
dass es diese Vorschrift hier wieder,
wir gucken, und zwar analog zu den Vorwärtszuständen,
wir gucken immer die Vorgänge der Vorwärtsalgorithmus,
wir gucken immer die Vorgängerzustände an, Wir haben einen Koeffizienten dafür,
der in diesem Falle nur keine Wahrscheinlichkeit mehr darstellt.
Und multiplizieren ist mit dem aktuellen Übergang vom Vorgängerzustand zu dem aktuellen Zustand.
Und wir müssen natürlich die Emissionen am aktuellen Zustand auch mit drauf multiplizieren. Aber hierüber,
das können wir ausklammern, weil es konstant ist für alle Wege,
die ich in den aktuellen Zustand nehmen kann,
hierüber summieren wir jetzt nicht, indem wir die Wahrscheinlichkeitsbeiträge aller Pfade,
die in den aktuellen Zustand führen,
berücksichtigen,
sondern dass wir nur noch das Maximum betrachten
Dass wir immer gucken, welcher der Zustandsübergänge mit der Wahrscheinlichkeit,
also mit dem Koeffizienten, im Vorgängerzustand dort gewesen zu sein,
multipliziert mit der Transitionswahrscheinlichkeit, darüber nehmen wir das lokale Maximum.
Und dann wissen wir, den Pfad von einem beliebigen Anfangszustand
in den aktuellen Zustand, weil wir lauter solche Zusammenhänge,
wir haben in jedem Einzelschritt immer eine Maximus-Detektion gemacht.
Im Endeffekt haben wir ein trailles Vorliegen, wie wir das
ganz zum Anfang beim Zeichenkettenvergleich haben. Wir haben also in,
nehmen wir dieses Beispiel ruhig mit dem Maulwurf,
wir haben also irgendwie am Anfang die Möglichkeit, In N3 Richtungen zu vermuten.
Und danach, weil das Modell fast vollständig miteinander verkoppelt ist,
haben wir im nächsten Zustand wieder drei im nächsten Zeitpunkt, wieder drei Zustände.
Und wir können von jedem Zustand aus zu jedem anderen Zustand kommen.
Das ist also genau das, der ayodische Charakter des Modells.
Habe ich sie alle? So. Und bisher haben wir immer,
wenn wir in einem aktuellen Zustand sind,
haben wir die Beiträge aus allen Faden, die dorthin führen,
zusammenaddiert, indem wir immer die Wahrscheinlichkeit hierher zu kommen,
mit der Wahrscheinlichkeit einen Schritt weiter zu gehen
Multipliziert haben. Und dann summiert über alle Vorgängerzustände.
Jetzt summieren wir nicht mehr über alle Vorgängerzustände,
sondern wir sagen nur noch, von den Möglichkeiten hierher zu kommen,
ist dies beispielsweise die beste Variante gewesen.
Und das machen wir für alle Knoten auf allen Zeitschichten.
Also das haben wir hier gemacht, da ist es trivial.
Da gibt es keine Auswahlmöglichkeit. Das haben wir hier gemacht,
das machen wir aber auch im nächsten Zeitpunkt wieder
So. Und wir wissen also, das war die optimale Pfad,
um in diesen Zustand zu kommen.
Das wissen wir bereits. Das wissen wir auch für diesen
. Da heißt es vielleicht dieses der optimale Pfad.
Und das wissen wir auch für diesen, da nehmen wir
mal an, das ist dieses der optimale Pfad.
Und jetzt machen wir das Gleiche wieder für alle diese Folgezustände,
dass wir das Maximum auswählen. Indem wir sagen,
was ist der beste Pfad hier hingekommen zu sein?
Ist es der, der oder der Vorgängerknoten
Das ist genau diese Entscheidung. Wie teuer war es,
in den aktuellen Zustand zu kommen und was ist die Transitions-,
sorry, in den Vorhergängerzustand zu kommen und was ist
die Transitionswahrscheinlichkeit für den nächsten Schritt?
Und nehmen wir mal an, also für diesen Knoten fällt die Entscheidung so aus.
Und für diesen Knoten fällt die Entscheidung auch so aus.
Und für diesen Knoten fällt die Entscheidung so aus.
Jetzt können wir irgendwann mal im Endzustand sagen,
was ist das Maximum und können vom Endzustand aus rückverfolgen
Das ist das, was ich eben eingemalt habe, ist natürlich völliger Unfug.
Hier habe ich zwei maximal eben ausgewählt. Nee,
habe ich nicht. Nein, habe ich gar nicht.
Sorry, falsch. Ich kann jetzt wieder sagen,
was ist das Maximum darüber, in der Gesamtwahrscheinlichkeit, die ich akkumuliert habe.
Und nehmen wir mal an, das ist hier dieser Knoten,
dann kenne ich den Weg zu diesem Knoten,
der führt nämlich hier lang.
Weil ich für jeden Knoten weiß, was ist der beste Vorgängerknoten gewesen.
Das ist diese Entscheidung, die merke ich mir natürlich.
Und die kann ich benutzen, um den Pfad zu rekonstruieren.
Und wenn die Maximumsentscheidung hier eben auf diesen Knoten fällt,
dann ist das der optimale Pfad gewesen bis dorthin
Und ich brauche eben immer nur in jedem Zustand N, beste Pfade abzuspeichern.
Für jeden Zustand kenne ich immer den besten Pfad bis dorthin,
sodass ich im Endzustand nur noch im letzten Schritt sagen muss,
welcher dieser Endpfade ist dann tatsächlich der global beste.
Und ich habe in jedem Falle immer nur lokale Entscheidungen getroffen.
Die Entscheidung war immer nur lokal an einem Knoten,
was sind die besten Vorgängerzustände gewesen.
Und auf der Basis dieser lokalen Entscheidung kann ich eben
Schritt für Schritt eine globale Entscheidung treffen.
Und das Erfolgsrezept des Ganzen ist eben diese rekrusive Berechnungsvorschrift.
Ohne die würde das Ganze
nicht funktionieren
Gut, also, wenn ich den Vorwärtsalgorithmus habe,
dann kann ich daraus auch den Dimitabi-Algorithmus leicht ermitteln,
indem ich einfach nur immer die Summation durch Maximums Detektion ersetze.
Und ein bisschen Housekeeping mache, dass ich mir immer noch merke,
was ist der jeweilige optimale Vorgängerzustand gewesen,
damit ich dann im Gesamtschritt den Pfad rekonstruieren kann.
Das sind diese Pointer, die hier erwähnt sind,
dass ich immer weiß, von jedem Zustand,
von woher bin ich eigentlich gekommen?
Der wahrscheinlichste Vorgänger wird
immer dadurch angegeben
Gut, das ist dann das Secoding. Das sind die
vier Varianten, die wir haben. Also dann nochmal zusammengefasst,
wenn wir uns diese Tabelle hier angucken, dann haben wir
eben Filtering immer ermitteln, der Wahrscheinlichkeitsverteilung zum Ende der Beobachtungssequenz.
Das ist Vorwärtsalgorithmus, das haben wir eben gerade exerziert.
Smoothing ist immer die Wahrscheinlichkeitsverteilung irgendwo in der Mitte der Beobachtungssequenz
zu berechnen und kann dadurch berechnet werden,
dass sich die Wahrscheinlichkeit in diesen einen bestimmten Zustand zu diesem Zeitpunkt J zu kommen,
multipliziere mit der Wahrscheinlichkeit, wie ich von dort wieder wegkomme.
Also, vorwärtskoeffizienten, mal rückwärtskoeffizienten. Dann kriege ich die
Wahrscheinlichkeit eines Zustandes an dieser Stelle und das muss ich wieder
für alle Zustände machen, damit ich die Wahrscheinlichkeitsverteilung bekomme.
Und Prediktion heißt dann eben, das Ganze in die Zukunft fortschreiben,
das haben wir gesehen bei der Mark of Kette selber.
Das ist nichts anderes als eine Mark of Kette dann,
von der letzten Beobachtung an, von der letzten,
bis zur letzten Beobachtung können wir immer noch Beobachtungen mit einbeziehen.
Ab der letzten Beobachtung haben wir nur noch die Transitionsinformationen.
Beobachtungsinformation steht nicht mehr zur Verfügung und dann verhält es sich
irgendwie eine ganz stinknormale Mark of Kette mit einer bestimmten Anfangswahrscheinlichkeitsverteilung
Und die entwickelt sich eben über der Zeit hin zu einem
stabilen Zustand, gegen den sie konvergiert. Gut,
und Decoding haben wir uns gerade als Letztes angeguckt,
das ist der Vitabi-Algorithmus, der eben genau diese Entscheidung macht,
was ist die beste Zustandssequenz, die eine bestimmte Beobachtung erzeugt haben könnte.
So, das ist das, was ich noch mal anbieten könnte.
Was man jetzt noch machen kann,
dazu bin ich aber nicht mehr gekommen,
ist das Gleiche darzustellen in den Begriffen von Vajablen-Eliminierung.
Denn die Vajablen-Eliminierung ist nichts anderes als eine andere Darstellungsform für
den gleichen Algorithmus
Ja, was machen wir bei der Bayablen-Elliminierung? Wir setzen einerseits Werte,
die wir beobachtet haben, ein und reduzieren dadurch die Tabelle der Emissionswahrscheinlichkeiten,
weil wir jetzt eben wissen,
dass eine ganz bestimmte Beobachtung mit Wahrscheinlichkeit eins aufgetreten ist.
Und ansonsten kombinieren wir eben immer einen vorangegangenen Zustand mit einem Folgezustand.
Also wir eliminieren diese Variable hier,
indem wir die Werte einsetzen, die wir beobachtet haben,
dadurch schnurrt es zu einem Faktor zusammen, einer Wahrscheinlichkeit.
Und dann müssen wir die Apriori, ah, die,
die, ja, Apriori-Wahrscheinlichkeit in diesen Zustand sich zu befinden,
multiplizieren mit dieser Wahrscheinlichkeitsverteilung hier, also Faktorenbildung,
wodurch wir diesen, diese Vagable eliminieren können.
Und damit reduziert sich das ganze Modell auf diesen Teil.
Das haben wir durch Einsätzen von Werten beseitigt. Das machen
wir durch Ausmultiplizieren weg. Und das geht dann weiter,
dann nehmen wir die nächste Beobachtung,
setzen sie hier ein, multiplizieren dieses,
diese Vagable raus und damit verkürzt sich das Ganze wieder,
bis wir zum Schluss eine Wahrscheinlichkeitsverteilung für den letzten Zustand haben.
Das ist der Vorwärtsalgorithmus
Nur eine andere Notationsweise und eben eine abstrakte Darstellung,
die es uns ermöglicht. Und jetzt komme ich zu der Hauptbotschaft,
die es uns ermöglicht, tatsächlich mit komplexen Problemen umzugehen.
Also stellen Sie sich vor, Sie müssten die Arbeit mit
solchen Wahrscheinlichkeitsverteilungen und jetzt nicht über drei Zustände oder sowas,
sondern über tausende bis Millionen Zustände.
Sie müssten das auf der Ebene,
das ist ja gar nicht hier,
auf der Ebene solcher Berechnungen
hier sich überlegen
Dann würde man, binnen kurzem jeden Überblick verlieren, wo man eigentlich gerade ist,
was man mit wem multiplizieren muss und was man nicht machen darf.
Deshalb führen wir Abstraktionsebenen ein. Deshalb führen wir Faktoren ein,
dass wir abstrakt sagen können, wir wollen eigentlich nur,
oder wir wissen, was Faktoren Multiplikation ist,
und das machen wir jetzt auch.
Und dann haben wir einen größeren Faktor, aus dem wir wieder eine Variable aussummieren können.
Und auf der abstrakten Ebene können wir das auch betrachten und wir verlieren zwar den Blick für die Details,
aber wir können uns natürlich darauf verlassen,
dass die Mathematik dahinter schon stimmt, mit einer einzelnen Ausnahme,
dass wir bei dieser Faktorenrechnung eben keine Wahrscheinlichkeiten rausbekommen,
sondern nur Werte, die proportional zu den Wahrscheinlichkeiten sind,
weil wir nämlich eins nicht gemacht haben,
dass wir immer wieder auf die Gesamtwahrscheinlichkeit normalisieren.
Wenn man das machen will, das hatten wir uns angeguckt,
kann man das zum Schluss nachholen.
Kann man das als letzten Schritt machen? Also wir,
nein, das ist wieder die falsche Foliensammlung.
Ach so, das ist jetzt viel weiter vorne.
Das haben wir im Abschnitt davor ja schon gemacht
Ja, das war ja der Gang,
wie wir Variablen eliminiert haben in diesem Feuerproblem,
in dem wir eben immer einerseits hier Beobachtungsinformationen, ja,
das ist genau das Gleiche,
was wir jetzt bei den Hidden Mark of Modellen mit dem Maulwurf-Informationen.
Wir wissen, dass der Maulwurf an einer bestimmten Stelle gewesen ist.
Und wir wissen, dass der Rauch aufgestiegen ist.
Das wissen wir sicher. Das ist also eine Wahrscheinlichkeit gleich eins.
Und die können wir jetzt eben mit dieser Wahrscheinlichkeitstabelle kombinieren.
Und damit haben wir die Smoke Variable beseitigt. Genau wie wir
die erste Beobachtungs Variablen in unser Bitten Mark of Modell dadurch beseitigen können,
dass wir diesen Wert, wir wissen es mit Wahrscheinlichkeit eins,
in die Tabelle einsetzen und damit ist es bleiben nur noch die restlichen Variablen übrig.
Und das ist in diesem Falle nämlich genau diese S1-2-Jable.
Und dieses ein, zwei Jable müssen wir mit ihrer Initialwahrscheinlichkeit multiplizieren.
Und dann können wir sie aus dieser Tabelle wieder raussummieren, marginalisieren.
Gut, also wir haben, das ist durch Einsätzen passiert.
Hier machen wir das Gleiche, dass wir die Beobachtung,
es hat uns ja jemand erzählt, was da passiert ist,
die Wahrscheinlichkeit dafür ist eins,
einsetzen in diese Tabelle und damit schnurrt die Tabelle zusammen,
nur noch auf eine, für eine Variable.
Die andere Variable ist weg
Ist eliminiert. Durch Einsätzen von Beobachtungen und dann geht der Spaß los,
dass wir jetzt zum Beispiel alle Feuertabellen zusammenfügen,
miteinander multiplizieren und dann dort das Feuer draus eliminieren können und so weiter und so fort.
Bis wir zum Schluss nur noch eine Verteilung für eine Variable übrig haben,
das ist nämlich genau die, die wir gefragt haben. Wie wahrscheinlich ist es,
dass eine Anlage manipuliert worden ist und dann können wir zum Schluss noch normalisieren,
wenn wir diese Faktoren, die wir hier haben wollen,
tatsächlich brauchen und das waren in der vorhergehenden Berechnung,
die ich dann vorgestellt hatte, dass es zum Schluss die,
sind die Die Scores sozusagen, die ich berechne,
also die Wahrscheinlichkeit für False ist deutlich größer als die Wahrscheinlichkeit für True.
Aber wir sehen, es ist eben keine Wahrscheinlichkeitsverteilung,
weil sie sich nicht zu eins addiert.
Und das können wir dann durch normalisieren, beseitigen,
indem wir das nochmal durch das Aussummieren von Tempering aus dieser Tabelle normalisieren.
Und dann kriegen wir die Normalisierung auf Gesamtwahrscheinlichkeit von eins hin.
Aber das machen wir nur dann, wenn wir es wirklich brauchen.
Und in den meisten Fällen ist es eben so,
dass ich nur wissen will, ist dieser Pfad wahrscheinlicher oder ist jener Pfad wahrscheinlicher.
Also ich habe eine Fingerbewegung auf der Swipe-Tastatur und ich will wissen,
welche Zustandssequenz erklärt diese Beobachtung am besten, wie Tabi-Algorithmus.
Und ich will nur wissen, was ist der Beste.
Ich will gar nicht wissen, wie groß die Wahrscheinlichkeiten drücklich sind.
Ich will nur wissen, es gibt keinen Besseren.
Gegebenenfalls wählt auch noch den zweiten oder dritten und so weiter wissen.
Das ist durchaus auch legitim. Aber ich brauche keine exakten Wahrscheinlichkeiten
. Die wüsste ich nicht, wofür ich die brauche.
Gut. Also, das sollte nochmal als Rückschau dienen.
Ich weiß nicht, ob das hilfreich war oder nicht.
Das ist sozusagen die Behandlung auf der größeren Detail-Ebene.
Die Gefahr ist eben sehr groß,
dass man dabei den Blick fürs Gesamte verliert und sich in
den Details verliert,
Ich würde einmal fragen, ob sie diesem Beispiel,
der befohlen jetzt das mit der Erreichungsberechnung, ob sie.
Klar, mache ich. Ja, ja, klar.
Warum nicht? Also ich mache beide,
sowohl die Originalfolien, die können sich auch angucken,
da ist da noch eine längliche Diskussion,
eben genau zu dem Unterschied zwischen Vorwärtsalgorithmus und BitHB-Algorithmus drin.
Das können sie sich auch angucken. Wir trennen uns praktisch an der einen Stelle,
wo in den Originalfolien diese Initialwahrscheinlichkeit 100 angegenommen worden ist.
Und ich habe die Langzeitschätzung zurück, Grunde gelegt.
Das ist der einzige Unterschied. Und dann habe ich irgendwann
abgebrochen, weil ich irgendwann ins Bett musste, das.
Dann war ich ein Coding Beispiel
Verstehen in den Folien, ich weiß nicht, ob sie
da noch mal nehmen können, irgendwas mit dynamischer Programmierung.
Kapitel 2 oder 3, oder? Nee. Also
sie haben ja da immer das Beispiel,
wo man dann immer lokal... Ja, wie ist das hier in Folien?
Dekoding, ja. Ja, ja, ja. Und
da stand dann irgendwas mit dynamische Programmierung auf der Folien.
Ja. Was? Oder genau so was damit zu tun,
was hat das mit dynamischem? Die Idee,
immer lokale Entscheidungen über, dass das lokale Optimum zu machen,
also welche dieser drei Varianten ist die beste
Das lokal zu machen und aus diesen lokalen Entscheidungen eine globale
Entscheidung zusammenzubauen. Das Prinzip der dynamischen Programmierung sagt immer,
wenn dieser Knotenbestandteil des globalen Optimums ist oder des besten Pfades
durch den Graphen, das ist immer das Gleiche.
Wenn der Bestandteil des globalen Mogtimums ist, dann wird dieser Pfad,
der hierhin führt, auch Bestandteil des globalen Optimums sein.
So, alles, was ich nicht weiß, ist die Prämisse.
Ob dieser Knoten hier Bestandteil des globalen Optimums sein wird,
das kann ich im Augenblick noch nicht sagen,
wenn ich hier durch Wanne Aber hier kann ich nur sagen,
was ist der optimale Pfad, der hierhin führt?
Was ist der optimale Pfad, der hierhin führt?
Das kann ich sagen. Und das kann ich in jedem
Zeitschritt wieder machen. Ich kann in jedem Zeitschritt sagen,
was ist der optimale Pfad, der bis zu jedem dieser Knoten führt.
Das heißt, das ist einfach, das ist dynamisch.
Das ist dynamische Programmierung. Das hat mit Programmierung im Programmiersprachen Sinne 0,
nichts zu tun. Das ist eine Terminus aus der,
aus der optimal, wie heißt das, Operations Research.
Von daher kommt das im Prinzip eine stark durch die Betriebswirtschaft geprägte Richtung.
Was ja durchaus nachvollziehbar ist, eine wichtige Aufgabe ist es
ja immer in irgendwelchen Planungsprozessen, einen kritischen Pfad zu finden.
Und darauf ist das zurückzuführen. Also wie kann ich
den kritischen Pfad durch irgendeinen Prozessablaufplan berechnen? Und daran hat
die Betriebswirtschaft in den 50er Jahren schon letztes Jahr 100,
letztes Jahrtausend, kann man sagen, hat sie sich intensiv damit befasst.
Und von dort her, oder das sind die Ursachen,
oder die Wurzeln dieses Verfahrens,
und das ist dann später in der Informatik in ganz,
ganz zahlreichen vielen Beispielen.
Das habe ich ja immer erwähnt, wo das überall
eingesetzt wird
Also man ahnt es gar nicht,
wer alles irgendwo mal davon Gebrauch macht,
weil es eben einfach für diese spezielle Sorte von Grafen ein sehr,
sehr schönes Optimierungsverfahren ist, wo ich eben davon ausgehen kann,
dass ich mit linearer Zeit und online,
das ist das Schöne.
Ich kann also bereits optimieren, während die Beobachtung noch läuft,
das ist das Wesentliche, ja.
Also ich muss nicht warten, bis irgendeine Beobachtung mal zu Ende ist.
Viele Beobachtungen sind nie zu Ende. Und deshalb kann ich also
Online-Algorithmen schreiben, die dann im Dauerbetrieb immer laufen können.
Das ist das Schöne daran. Aber dass dieses Verfahren oder dieses Prinzip heißt dynamische Programmierung,
dass ich eben immer aus den vielen lokalen Optimalentscheidungen zum Schluss,
dann zu einer globalen Optimierungsentscheidung komme. Und das Schöne ist eben,
wenn die Knotenanzahl begrenzt ist, oder wesentlich,
wir haben ja am Anfang immer uns Baumsuche angeguckt,
Baumsuche war ja eben etwas,
wo ich in jedem Knoten immer wieder neue Zustände generiere,
wodurch ich dieses exponentielle Wachstum der Knotenanzahl bekomme,
in solchen Grafen, und dafür ist dynamische Programmierung im Wesentlichen anwendbar,
wächst die Anzahl der aktuellen Zustände nicht.
Es gibt eben in diesem Baumwurf Beispiel nur drei Zustände,
mehr stehen nicht zur Verfügung
Und dadurch, weil Pfade immer wieder zusammenlaufen,
was ja die Basis dafür ist,
dass ich an so einem Knoten, wo Pfade zusammenlaufen,
dass sich dort diese Maximumsentscheidung machen kann.
Sonst ging mir das ja gar nicht.
Hier kann ich das ja gar nicht machen.
Es gibt keinen einzigen Knoten, wo mal Pfade zusammenlaufen.
Das muss also ein Graf sein, der immer wieder Pfade rekombiniert.
Wenn das passiert, dass Pfade zusammen im gleichen Zustand landen,
dann kann ich eben sagen, ja, welcher davon ist der Beste.
Das basiert da drauf. Und ja, ich brauche,
die müssen immer wieder zusammenlaufen.
Ich hatte eben noch eine Idee, was wesentlich ist.
Das sind erst mit Pfeilen
Gut, gibt es sonst noch Fragen dazu? Also es
lohnt sich jetzt noch nicht mehr, in irgendwas Neues einzusteigen.
Es ist Gelegenheit, Fragen zu stellen. Nö,
gut, dann werde ich jetzt ganz kurz nur einen Überblick
über die dynamischen besten Netze geben
In die Details wäre ich da nicht gehen,
aber nur damit man meinen Eindruck bekommt, warum man tatsächlich gezwungen ist,
das Ganze auf einer sehr abstrakten Ebene zu behandeln,
weil man überhaupt nicht in der Lage ist, sich auf die Detailebene zurückzuziehen.
Also dynamische basische Netze, das hatte ich, glaube ich,
schon mal angedeutet, ist, dass wir davon ausgehen müssen,
dass in verschiedenen Anwendungen, gerade im Bereich multimodaler Systeme,
wir nicht mehr davon ausgehen können, dass wir einen Zustand haben,
in dem sich das System befindet,
sondern dass wir mehrere Subsysteme haben,
die sich in unterschiedlichen Zuständen befinden,
Und dass durch diese teilweise asynchronen und nur schwach gekoppelten Prozesse
sich eben unterschiedliche Konstellationen ergeben im Zusammenwirken, die teilweise kompensatorisch sein können,
dass sich die Wirkung gegenseitig aufhebt, teilweise so sein,
dass sich irgendeine Wirkung verstärkt.
Wenn also zwei Kräfte in die gleiche Richtung ziehen oder wenn
sie in eine entgegengesetzte Richtung ziehen, so kann man sich das grob vorstellen.
Und dann brauche ich also irgendein Modell,
von dem ich ausgehen kann, dass es in der Lage ist,
diese Situation zu reflektieren
Dafür nimmt man eben solche dynamischen basischen Netze,
um partiell asynchrone Prozesse zu modellieren. Ich hatte das diskutiert,
an der Kooperation unterschiedlicher Körperteile bei irgendwelchen Aktionen,
beispielsweise beim Produzieren von Zeichensprache, die ist ja nicht mechanisch rekonstruierbar,
sondern diese Zeichen sehen jedes Mal ein bisschen anders aus.
Das Gleiche ist bei der Handschrift der Fall,
das Gleiche ist bei gesprochener Sprache der Fall und so weiter und so fort.
Oder auch überhaupt bei Körperbewegung, bei komplexen Körperbewegungen,
habe ich ja auch verschiedene Körperteile, die sich teilen teilweise unabhängig voneinander bewegen können.
Also es ist dann egal, wenn ich etwas greifen will,
ob ich zuerst die Hand öffne und dann dahin bewege oder
ob ich erst die Hand dahin bewege und dann die Hand öffne,
um das zu greifen.
Oder ob ich es kontinuierlich mache, je näher ich komme,
umso starker öffne ich die Hand, bis auf die gewünschte Öffnung, Eröffnungsgröße hin.
Und das wird wieder noch gekoppelt mit dem visuellen Kanal,
der ja jederzeit während der Trajektorie beurteilen muss,
bewege ich die Hand überhaupt in die richtige Richtung und greife nicht daneben.
Und öffne ich die Hand weit genug,
um das Teil greifen zu können,
aber nicht zu weit
Denn das ist wieder zusätzlicher Aufwand, um dann den Greifer zu schließen.
Also all diese Prozesse, die verschiedenen Aktuohren an der Hand,
am Arm, am Finger und die Blickinformationen müssen zusammengebracht werden.
Und das geht alles partiell asynchron über die Bühne.
Also Zusammenhang zwischen Sprache und Gestik beispielsweise. An welchen Stellen
nicken wir mit dem Kopf, wenn wir sprechen?
An welchen Stellen heben wir die Augenbrauen, wenn wir sprechen?
Das sind Prozesse, die sind tatsächlich asynchron,
aber in gewisser Weise doch miteinander in Bezug gesetzt.
Und wenn wir so etwas im Modell erfassen wollen,
brauchen wir ein Modell,
was mehrere Zustände hat
Der Eingangsteil ist aber noch gar nicht an dieser Aufgabe orientiert,
sondern es geht hier nur darum,
wie ich jetzt in einem einfachen Hidden Mark-of-Modell,
wenn wir diese Ebene hier mal weglassen,
ist das ein einfaches Hidden Mark-of-Modell, was wir haben.
Da haben wir die Situation, wenn wir viele Zustände haben
und in solchen komplexen Systemen haben wir viele Zustände,
dann werden diese Transitionstabellen sehr dünn besetzt sein.
Und da müssen wir uns überlegen,
wie wir rein auf der technischen Ebene mit dieser dünnen Besetztheit der Transitionstabellen
umgehen können und da hat es sich als nützlich erwiesen,
dass es einfach ein empirischer Befund hier eine Ebene einzuführen,
die sich stochastische Transitionsvajable nennen
Die haben sozusagen weiter keinen anderen Input, als dass sie immer
den Vorgängerzustand kennen und eine Vorhersage für den Nachfolgerzustand machen.
Ja, und das ist jetzt etwas,
was ja eher lokalen Charakter hat und offensichtlich dazu führt,
wenn ich das von den Zustandsvajablen hier oben trenne,
dass das im Endeffekt eine bessere Performance hat.
Also alle dynamisch besten Netze, die ich kenne,
haben irgendwie so eine Struktur. Ich kann auch nicht richtig erklären,
warum die besonders gut ist oder warum nicht,
aber es ist ein Argument dafür,
die Struktur zu verbessern und zwar über das,
was wir etwa mit Marc-Off-Modellen höherer Ordnung diskutiert hatten,
also dass man das den Zustand ja auch von der vorangegangenen Beobachtung oder von zwei vorangegangenen Zuständen oder so etwas abhängig macht.
Das ist eine völlig andere Dimension. Ich habe hier keinerlei
neue Abhängigkeiten reingebracht. Es ist wiederum nur eine Abhängigkeit zwischen
zwei Zustandsverjablen, aber sie wird vermittelt über eine dritte Variable.
Und allein das hilft, um mit diesem Datenknappheit für die Transitionstabellen tatsächlich umgehen zu können.
Nächste Erweiterung ist, dass das nicht immer bedingte Wahrscheinlichkeitstabellen sein müssen.
Der Grenzfall einer bedingten Wahrscheinlichkeitstabelle ist ja eine, die immer eine veterministische Auswahl macht.
Und das ist nichts anderes als ein Entscheidungsbaum,
dass sich eine Öf-Wen-Els-Bedingung da reinschreibe,
wenn bestimmte Bedingungen an einem Vorgängerknoten erfüllt sind, also beispielsweise,
wenn der Wert einen bestimmten Zustand angenommen hat, dann wird hier irgendetwas ausgelöst.
Also man kann das Engineering jetzt hier noch weitertreiben über die reinen Topologie des Netzes hinaus,
dass man auch noch sagt, ja,
es ist diese Verbindungen hier können entweder stochastisch,
so wie wir das bisher immer gehabt haben, oder aber deterministisch sein.
Also wir können da sozusagen hybride Modelle leicht aufbauen.
Und all diese Überlegungen kann man eben auf dieser abstrakten Modellebene viel,
viel besser anstellen als auf der technischen Basis. Gut,
also die Zustandsvajablen sind jetzt immer so gewählt,
dass wir, wie bisher immer auch als Werte,
die möglichen Zustände des HMMs haben und wir machen die Werte am nächsten Zustand immer als deterministische Funktion, also als Entscheidungsbaum.
Und die Wahrscheinlichkeitsverteilung, die wird jetzt in diese Transitionsvajablen ausgelagert.
Ja, das hier sind Wahrscheinlichkeitsverteilungen, das hier sind
deterministische FNLs-Regeln,
die da drinstehen
Und gut, dann zeigt sich eben empirisch,
dass das mit diesen Transitionsverjablen effizienter berechnbar ist,
auch wenn nicht sehr viele Nulltransitionen,
also Transitionen mit der Wahrscheinlichkeit null in meinem Modell drin habe.
Und die Transitionswahrscheinlichkeit null kommt natürlich immer dann zustande,
wenn ich meine Daten,
auf denen ich das Modell trainiert habe,
knapp sind und ich bestimmte Übergänge nie gesehen habe.
Das ist die Ursache dafür
Gut, ja, und nächster Schritt ist,
dass ich nicht nur einfache Modelle, sondern wie wir das bedingteten Mark-of-Modellen auch hatte,
aus einfachen Modellen komplexes Modelle zusammensetzen kann.
Das ist auch wieder in verschiedenen Bereichen unterschiedlich in der Genomik beispielsweise,
habe ich auf der unterschiedlichen Ebene Nukleotizsequenzen, aus denen werden Aminosequenzen,
Aminosäuren generiert und die werden wieder in Proteine eingebaut.
Und auf all diesen Ebenen kann ich sozusagen einfache Modelle zu komplizierteren Modellen zusammensetzen.
In der Sprache sind es eben die Laute, die sich silben,
bilden und aus den Silben entstehen Wörter und Wörter werden zu
Äußerungen zusammengesetzt oder eben im Bildbereich habe ich Teile von einem Objekt oder oder einfach Unterteile,
Teile und dann komplexe Komposites, aus denen irgendetwas sich zusammensetzt.
Und das kann man eben auch machen,
dass man jetzt wieder noch hier an dieser Übergang,
ich habe hier ein Teilmodell, was mir einlaut beschreibt,
ich habe hier ein Teilmodell,
was mir einen anderen Laut beschreibt und dann muss ich hier irgendwie eine Wahrscheinlichkeitsverteilung dafür lernen,
welches nächste Teilmodell ich eigentlich wählen sollte,
gegeben die Daten,
die ich für das Modell zur Verfügung habe
Ja, und das kann ich eben machen,
indem ich wieder einen neuen Lehrer einführe in das Modell,
der nur dafür da ist, zu sagen,
sollte ich ein neues Submodell betreiten oder nicht?
Bleibe ich in dem alten Modell oder gehe ich in das nächste Modell über?
Das sagt dann dieser zusätzliche Lehrer, den ich hier einbaue.
Und wir sehen, die Welt wird komplexer und immer komplexer.
Also der Submodel-Index sagt dann immer nur,
welches Submodell sollte ich jetzt zum bestimmten Zeitpunkt suchen müssen?
Und das ist also die beiden zusammen,
also diese Transitionsfrajablen und die Submodelle sind so eine Art Steuerebene,
die ich dort einziehe, die dann sagen,
Wie soll sich das Modell auf der Zustandsebene tatsächlich verhalten?
Das ist also zusätzliche, konsträren, beschränkende Informationen,
die ich habe. Und das kann ich weiter ausbauen.
Ich kann, das muss sich bei einer Ebene ändern,
das können viele Ebenen sein, die ich dort einbaue.
Und an der Stelle briche ich dann auch ab,
faktorierte Modelle sind dann ein anderer Aspekt,
da mache ich am nächsten Montag weiter.
Nein. Nein, ich wünsche Ihnen ein frohes Weihnachtsfest.
Ich wünsche Ihnen einen guten Rutsch ins neue Jahr
und wir sehen uns hoffentlich im nächsten Jahr dann wieder.
Bis dahin,
alles Gute