So, einen schönen guten Tag. Wir sind dabei,
Sequenzmodelle uns anzugucken. Das einfachste Sequenzmodell ist ein Marktkopfmodell gewesen,
wo wir einfach nur eine Kette von Valiablen haben und über bedingte Wahrscheinlichkeitlichkeiten spezifizieren,
was die nächsten Valiablen Belegungen sein könnten oder die Verteilung über der nächsten Valiablen Belegung,
gegeben, einen bestimmten Kontext nach links.
Im einfachsten Falle ein Marktof-Modell erster Ordnung,
was immer nur den Vorgängerknoten berücksichtigt, im komplizierteren Falle auch Mark-off-Modelle,
zweite Ordnung, auch Trigramm-Modelle genannt oder Mark-off-Modelle.
Dritte Ordnung, auch Quadrogramm-Modelle genannt. Und wir hatten als Beschränkung dafür identifiziert,
dass wir so etwas nur verwenden können, wenn die Beobachtungen,
die wir in der Welt machen, mit den Zuständen,
die die Welt einnimmt, identisch sind.
Also wenn die Beobachtungen eine volle Beschreibung des Zustandes ermöglichen,
was immer nur in Ausnahmefällen möglich ist,
was insbesondere dann Schwierigkeiten macht, wenn wir über Sensorik reden.
Also vieles, was wir jetzt im weiteren betrachten,
ist immer motiviert durch die Modellierung von sensorischen Daten.
Das können also visuelle Daten seien, das können akustische Daten sein für akustische Daten,
bietet sich so ein, eine lineare Struktur natürlich besonders an,
weil sie eben es ermöglicht, die Zeitachse zu modellieren.
Vieles von der Bildverarbeitung abstrahiert ja von der Zeitachse,
indem es einfach nur Snapshots zu einzelnen Zeitpunkten betrachtet.
Und Videoverarbeitung eher stiefmütterlich behandelt wird. Also dort, wo
die Zeitachse inherent ist. Wir hatten für den Zweck dann,
wenn wir es mit sensorischer Unsicherheit zu tun haben,
die Beobachtung von den Zuständen getrennt,
indem wir wieder eine bedingte Wahrscheinlichkeitsverteilung einführen, die uns ermöglicht,
jetzt zu sagen, dass bestimmte Beobachtungen nicht mehr strikt,
sondern nur noch entsprechend eine Wahrscheinlichkeitsverteilung an die Zustände geknüpft sind.
Die Frage ist nun, was können wir mit so
einer Modellstruktur machen? Und wir hatten verschiedene Aufgaben identifiziert.
Das erste war Evaluation. Evaluation können wir als einfache Grundlage
für ein Klassikationsansatz
Indem wir nämlich bestimmen, was ist die Wahrscheinlichkeit,
dass eine gegebene Beobachtung durch ein Modell erzeugt wurde.
Und wir können jetzt für verschiedene Klassen unserer Aufgabe unterschiedliche Modelle
trainieren und dann aufgrund dieser Apostriori-Wahrscheinlichkeit nach Beobachtung entscheiden,
welches Modell die Wirklichkeit am besten beschreibt und dann die entsprechende Klasse,
die damit verbunden ist, als Ergebnis ausgehen.
Also beispielsweise Worterkennung gegeben, die Koordinatensequenz,
die wir erzeugen, wenn wir auf der Swipe-Tastatur
ein Wort mal hallen
Dann haben wir eben so viele Modelle, wie wir Wörter haben. Und das Modell,
was die größte Wahrscheinlichkeit hat, die betreffende Beobachtung erzeugt zu haben,
das nehmen wir als den Klassifikations-, ja, ist das Klassifikationsergebnis.
Das ist die Evaluation. Wir haben dann noch verschiedene,
ach so, der Algorithmus, den wir brauchten für diese Evaluation,
ist eben der Vorwärtsalgorithmus, wo wir immer alphakoeffizienten haben,
die sagen, wie groß ist die Wahrscheinlichkeit,
dass ich zu einem gegebenen Zeitpunkt in einem bestimmten Zustand ende.
Und der berechnet sich eben immer aus der Multiplikation
der Vorwärtswahrscheinlichkeit im vorangegangenen Zustand zum vorangegangenen Zeitpunkt.
Also das ist der Zeitpunkt K und wir wollen jetzt CarPlus 1 berechnen.
Also was ist die Wahrscheinlichkeit eines Vorgängerzustands multipliziert mit der Transitionswahrscheinlichkeit vom Vorgängerzustand
zu dem aktuellen Zustand und summiert über alle Ausprägungen für dieses Kuh.
Also das, was der Wert von dem,
also welche Zustände das System annehmen kann.
Und das multipliziert mit der Emissionswahrscheinlichkeit,
dass in dem gegebenen Zustand die betreffende Beobachtung
emittiert worden ist
Und das ist nichts anderes als ein Ausbuchstabieren unserer vaiablen Elimination,
dass wir nämlich hier Werteeinsetzung betreiben,
dadurch verschwindet die Beobachtungsvaiable und dass wir hier aussummieren über allen Ausprägungen der Zustandsvariable
machen und auf die Art und Weise rollen wir das Hidden Mark of Modell von links nach rechts auf,
indem wir die vaiable beseitigen,
indem wir die Beobachtung einsetzen und indem wir die Variable beseitigen,
indem wir die Initialwahrscheinlichkeit,
die hier nicht mit eingemalt ist,
die Initialwahrscheinlichkeit in diesem Zustand zu sein,
mit dieser Beobachtungswahrscheinlichkeit multiplizieren
Und auf die Art und Weise verschwinden diese beiden Variablen.
Und wir haben dann wieder eine Initialwahrscheinlichkeit in diesem Zustand
zu starten. Wir haben wieder eine Beobachtung, mit der
wir das Ganze verknüpfen können, die wir einsetzen können.
Und so können wir Variable nach Variable von links nach rechts beseitigen.
Das ist der Vorwärtsalgorithmus. Der Rückwärtsalgorithmus geht also umgekehrt vor
. Der weiß, er muss mit einer Gesamtwahrscheinlichkeit von eins
in diesem Zustand enden. Er hat die letzte Beobachtung und
kann mit diesen Informationen die beiden Variablen eliminieren.
Und das Schritt für Schritt immer weiter nach links durch
die Kette durchtreiben. Das waren also die beiden Algorithmen,
Vorwärtsalgorithmus und Rückwärtsalgorithmus
Und wir haben dann verschiedene Modelle zur Erklärung. Das war eben Evaluation,
zur Erklärung, die also entweder sagen,
ich habe eine ganze Zeit lang gewerkelt, ich habe Beobachtungen betrieben,
in welchem Zustand bin ich jetzt eigentlich?
Also beispielsweise, wo befinde ich mich, um ein Lokalisierungsproblem geht?
Oder aber, was ist das gegenwärtig aus der ausgesprochenen Laut oder etwas gegenwärtig ausgesprochene Wort?
Solche Entscheidungen können, aber wir können die Wahrscheinlichkeitsverteilung dafür ermitteln.
Die Entscheidung ist weder nochmal eine andere Frage. Das ist
eine wesentliche Aufgabe und eine andere wesentliche Aufgabe ist, das Dekodieren,
dass wir uns gleich nochmal angucken, die anderen beiden Ja,
spielen auch eine Rolle, aber eher eine untergeordnete Rolle.
Smoothing, also die Wahrscheinlichkeitsverteilung über einen Zeitpunkt in der Vergangenheit
und Prediction über eine Angabe über dein Zeitpunkt in der Zukunft.
Die Coding, also die Aufgabe, die Wahrscheinlichkeit für die
Zeichenkette zu ermitteln, die diese Wahrscheinlichkeit maximiert.
Und diese Wahrscheinlichkeit besagt, welche Zustandsfolge ist am wahrscheinlichsten,
dass sie diese Beobachtungsfolge erzeugt hat.
Während wir hier also immer nur über Verteilungen zu einem gewissen Zeitpunkt reden,
reden wir hier über eine ganze Zustandssequenz
Und die wesentliche Überlegung war, dass etwas smoothing über J
von 1 bis K kein Ersatz für die Coding ist.
Weil das, wenn ich hier das J laufen lasse,
von 1 bis K, kriege ich zwar zu jedem Zeitpunkt eine Wahrscheinlichkeitsverteilung,
aber wenn ich davon das Maximum nehme,
ist das eben nur eine punktuelle Beobachtung.
Und diese punktuelle Beobachtung garantiert mir nicht, dass ich mit
diesem Maximum wirklich eine bezüglich des Modells zulässige Zustandsfolge generiere.
Erst wenn ich wirklich Zustandsfolgen betrachte,
wie hier, kann ich garantieren,
dass diese Zustandsfolge
überhaupt begehbar ist
Der einzige Grund, weshalb das nicht sein könnte,
ist, dass wir irgendwo eine Nullwahrscheinlichkeit dazwischen haben,
die einen Übergang von einem Zustand Q nach einem Zustand Tee unmöglich macht,
weil im Modell eben die Wahrscheinlichkeit null vorgesehen ist.
So, und den Fall gucken wir uns jetzt nochmal genauer an.
Das ist eben der Vitherbi-Algorithmus, der vom Vorwärtsalgorithmus nur in geringer Weise abweicht.
Und zwar an der Stelle, dass wir hier statt
der Summierung über alle Möglichkeiten in einen Zustand zu kommen.
Wir nur das Maximum auswählen
Und diese Auswahl des Maximums von allen Pfaden,
die in eingegebenen Zustand führen, das entspricht dem Prinzip der dynamischen Programmierung.
Wenn wir uns dort für das Maximum entscheiden und das für alle Zustände weiterverfolgen,
können wir garantieren,
dass wir den optimalen Pfad finden und der optimale Pfad ist derjenige,
der die Wahrscheinlichkeit der Zustandsfolge gegeben, die Beobachtung maximiert.
Das ist das, was wir machen wollen. Und
das Ganze müssen wir natürlich wieder mit den Beobachtungswahrscheinlichkeiten verknüpfen.
Also wie wahrscheinlich ist es, dass diese Zustandsfolge,
über die wir hier reden, tatsächlich die die betreffende Beobachtung erzeugt hat.
Das ist also sozusagen immer ein Schritt in dem Prozess.
Und dieser Prozess geht jetzt sukzessive durch die Beobachtungsfolge und die Zustandsfolge hindurch.
Und nach dem Prinzip der dynamischen Programmierung wählt er immer diejenigen,
denjenigen Vorgängerknoten aus, der diesen bevorwärts koeffizienten maximiert. Und das heißt,
wir brauchen jetzt zwei Durchläufe und das ist genauso wie das Beispiel,
was wir mit dem Zeichen, mit dem Zeichenkettenvergleich haben,
wir machen erstmal einen Pass vorwärts durch die Zeichenkette durch.
Da berechnen wir
diese Delta-Koeffizienten
Und das ist also immer, die sind hier definiert,
als das Maximum über die Wahrscheinlichkeit,
dass wir in einem bestimmten Folgezustand sind,
oder dass wir in einer Zustandssequenz sind, die von 1 bis K geht,
wobei 1 bis K minus 1 die Historie ist, und S,
der letzte Zustand, in dem wir uns gerade befinden,
und die Beobachtungssequenz gegeben, das Modell.
Diese Wahrscheinlichkeit, das sind unsere Vorwärts, also sorry,
das ist endlich die Vorwärtskompezenten,
die Delta-Koeffizienten des Vitabi-Algorithmus,
die berechnen wir in einem Pass durch die Beobachtungssequenz durch
Und dann machen wir einen Rückwärtsschritt, der immer sagt,
ja, was ist denn der beste Vorgängerzustand gewesen,
wie ich in den aktuellen Zustand kommen konnte?
Und auf die Art und Weise können wir den Fahrt rekonstruieren. Also,
wir berechnen im Vorwärtsgang erstmal die Delta-Koeffizienten, die müssen initialisiert werden,
und zwar mit der Initialwahrscheinlichkeit in dem betreffenden Zustand zu sein,
multipliziert mit der Emissionswahrscheinlichkeit die erste Beobachtung erzeugt zu haben.
Also im Zustand Z1, also im aktuellen Zustand,
die erste Beobachtung Z1 erzeugt zu haben.
Und wir haben einen Pointer auf den Vorgängerknoten, der ist der Nullpointer.
Da ist also, es gibt keinen Vorgänger. Und dann berechnen wir rekursiv einerseits die Delta-Koeffizienten,
indem wir immer diesen Ausdruck maximieren, den wir sagen,
was ist der Delta-Koeffizient des Vorgängerzustands,
multipliziert mit der Transitionswahrscheinlichkeit und dann das Maximum über alle Vorgängerzustände hinweg,
multipliziert mit der aktuellen Emissionswahrscheinlichkeit.
Das sind die Delta-Koeffizienten und die Pointer müssen wir immer von den Vorgängerzuständen das Maximum auswählen,
was also diesen Ausdruck hier maximiert, das ist der jeweilige Vorgängerzustand,
den wir dann für die Rückverfolgung des Partes tatsächlich brauchen.
Natürlich müssen wir das sich in zwei Schritten machen,
wir können das integriert machen,
indem wir gleich beim Berechnen der Gamma-Poffizienten uns immer sofort merken,
über welchen optimalen Pfad sind wir eigentlich in diesem Zustand gekommen.
Auf die Art und Weise haben wir im Endzustand,
die den kompletten Pfad zur Verfügung. Ja,
und auf die Art und Weise kriegen wir also den wahrscheinlichsten Endzustand heraus,
der am Ende der Beobachtungssequenz diesen Delta-Koeffizienten maximiert,
und zwar im letzten Zustand zum Zeitpunkt T. Und dann haben wir eben die Wahrscheinlichkeit,
das ist die Wahrscheinlichkeit des wahrscheinlichsten Pfades.
Die ist natürlich durch Multiplikation vieler solcher Wahrscheinlichkeiten zustande gekommen.
Wahrscheinlichkeiten sind alles Zahlen kleiner als eins. Und wenn ich nur oft genug miteinander multipliziere,
und das hängt nur von der Länge der Beobachtungssequenz ab,
und das können sie sich ausrechnen,
wenn ich alle zehn Millisekunden irgendwie eine Beobachtung nehme in
der Welt,
das sind sehr schnell
große Zahlen
Dann werden diese Wahrscheinlichkeiten kleiner und kleiner,
weil ich immer sehr kleine Zahlen wieder miteinander multipliziere.
Und dann kriege ich ein Underflow-Problem üblicherweise. Dass also Gleitkommazahlen
nicht mehr ausreichend sind, um diese kleinen Zahlen zu repräsentieren.
Und auf die Art und Weise,
in diesem Falle geht man dann zur logarithmischen Wahrscheinlichkeiten über,
die dann den Wertebereich nach unten zu noch enorm verkleinern.
Erweitern, sorry. Gut, ja,
das sind die beiden Aufgaben,
die wir separat lösen können,
aber die wir
auch integriert bearbeiten können
Das Ganze ist also extrem ähnlich zu dem Vorwärtsalgorithmus,
nur der Unterschied ist, es wird maximiert, anstatt summiert.
Das ist der gesamte Unterschied. Und auf die Art und
Weise kriege ich eben nicht die Wahrscheinlichkeit des Modells heraus,
was diese Beobachtung erzeugt hat, sondern die Wahrscheinlichkeit des besten Pfades,
diese Beobachtung zu erzeugen.
Und das brauche ich eben tatsächlich, wenn an diesem Unterschied einerseits brauche ich,
wenn an diesem Pfaden tatsächlich Unterschiede in der Ausgabe dranhängen.
Wenn also alternative Pfade, die vielleicht eine bessere oder schlechtere Wahrscheinlichkeit haben,
ja, eine unterschiedliche Reaktion des Systems hervorrufen würden.
Dann möchte ich eben wissen, durch welche Teilmodelle,
dazu kommen wir dann noch, durch welche Teilmodelle ist dieser Pfad eigentlich hindurch gegangen?
Damit ich beispielsweise die Worte extrahieren kann, die tatsächlich gesprochen worden sind.
Und jetzt kann ich also einen ganzen Satz als Beobachtung reinchecken,
kann nach diesem Vitabi-Algorithmus den optimalen Pfad durch alle Modelle,
ich kokadiniere alle Modelle, alle Wortmodelle und sage immer,
nach jedem Wort kann das nächste Wort kommen,
das nächste Wort,
beliebig lange
Ich kann ja keine obere Grenze für einen Satz angeben.
Ich kriege auf die Art und Weise dann einen Pfad,
der durch all diese Worte durchgeht. Und jetzt muss ich
im Rückwärtsschritt natürlich ermitteln, was sind die Worte gewesen.
Es nutzt mir ja nichts, nur die Wahrscheinlichkeit zu wissen,
ich möchte ja wissen, welche Worte sind da wirklich gesprochen worden.
Und das kann ich auf die Art und Weise erledigen.
Dies ist sozusagen die Grundlage dafür gewesen,
dass man so etwas wie moderne Diktiersysteme oder Siri oder was
auch immer heutzutage an Applikationen existiert, überhaupt realisieren konnte.
Nachdem man das entdeckt hatte, war der Weg frei,
dass man überhaupt erst mal praktisch nutzbare Erkennungssysteme bauen konnte.
Zuvor ist alles auf der Ebene von Einzelworterkennung gewesen.
Und das wird natürlich der realen Benutzung von Sprache in keiner Weise gerecht.
Das war der Durchbruch zur Erkennung, kontinuierlicher Sprache. Gut,
also die Anwendungen sind sehr, sehr viele Signalverarbeitung,
Mustererkennung, Bioinformatik, Sprachverarbeitung und so weiter.
Wobei immer Sprachverarbeitung etwas anderes ist als Sprachsignalverarbeitung. Das muss
man deutlich voneinander trennen. Also eine Anwendung ist beispielsweise,
wenn ich ratlose Kommunikation habe mit Mobiltelefonen, dann sind die Verbindungen üblicherweise gestört.
Und beim Empfänger kommt etwas anderes an,
als was beim Absender abgeschickt worden ist.
Und wenn man jetzt die ursprüngliche Nachricht rekonstruieren will,
dann kann man dafür solche Hidden Marke auf Modelle einsetzen.
Das ist eine Anwendung, die kannte ich bisher auch noch nicht.
Das ist mir zufällig über den Weg gelaufen. Ich bin damit konfrontiert worden,
weil es eben in der Sprachsignalverarbeitung sowohl erst mal zur Erkennung eingesetzt worden ist,
aber neuerdings auch zur Synthese von künstlicher Sprache.
Und dank der propabilistischen Modelle, die ich hier verwende,
ist also diese Sprachsynthese deutlich natürlicher als alles,
was man davor hatte
Da gibt es unterschiedliche Syntheseansätze und das ist, glaube ich,
zurzeit das, was am besten verständliche und natürliche Sprache produziert.
Es wird auch im Bereich der Sprachverarbeitung eingesetzt,
etwa bei der maschinellen Übersetzung, wo ich im Endeffekt aus
sehr vielen möglichen Faden für die Übersetzung einen optimalen Pfad auswählen muss,
der dann tatsächlich als Übersetzungsergebnis ausgegeben wird.
Da habe ich zwei Bestandteile drin,
das ist ein Modell, was Wahrscheinlichkeitsbasiert sagt,
gegeben dieses Input-Wort, was ist die Verteilung über die
möglichen Ausgabewörter
Und ein Language-Modell und ein Language-Modell ist ein Mark-of-Modell,
wie wir das schon gesehen haben, was immer sagt,
wie wahrscheinlich, oder was ist die Wahrscheinlichkeit der Wörter für
das Nächste und das Übernächste und so weiter Wort.
Und diese beiden werden miteinander kombiniert. Es gibt noch
ein Fatility-Modell. Und diese drei dann im Endeffekt miteinander,
als das Fatility-Modell sagt, ich habe ein Wort gegeben,
wie wahrscheinlich ist, dass es nicht in ein anderes Wort übersetzt wird,
sondern in zwei oder drei Wörter.
Deshalb Fruchtbarkeit. Wie stark wird dadurch die Anzahl der Wörter
aufgebläht? Und diese drei Wahrscheinlichkeiten werden miteinander kombiniert und
dann über dem so entstehenden Suchraum wird mit Herbiesuche durchgeführt
Und dann kommt zum Schluss ein Übersetzungsresultat raus,
was in vielen Fällen oder zumindest in diesem einfachen Modell,
was ich eben skizziert habe, doch verdammt schlecht war,
was in der Zwischenzeit aber deutlich besser geworden ist.
Also wenn man das vergleicht über die letzten zehn Jahre hinweg,
da sind da gewaltige Sprünge gemacht worden.
Swipe Keyboards habe ich schon mehrfach erwähnt,
das ist also, wo ich Wörter malen kann,
in der Bioinformatik ist eine einfache Aufgabenstellung,
beispielsweise kann ich sogenannte Introns von Exons unterscheiden.
Das ist auch etwas,
was man erst mit der Zeit
überhaupt mitbekommen hat
Ich weiß nicht, es ist jetzt vielleicht 15 Jahre her
oder so etwas, da wurde das menschliche Genom entschlüsselt.
Das war der Nature, ein Titelstory-Wert,
wo allein die Titelseite des Artikels nur gefüllt war mit Autoren.
Ich glaube, das sind 180 Autoren, die da draufstehen,
die an dieser Entzifferung des menschlichen Genoms beteiligt waren.
Und zwar eingesortiert in Zwiebelschalen. Ganz oben natürlich Craig Venter
, der große Meister. Dann kam der Inner Circle,
das sind ungefähr zehn Personen gewesen. Dann kam Level 3,
das waren, weiß ich nicht, irgendwie so 30,
40 Personen und dann kam der riesen Unterbau von den restlichen Personen.
Und ich habe als die Bioinformatik hier besetzt wurde,
war es tatsächlich so, dass wir die Bewerbung kriegten,
auf denen drauf stand.
Ich stehe bei Craig Venter auf Level 3. Also bei
diesem Artikel auf Level 3. Das war ein Qualifikationsmerkmal.
Was man bei der Bewerbung auf eine Professor anstelle,
stolz auf seine Bewerbungsunterlagen gesetzt hat.
Gut, also zu dem Zeitpunkt hat man gedacht,
so jetzt kennen wir das menschliche Genom, mehr brauchen wir nicht.
In der Zwischenzeit hat man festgestellt, dass er so gut wie nichts kennen.
Wir kennen zwar die Basenpaare, die dort drinstehen,
in den Gensequenzen,
aber was sie bedeuten,
wissen wir
überhaupt nicht
Früher hatte man angenommen, ja, Basenpaar sagt,
welches Protein synthetisiert werden muss.
Und dann die Aminosäuren daraus gebaut und so weiter und so fort.
So einfach ist es nicht. Insbesondere gibt es Ablesemechanismen,
die hunzgemein komplex sind. Und die einfachste Unterscheidung ist in solche,
in Abschnitte, die noch kodieren, das sind die Introns.
Und die Exons sind die, die tot sind.
Das sind die, die nicht mehr kodieren.
Da sind Reste, Genreste konserviert von früheren Generationen
Also die Virenreste von irgendwelchen Erkrankungen,
die unsere Vorfahren vor 10.000 Jahren mal durchgemacht haben,
die tragen wir in unseren Genen mit uns herum.
Und die Kunst ist jetzt festzustellen,
was in diesem Genpool, es sind eigentlich aktive Elemente,
die also noch für die Proteinsympthese gebraucht werden.
Und was sind die inaktiven Elemente,
die eigentlich nur noch ein Friedhof früheren Genmaterials sind.
Und da gibt es bestimmte Marker, die schalten den Ablesemechanismus ein,
die sagen, jetzt geht's los.
Und die dann das Ganze wieder ausschalten und sagen, bis hierher geht es.
Das war lange Zeit auch das Erklärungsmodells, wie es funktioniert.
Und diese Intro- und Exonerkennung,
die kann man auch mit Hidden Mark
of Modell machen
Der einzige Unterschied ist, dass die Transitionswahrscheinlichkeiten dort nicht empirisch ermittelt werden,
wie in anderen Anwendungen, also in diesen ganzen Dingern,
die ich hier genannt habe,
sondern die werden dort durch die Intuition des Systementwicklers festgelegt.
Und da werden dann meistens irgendwelche abklingenden Exponentialverteilungen abgenommen,
die über der Zeit die Sache immer unwahrscheinlicher machen.
Also das auf Daten zu ermitteln,
das funktioniert nach wie vor nicht. Das Hauptproblem davon ist,
dass auch dieses Modell mit dem Intro und Exon,
was also sagt, hier ist ein Abschnitt,
der kodiert und hier ist ein Abschnitt,
der nicht kodiert,
ist wieder noch
viel zu simpel
In der Zwischenzeit hat man festgestellt, dass die Dinger sich überlappen können.
Und jetzt ist man völlig ratlos. Jetzt weiß man gar nicht mehr,
was da eigentlich passiert. Das ist mit den bisherigen Vorstellungen
nur noch ganz, ganz schwer verträglich. Aber nichtsdestotrotz,
im Endeffekt läuft es darauf hinaus, dass man Methoden,
die in einem Gebiet der Informatik entwickelt worden sind,
auf neue Gebiete überträgt. Und ich weiß nicht,
ob ich das schon mal erzählt habe, hier,
das ist tatsächlich die Phase, um das Jahr 2001,
2002 herum gewesen, wo ich auf Veranstaltungen zur Sprachverarbeitung
plötzlich wo plötzlich Workshops über Bioinformatik abgehalten worden sind.
Ja, weil die Leute aus der Bioinformatik gekommen sind und
geguckt haben, was machen denn die Sprachonkels da?
Vielleicht können wir von denen irgendwas lernen. Und das macht Informatik so spannend,
dass ich eben nicht an ein Anwendungsgebiet gekoppelt bin,
sondern dass ich Grenzen überschreiten kann,
dass ich nach links und rechts gucken kann und sagen kann,
fragen kann, was machen denn die Leute dort?
Kann ich beispielsweise aus der Bildverarbeitung in irgendetwas übernehmen,
in die Sprachverarbeitung? Oder umgekehrt,
wir hatten mal einen Doktoranden,
der dann in die Mathematik gegangen ist und der hat sich dafür interessiert,
ob ich nicht diese Hidden-Marke-of-Modelle auch benutzen kann,
um Kantendetektionen in Bildern
zu machen
Denn was sind denn Kanten eigentlich nichts anderes als lineare?
Verläufe von Einzelobjekten. Und wenn ich eben eine Entscheidung über einen ganzen Kantenzug machen kann,
dann sollte das deutlich zuverlässiger sein, als Entscheidungen über Einzelkanten.
Denn wenn ich einen Kantenzug habe, dann kann ich,
und das ist genau wieder der Decoding-Aspekt,
kann ich solche Kantenzüge nur, also kann ich das so einrichten,
dass ich nur Kantenzüge betrachte,
die tatsächlich ein Pandant in der Realität haben,
die also bestimmte Konstränz erfüllen,
dass ein Kantenzug
beschlossen sein muss beispielsweise
Das kann ich über das Decoding sicherstellen. Und auch wieder ein typisches Beispiel,
wo einer gekommen ist aus der Bildverarbeitung, gesagt hat,
ja, können wir nicht die Sachen,
die sich hier in der Sprachverarbeitung bewährt haben,
übertragen auf ein neues Gebiet.
Also das ist unglaublich fruchtbar gewesen in der Vergangenheit.
Und ich glaube, da ist auch noch ein ziemlich hohes
Potenzial da. Wir gucken uns eine weitere Anwendung an.
Wir hatten ja schon die Sache mit den Kühen,
die weitere Anwendung ist Tagging, das ist aus der Sprachverarbeitung entnommen.
Das Beispiel, das wird in der Übung auch noch eine Rolle spielen.
Und die Aufgabe des Taggings kann unterschiedlich sein,
sie lässt sich immer darauf zurückführen,
dass ich Einzelwörtern in einem Satz, ein bestimmtes Attribut an Hefte,
also eine Klassenbezeichnung, die eben sagt,
dass das wirr hier ein Terminar ist und das ist ein
Normal-Nown im Singular und das ist ein Wirb in der Preteritumsform und so weiter und so fort.
Das ist also eine syntaktische Annotation. Das sagt immer,
was ist eine, was ist die Wortart dieser einzelnen Einheiten?
Das Gleiche kann ich auch machen mit Anwendungsgebieten, also Bereichen, wo die entsprechende Terminologie herkommt.
Also wenn ich diesen Satz habe, he did some field work,
dann ist dieses, das field, aber auch genauso das Work, ist hochgradig mehrdeutig.
Also das Feld kann so etwas sein wie das militärische Feld der Ehre,
auf dem man fällt oder es kann das Feld sein,
was der Bauer bestellt oder es kann das Feld sein,
was der Physiker erzeugt, um, also was weiß ich,
ein elektromagnetisches Feld beispielsweise oder es kann das Feld,
das Feld sein, in dem der Sozialwissenschaftler seine Feldstudien betreibt,
wo er hingeht und guckt,
wie Leute interagieren in irgendeinem sozialen Kontext oder es kann das Sichtfeld sein in der Optik,
also bei einem Fernglas beispielsweise,
wie groß ist das Sichtfeld was ich dadurch sehen kann.
Man sieht also, das sind sehr, sehr viele Möglichkeiten.
Und auch das ist im Endeffekt nichts anderes als eine Tagging-Aufgabe.
Ich habe die Wörter gegeben, ich muss in den Kontext gucken und versuchen,
aus dem Kontext zu ermitteln, welche Bedeutung von Feld ist hier eigentlich gemeint.
Und dann wird man eben sehen, dass Field Work ein stehender Begriff ist,
der eben genau diese Bedeutung aktualisiert oder benutzt. Dritte Möglichkeit wären semantische Rollen,
wenn ich also so einen Satz habe,
hier wie The Winner, Receive the Trophy, at Betonhall,
dann habe ich hier einen Beneficiary, das ist jemand,
der von diesem Erhalten einen Vorteil hat, das ist das,
was er bekommt, in diesem Falle also irgendein komischer Pokal.
Und das ist ein Ort, wo dieses Receiving stattfindet.
Ja, das sind also auch wieder Bestandteile des Satzes,
die ich mit einem Tag versehe,
der etwas über die Bedeutung dieser entsprechenden Einheiten aussagt.
Und dann kann ich diese Tags nehmen und kann etwa Suchalgorithmen verbessern.
Indem ich also nicht mehr ein Wort in beliebigem Kontext mir angucke,
sondern nur noch das Wort angucke,
wenn es an einem ganz bestimmten semantischen Zusammenhang steht
Ja, also wenn Trophy beispielsweise als Themen von Receiving benutzt wird.
Auf die Art und Weise kann man eben unterscheiden,
wenn man, das sind Chris Biemann,
mein Nachfolger im Amt, der ist mal bei der Firma,
jetzt habe ich den Namen vergessen.
Egal, eine Firma in den USA auf jeden Fall,
die solche Kategorisierung genau für diesen Zweck eingesetzt haben.
Dass man dann unterscheiden kann in einem Satz von, was weiß
ich, aktueller Kontext Clinton Accused Trump unterscheiden kann von Trump, Accused Clinton.
In dem einen Fall ist Trump, der aktive Part,
der jemanden beschuldigt, in dem anderen Fall ist es Clinton.
Und dann möchte man eben beispielsweise suchen, nur da,
wo Clinton jemand beschuldigt hat und nicht der Beschuldigte ist oder die Beschuldigte ist in diesem Falle.
Und das hängt genau an solchen Annotationen, die ich an
den Satz dran hänge. Das ist also die Aufgabe,
wir gucken uns nur den ersten Fall an,
also solche syntaktischen Kategorien, weil der, der wesentlich einfachere ist.
Hier habe ich erstens viele Trainingsdaten zur Verfügung,
Das ist sehr einfach zu annotieren durch Menschen.
Hier ist es sehr spezifisch. Hier kann ich nur einen Klassikator trainieren,
der sich nur um das Problem fehlt, kümmert.
Ja, wenn ich also, was weiß ich,
das nächste Wort nehme, Table beispielsweise,
dann nutzen wir diese Kategorien hier vermutlich gar nichts.
Und wenn ich das für alle Wörter machen will,
ende ich mit Tausenden, wenn ich Zehntausenden,
solchen Tags, die ich da dran schreiben kann.
Ja, denn das kann man beliebig fein machen,
in welchem Bereich irgendetwas benutzt wird.
Gerade die ganze Spezialterminologie, da gibt es dann eben Wörter,
die nur von Zahnärzten in diesem Kontext benutzt werden
Und dann rede ich plötzlich hier über Dentest-Kategorie.
Und das kann ich beliebig verfeinern, indem ich sage,
das ist die Bedeutung von Baum, die nur theoretische Informatiker benutzen.
Und da sieht man, das ist ein offenes Ende.
Das kann man beliebig fein machen. Also das sind die
komplizierteren Sachen, da geht es nicht so einfach zu.
Das können wir mit einfachen Hitten-Mark-of-Modell tatsächlich lösen.
Wir haben es also zu tun, mit einem Sequenz-Labeling-Problem,
wobei das Label immer abhängig ist vom aktuellen Zustand,
in dem sich das Modell befindet und der jüngsten Geschichte,
die dem Ganzen vorangegangen ist
Und das ist deshalb einfach, weil wir hier eine 1-zu-1-Korrespondent zwischen den Zuständen,
den Tags und den Worten als Beobachtung haben.
Das ist hier eben nicht der Fall. Da hänge ich
die Tags nur an manche Wörter dran, aber nicht an alle.
Weil das zum Beispiel kein semantisches Label kriegt, das soll es nicht kriegen.
Während Tier kriegt wirklich jedes Wort einen Tag und deshalb habe
ich eine 1 zu 1 über Einstimmung zwischen dem Wort,
dem Tag, den ich dran schreibe und dem Zustand,
in dem das passiert.
Das sind die drei Dinge, die ich miteinander verbinden will.
So, wir machen wieder ein kausales Modell, wie wir
das bisher auch gemacht haben von den Ursachen zu den Wirkungen her.
Und wir nehmen an, die Ursachen sind also die
zugrunde liegenden Tags
Wir haben Tags und wir haben zulässige Textsequenzen.
Das ist durch die Grammatik der Sprache festgelegt. Welche Bordarten
aufeinander folgen können. Das modellieren wir hier natürlich wieder probabilistisch,
denn wir reden über probabilistische Modelle. Und wir gehen davon aus,
dass es eine Emissionswahrscheinlichkeit gibt, die sagt,
dass Tag normales Nomen im Singular kann durch folgende Wörter realisiert werden.
Und da sehen wir den Vorteil eines generativen Modells,
weil ich diese Wahrscheinlichkeiten, für diese Wahrscheinlichkeiten habe ich
sehr,
sehr viele Beobachtungsdaten
Im umgekehrten Falle, wenn ich sagen würde,
das Wort erzeugt einen Tag, dann habe ich nur wenige Beobachtungsdaten.
Da habe ich eben dann nur, was weiß ich,
zwei oder drei Tags, die das Wort überhaupt annehmen kann, alle anderen sind sinnlos.
Und dann werden also viele der Wahrscheinlichkeiten null sein,
in der umgekehrten Richtung habe ich also massenweise Wörter,
massenweise Wörter, die durch dieses Tag erzeugt werden.
So, also die Tags werden an die States gekoppelt,
ich habe eine Zustandsfolge und der Zustand, die Zustandsfolge heißt,
welche Tags können nacheinander in einem Satz auftreten?
Und diese zugrunde liegende Sequenz von Zuständen produziert jetzt
die Beobachtung und die Beobachtung sind die Worte,
die ich im Satz finde
Dann machen wir wieder Unabhängigkeitsannahmen. Wir könnten wieder alles mit allen miteinander verkoppeln.
Dann sehen wir aber, dass es nicht praktikabel ist.
Und deshalb vereinfachen das Ganze wieder. Und typischerweise nimmt man
hier Trigramm-Wahrscheinlichkeiten. Das ist ein guter Komprompromiss zwischen Ausdruckskraft und Aufwand
, um sie zu ermitteln. Weil ich eben größere,
ich brauche gelabelte Daten für das Training und gelabelte Daten sind teuer zu machen.
Und auf den beschränkten Daten, die ich zur Verfügung habe,
kann ich Trigramm-Modelle meistens noch ganz gut benutzen,
um die Wahrscheinlichkeiten abzuschätzen,
für höhere Modelle,
höhere Ordnung geht das dann nicht mehr
so ohne weiteres
Und wir machen dann die zusätzliche Annahme,
dass die Wortprädiktionen nur immer am aktuellen Zustand hängen.
Ja, wir erinnern uns, Berlin Kühen beispielsweise haben wir
das so Licht gemacht. Da haben wir gesagt,
ja, wir hätten ganz gerne auch, dass die,
dass der Infektionsstatus am vorhergehenden Tag immer noch das Testergebnis am nächsten Tag mit beeinflussen kann.
Das kann man also, je nach Aufgabe immer einstellen,
das ist die Standardausstattung eines Modells. Auch das kann man natürlich,
wenn man glaubt, dass man dadurch noch Verbesserung erzielen kann,
verfeinern, beispielsweise,
dass man die Wahrscheinlichkeit des Wortes abhängig macht von dem aktuellen Tag,
dem davor und dem danach, dann ist das sozusagen wieder eine vierdimensionale Wahrscheinlichkeitstabelle.
Aber es ist eben immer die Frage, ist man in der Lage,
tatsächlich diese Wahrscheinlichkeiten da noch richtig zu schätzen?
Und dafür brauche ich wieder viele Daten.
Also wie immer ein Engineering-Problem, man kann das Modell anreichern,
man muss aber den Preis dafür bezahlen können.
Diese Abwägungsprozess, die nimmt uns keiner ab,
der taucht in jeder Anwendung immer wieder genauso auf.
Das Problem ist, das ist jetzt eine Darstellung von Ja,
nehmen wir die Standardvariante, die benutzen wir dann im Weiteren auch.
Das ist eine Darstellung des Modells in der Notation,
die wir für Beliefnetze eingeführt haben für basische Netze.
In vielen Fällen wird eine ganz andere Darstellung benutzt.
Und ich möchte beide Darstellungsvarianten jetzt ja mal da bieten und diskutieren.
Weil ich nämlich immer wieder damit konfrontiert bin,
dass an diese Kreise und Pfeile die wirllisten Interpretationen drangehangen werden.
Wir haben bisher praktisch bei jedem Ansatz,
den wir irgendwie uns angeguckt haben,
Kreise und Pfeile gehabt
Mal waren die Kreise Suchzustände. Hier sind es keine Suchzuständige.
Es sind es Vayablen. Und die Vayablen werden benutzt,
um Zustände eines Systems zu beschreiben. Nicht Suchzustände,
das ist was anderes. Suchzustände werden beschrieben durch Pfade,
die ich in diesem Modell beispielsweise absolviert habe.
Also jede dieser grafischen Darstellung drückt irgendetwas Spezielles aus.
Und wir haben hier zwei unterschiedliche konkurrierende Repräsentationen für den gleichen Sachverhalt.
Und die möchte ich einfach mal gegeneinander halten, damit man sieht,
dass man immer genau in die Details gehen muss,
was bedeuten denn diese Kreise und diese Pfeile eigentlich?
Das ist wesentlich fürs Verständnis. Also wir haben die beiden Möglichkeiten,
Einerseits diese Influenzdiagramme, also die Beliefnetze, und andererseits Zustandsübergangsdiagramme.
Wo sind Ihnen Zustandsübergangsdiagramme schon mal begegnet? Ja, wo
wir erleben. Ja, da gibt es das auch.
Wo noch? Ja, aber UML-Diagramme sind eigentlich,
ja, ich kann auch Zustandsdiagramme damit,
oder dafür Zustandsdiagramme benutzen, aber das ist nicht die Hauptverwendungsweise.
Um ältere Agramme sind ja meistens,
werden ja meistens benutzt, um Systemarchitekturen zu beschreiben,
mit Objekten und ihren Methoden und so weiter.
Ja, Boot taucht sowas noch auf in Informatik
Ja, welche Automaten? Ich weiß nicht, hätte ich auch.
Endliche Automaten, ja genau. Da sind es eben Zustände,
die ich, da stehen die Kreise für Zustände und die Pfeile sind Zustandsübergänge.
Und das ist eben, sind die beiden Möglichkeiten,
die wir hier haben, in den basischen Netzen,
sind die Zustandsknoten, eben Vajablen, die Zustände als Wert annehmen können.
Ja, das ist eine Vajable, die sagt,
ich kann den Wert, Zustand 1, Zustand 2,
Zustand 3 und so weiter annehmen,
in einem Zustandsübergangsdiagramm sind das die Zustände selbst
Da rede ich also nicht über einen Container, mit dem
ich Zustände beschreiben kann, sondern über den Zustand selbst.
Die Kanten, die also in einen solchen Zustandsknoten hineingehen,
das ist hier kausaler Einfluss.
Also von irgendeiner anderen Variablen geht ein kausaler Einfluss auf eine
zweite Variable aus. Hier sind es die möglichen Zustandsübergänge.
Das ist etwas anderes. Wir müssen uns also immer vorstellen,
dass eine dieser Variablen hier für eine Menge von Zuständen stehen kann.
Und ich kann von jedem dieser Zustände hier,
wenn das vier sind, kann ich zu jedem dieser Zustände
hier übergehen
Ja, das heißt also, ich habe dann im Endeffekt,
kann man das ausrechnen, 4x4, 16 mögliche Zustandsübergänge.
Dieser Pfeil steht für 16 Zustandsübergänge. Dieser Pfeil in einem Zustand,
ein Pfeil in einem Zustandsdiagramm steht nur für einen einzigen Zustandsübergang,
weil nämlich die Zustände, die Knoten für Zustände stehen.
Ja, und dann habe ich hier einen Zustand und hier einen Zustand und das
ist eine Übergangsmöglichkeit, also beispielsweise von krank nach gesund.
Während ich in dem besten Netz die Variante habe,
von krank gesund, zu krank gesund,
also vier Möglichkeiten zwischen diesen Variablen hin und her,
also in eine Richtung weiterzugehen
Wenn ich die Anzahl der Zustandsknoten mir angucke in dem Diagramm,
dann ist das hier die Länge der Beobachtungssequenz.
Also ich habe so viele Variablen,
also es ist proportional zur Länge der Beobachtungssequenz.
Achso, nee, wenn ich die Zustandsknoten betrachte,
dann ist es tatsächlich die längere Beobachtungssequenz.
Jeder Zeitpunkt hat genau eine solchen Knoten.
Dann entspricht jeder Knoten, jeder Zustandsvaable entspricht einem Zeitpunkt.
Hier, es ist die Anzahl der Modellzustände. Wenn ich
also ein Modell hätte, was die krank Gesundabfolge modelliert,
dann habe ich eben genau Zwei Zustände, entweder krank oder gesund.
Und ich kann zwischen diesen beiden Zuständen hin und her gehen.
Ich kann von krank nach gesund und von gesund nach krank kommen.
Und ich kann natürlich in krank bleiben und in gesund bleiben.
Das sind die vier möglichen Zustandsübergänge, die ich habe.
Also hier sind es die Modell, die Anzahl der Modellzustände.
Hier ist es die Länge der Beobachtungssequenz. Und wenn ich
die Beobachtungsknoten mir angucke, dann sind das hier Variablen,
die die Beobachtung als Werte haben.
Also ich habe ein bestimmtes Krankheitssymptom gesehen.
Und hier sind es die Beobachtungswerte selbst wieder.
Also hier Variablen, die eine Beobachtung als Wert nehmen können
und hier einen Beobachtungswert selbst
Und die kannten in einen solchen Beobachtungsknoten,
sind dann bedingte Wahrscheinlichkeitstabellen, wie der Zustand die Beobachtung beeinflusst.
Und hier sind es die bedingten Wahrscheinlichkeiten selbst. Hier sind
es Verteilungen, eine Kant, das eine solche Verteilung.
Und hier ist eine Kante, genau eine bedingte Wahrscheinlichkeit.
Also das ist sozusagen eine individualisierte Darstellung der Zustandsübergänge.
Nun fragt man sich, warum nimmt man das?
Warum nimmt man jenes? Wir gucken uns das gleich erstmal
im Beispiel an und dann können wir uns die Frage nochmal
der Frage nochmal zuwenden.
Also das ist eine Basisausstattung eines Hidden Mark-Off-Modells
Wir haben hier Vayablen immer vorliegen. Einer, solche Kante ist
eine Wahrscheinlichkeit, eine bedingte Wahrscheinlichkeitsverteilung. Und die steht eben
jetzt für N mal N mögliche Zustandsübergänge von hier nach hier.
Und wenn ich hier einen Zustände habe und hier M-Wörter,
dann habe ich eben N mal M-Emissionswahrscheinlichkeiten, die sagen,
wie ich diese Zustände hier auf Beobachtung abbilden kann.
Das mag ein Nachteil sein. Ich kann also die möglichen Zustandsübergänge
nicht direkt sehen. Wo sehe ich tatsächlich die Zustandsübergänge?
Also die Frage, ob es ein Zustandsübergang gibt oder nicht,
wo ist das in dieser Darstellung kodiert.
Oder wo muss ich es suchen? Es ist natürlich,
in der Darstellung findet man es nicht. Aber wo steht
es? Irgendwo muss es ja sein. Also die Frage,
gibt es von krank nach gesund einen möglichen Übergang?
Oder ist der Tod unausweichlich? Ja, der Fall stellt eine Wahrscheinlichkeitsverteilung mehr.
Wahrscheinlich kannst du da, könnte ja zum Beispiel Null verstehen.
Genau, das sind die Nullen in diesen Verteilungen,
die ich dort habe. Die Nullwahrscheinlichkeiten, die ich habe,
die sagen, dieser Übergang existiert nicht.
In der anderen Darstellung kann ich das explizit sichtbar machen.
Das ist jetzt ein schlechtes Beispiel,
weil es hier keine einzige Verbindung gibt,
die fehlt
Aber ich könnte Pfeile in dieser Darstellung weglassen.
Das sind also jetzt die Zustände und die Kanten sagen,
wie ich zwischen den Zuständen hin und her komme.
Wenn hier ein Pfeil fehlen würde,
dann entspricht das einer Wahrscheinlichkeit von null in einer entsprechenden Verteilung.
Achso, da steht es ja auch. Was stelle ich
hier für Fragen? Die Antwort steht an der Tafel.
Gut, ja, diese Zustandsübergangsdiagramme sind deshalb meistens besser geeignet,
um die Modelltopologie sichtbar zu machen.
Also das ist halt die Topologie des Tackings-Modells, das daneben.
Allerdings mit dem Nachteil, dass wir die Die Bigramm-Wahrscheinlichkeiten,
die wir hier verwenden, tatsächlich darstellen können,
weil dies eben nur immer Zustand zu Zustandsverbindungen sind oder mit anderen Worten N-Mal-N-Tabellen.
Aber wenn wir diese andere Variante des Triggeram-Modells hier nehmen,
dann können wir solche Abhängigkeiten von zwei Zuständen überhaupt nicht mehr darstellen,
weil ein Pfeil eben nur zwei Knoten verbinden kann, aber nicht drei.
Deshalb ist die zustandsbasierte Darstellung mit Nachteilen verbunden.
Also wie immer, es gibt keine optimale Lösung.
Es gibt Vor- und Nachteile und ich muss es abwägen,
welche ich verwende. Also hier sind immer nur Bigramm Wahrscheinlichkeiten,
wie wahrscheinlich ist es, dass ich von T4 nach
T3 komme
Aber ich kann eben schlecht ausdrücken, wie wahrscheinlich ist es,
dass ich nach den drei komme,
wenn ich zuvor in T2 und T4 war.
Ja, da müsste ich jetzt Kanten einführen,
die irgendwie drei Knoten miteinander verbinden. Und das ist üblicherweise
nicht möglich. Es geht natürlich, aber es wird unübersichtlich
. Das ist ein allgemeiner Fall eines solchen Zustandsdiagramms,
wo ich eben hier volle Verbundenheit zwischen den Knoten habe.
Und das wird deshalb auch als ergotisches Modell bezeichnet,
was eben jeden Knoten mit jedem anderen verbindet.
Für andere Anwendungen, für das Tagging ist das die optimale Struktur.
Das wollen wir haben, weil wir im Prinzip annehmen müssen,
dass alles auf alles folgen kann in einem Satz
Es gibt Dinge, die sind sehr unwahrscheinlich und es gibt Dinge,
die sind völlig unmöglich, aber damit können wir leben.
Hauptsache, der Kontrast zwischen den Wahrscheinlichkeiten ist noch groß genug.
Das sieht anders aus, wenn wir in diesem Bereich der Spracherkennung oder der Gestenerkennung übergehen.
Dann haben wir nämlich einerseits ein zusätzliches Problem,
weil wir nämlich jetzt Beobachtungssequenzen unbekannter Länge haben,
die auf ein Label abgebildet werden.
Beim Tagging nehmen wir ein Wort und bilden es auf einen Tag
ab oder umgekehrt einen Tag, bilden wir auf ein Wort ab.
Hier haben wir jetzt viele Beobachtungen,
die alle zu dem Wort Fensterkreuz gehören
Wir nehmen alle 10 Millisekunden eine Beobachtung an dem Wort.
Und das sind dann im Durchschnitt wahrscheinlich so was um die
150 Beobachtungen, die wir gemacht haben.
Und wie viele Beobachtungen zu dem Wort Fensterkreuz gehören,
das wissen wir Apriori nicht. Das heißt,
hier machen wir jetzt nicht eine 1-zu-1-Abbildung, sondern eine 1-zu-M-Abbildung.
Ein Label für eine ganze Sequenz von Beobachtungen.
Und deshalb haben wir hier ein Alignment-Problem.
Das Alignment-Problem haben wir auch bei diesem Zeichenkettenvergleich gehabt.
Da konnten wir ja Dinge weglassen und einfügen. Das ist
im Prinzip genau das Gleiche, was wir hier haben.
Nur, dass es hier viel schärfer steht, ist,
weil wir mehr Zustände,
also mehr Zeitpunkte betrachten müssen
Auf der anderen Seite wird es einfacher,
weil wir die volle Konnektivität gar nicht brauchen. Das,
was in der Sprache eben sind oder wesentlich ist oder was
genauso auch für die Wörter auf so einer Tastatur gilt,
die Umkehroperation gilt nicht.
Also ich kann ein Wort nicht rückwärts sprechen. Ja,
das weiß jeder, der sich mal einen Turm macht
in der verkehrten Reihenfolge angehört hat.
Das hört sich sehr merkwürdig an. Auf eine Art und Weise,
wie wir nicht sprechen können. Es geht einfach nicht. Das heißt,
wir können immer davon ausgehen, dass es eine bevorzugte Richtung gibt,
durch die ich durch das Modell durchlaufen lassen kann.
Und diese Zyklen, die eben hier in diesem
vollständig verbundenen Modell möglich sind,
die können dort
gar nicht auftreten
Und deshalb haben wir Modelltopologien, die anders aussehen,
als diese Modelltopologien hier, die sehen nämlich ungefähr so aus.
Ich habe jetzt die Emissionswahrscheinlichkeiten weggelassen. Die sind nicht hier dargestellt
. Wir müssten jetzt von diesen Zuständen immer noch sagen,
der Zustand kann jetzt bestimmte Signalbeobachtungen emittieren.
Das habe ich der Vereinfachheit halber weggelassen. Das sind nur
die Transitionen zwischen den Zuständen. Und das ist jetzt für einen
laut, also sowas wie A oder mh oder mh.
Und ähm typischerweise nimmt man an, dass drei Zustände dafür ganz gut geeignet sind.
Der erst, sagen, fangen wir so an,
der Mittlere soll die sogenannte stationäre Phase des lautes beschreiben.
Also wenn ich ein A habe, das ist dann,
wenn ich ein A produziere, wo sich nichts ändert.
Der erste Zustand soll den Übergang vom Vorhergängenden laut zum aktuellen Laut modellieren.
Also wenn ich mal beispielsweise spreche, dann ist das
der Anfang von dem Maha noch durch das M beeinflusst.
Und genauso soll das den Übergang zum Nächsten laut beeinflussen,
wenn ich also am spreche, dann wird das A bereits beeinflusst,
dort wo ich mit der Artikulation hingehe.
Das nimmt man üblicherweise als ausreichend an, Wie immer in der Wissenschaft,
Wissenschaft lebt davon, dass man Dinge in Frage stellt.
Und dass man sich fragt, ob diese Modelltopologie wirklich der Weisheit letzter Schluss ist.
Und da haben wir mal vor einer ganzen Zeit eine Dissertation gemacht,
wo wir auf Datenmaterial geguckt haben,
ob es nicht für bestimmte Laute bestimmte Topologien einen Vorteil haben.
Und das ist ein ganz unerwartetes Ergebnis rausgekommen,
dass nämlich die längeren Laute und ausgerechnet auch noch die,
die eine temporale Dynamik haben,
das sind nämlich die Dyphtonge,
also sowas wie Ei,
das fängt mit A an und macht dann
einen graduellen Übergang zum EI
Da merken sie auch, wie die Artikulat freuen sich
während des Sprechens verändern. Das Gleiche Patient bei Eui,
das fängt bei O an und hört bei I auf.
Das sind die Dyftonge, also die aus zwei Lauten zusammengezogen sind.
Und ausgerechnet die haben die wenigsten Zustände gebraucht. Das ist
rational nicht zu erklären. Aber die Daten haben es so hergegeben.
Wenn man denen weniger Zustände zugestanden hat, hat man bessere Erkennungsergebnisse bekommen.
Da kann man also Modelltopologien vergleichen und Selektionsmechanismen anwenden,
um rauszukriegen, ob das wirklich das Optimum ist.
Man kann aber eben auch durch Intuition des Systementwicklers vorgehen,
was hier erstmal wesentlich ist,
sind diese Nullbasis
Wahrscheinlichkeiten hier drin. Die sagen eben von 1 nach 0 gibt es,
äh von 0 nach 1, sorry, so,
müssen wir es ja lesen,
von 0 nach 1 gibt es hier einen Übergang.
Das ist diese Kante. Wobei, das muss ich noch dazu sagen,
das sind rein technische Knoten hier, die dienen nur dazu,
dass wir dann die Lautmodelle zu Wortmodellen verbinden können.
Ja, also viele solche Lautmodelle, die werden dann zu einem Wort zusammengefügt.
Und dann dienen die Knoten sozusagen nur als Kopplungspunkte zwischen zwei
aufeinander folgenden Modellen. Also, das ist der Knoten 0,
das ist 1, 2, 3, 4 von 0
nach 1 gibt es einen Übergang mit einer bestimmten Wahrscheinlichkeit.
Von 1 nach 1 gibt es auch einen Übergang,
das ist diese Kante hier
Und von, sagen wir mal, null nach zwei
gibt es auch einen Übergang, dass es diese Kante.
Aber von null nach drei gibt es keinen Übergang,
das wäre eine Kante, die hier startet und nach dort geht.
Die existiert nicht. Deshalb ist hier die Wahrscheinlichkeit null kodiert.
Das ist genau der Punkt, den wir hatten,
in dieser Sicht als basisches Netz sind diese nicht existenten oder die Existenten,
also was, wo sind Verbindungen da,
wo sind keine Verbindungen da in dieser Topologie,
dass es versteckt in diesen Wahrscheinlichkeitswahrscheinlichkeitsverteilungen
Wobei eben immer, wir haben ja immer die Wahrscheinlichkeit,
in einen Zustand zu kommen, gegeben, die Vorgängerzustände.
Das heißt, wir müssten hier die eine solche Zeile,
ist eine Wahrscheinlichkeitsverteilung. Das ist immer die Wahrscheinlichkeit,
in eins zu landen. Wenn ich in null starte,
wenn ich in eins starte, wenn ich in zwei starte,
drei und wenn ich in vier starte.
Ja, und wir sehen insbesondere, dass es keinerlei Kanten
gibt, die wieder an den Anfang zurückgehen.
Jedenfalls nicht innerhalb des Lautes und auch nicht innerhalb des Wortes.
Denn das würde bedeuten, dass sich das Wort auch umgekehrt sprechen kann.
Und dann ist es genauso gut wie in der richtigen Richtung.
Wo ist das, wie es lächerlich wieder gibt?
Das ist innerhalb des Satzes
Wenn ich jetzt also Wortmodelle zu Satzmodellen verbinde,
dann kann ich Belieby Reihenfolgen wieder zulassen.
Dann gibt es auch Zyklen, die eben beispielsweise Wortwiederholungen erlauben.
Ja, die könnte ich sonst nicht behandeln.
Aber ansonsten innerhalb des Lautes und innerhalb des Wortes gibt es
nur Verbindungen, die von links nach rechts gehen.
Andere Verbindungen oder eben auf der Stelle treten. Das gibt
es natürlich auch. Aber nichts, was wieder in der
Zeit zurückgeht. Und das ist eben ganz einfach die Tatsache,
dass sich solche Signalrealisierungen nicht einfach zeitlich umbauen kann.
Das war anders im Falle unseres Tippfehler
Korrektursystems. Da habe ich Zeichendreher beispielsweise drin.
Da kann es durchaus sein, dass meine Finger dafür sorgen,
dass ein späterer Buchstabe zuerst kommt und die Zeichen genau miteinander vertauscht sind.
Da muss ich wieder im Modell zulassen,
dass eine solche Vertäuschung auch behandelt werden kann.
Hier muss ich es nicht. Wir können jetzt dieses Modell,
was relativ üppig ausgestattet ist, wieder noch vereinfachen,
indem wir sagen, ja, brauchen wir denn?
Diese vielen Skip-Überzustände hier, reicht es nicht einfach nur zu sagen,
ja, ich habe hier eine Schnellsprachvariante des Lautes,
die geht eben von dem ersten Zustand gleich in den letzten über.
Und das, was wir sehen,
ist, dann wären es eben mehr Nullen in dieser Wahrscheinlichkeitsverteilungstabelle
Das ist die Konsequenz davon. Und wir können das noch
weiter vereinfachen. Und das ist dann auch das Modell,
was am häufigsten benutzt wird, dass man einfach sagt,
okay, das muss eben zwangsweise durch drei Zustände durch.
Ob das stimmt oder nicht, ist uns egal,
aber wir haben weniger Wahrscheinlichkeiten zu trennen.
Also die Wahrscheinlichkeiten, die hier übrig bleiben, werden immer weniger.
Und das ist tatsächlich auch das Modell, was am häufigsten
verwendet worden ist. Also da ist es wieder dieser Engineering-Aspekt,
wo ich Aspekte der Anwendung reinbringen muss,
beispielsweise Wörter kann ich nicht einfach oder laute nicht einfach umdrehen oder aber
wie Wie viele Teile kann ich überspringen in einem Modell oder kann ich das Modell zwingen,
eine bestimmte Mindestanzahl von Beobachtungen zu konsumieren?
Denn jeder dieser Zustände konsumiert ja mindestens eine Beobachtung.
Und das heißt also, laute die ganz wegfallen, die sind nicht möglich.
Hier oben kann ich also ein Laut auch noch auf,
naja doch, auf zwei Zustände kann ich.
Nee, auf einen Zustand kann ich ihn reduzieren.
Das ist nämlich genau der Mittlere. Ich kann also hier hinspringen,
hier einen Zustand, eine Beobachtung konsumieren und dann wieder rausgehen aus dem Modell.
Hier brauche ich mindestens zwei Beobachtungen. Ich kann in den Zustand
gehen, dann hierhin springen und dann das Modell verlassen.
Und hier muss ich durch drei Beobachtungen, durch ich das Modell wieder verlassen kann. Gut,
ja, also je mehr Daten ich habe,
umso anspruchsvollere Modelle kann ich trainieren und da man typischerweise immer davon ausgehen muss,
dass Daten begrenzt sind, gibt es immer irgendwie ein gutes Argument,
es mit den einfachsten Modellen, die irgendwie gehen, noch zu versuchen.
Ich hatte es schon erwähnt, wir können jetzt diese Lautmodelle nehmen,
das sei jetzt ein Lautmodell für,
das ist ein Lautmodell für A,
das ist ein Lautmodell für Daraus kann ich jetzt das Wortmodell
für Fahnen zusammensetzen und habe dann eben ein Modell mit vielen Zuständen und kann dieses nehmen,
um in einer Beobachtungssequenz das Wort fahren zu finden.
Achso, das ist das Kurzes, Fun ist das. Ja,
auf die Art und Weise werden jetzt einfache Modelle zu komplizierter,
also in diesem Fall Lautmodelle zu komplexeren Bordmodellen zusammengesetzt und
die kann ich dann wieder miteinander verketten und Satzmodelle aufbauen.
Soviel zu Hidden Mark of Modellen. Dieser Hidden Mark of
Modelle machen immer einen, oder überhaupt die zustandsbasierten Modelle,
die machen immer eine vereinfachende Annahme.
Es gibt schon mal jemanden aufgefallen. Welche Annahmen haben wir
nicht in Frage gestellt
Gut, ich saß vorweg. Wir haben immer angenommen,
dass das System zu einem Zeitpunkt in einem Zustand ist.
Wir konnten nie sagen, dort sind unabhängig voneinander agierende Prozesse,
die miteinander zusammenwirken, aber die in unterschiedlichen Zuständen sich befinden.
Und das hat man bei allen natürlichen Aufgabenstellungen, tatsächlich ist das der Fall.
Also wenn ich etwa unterschiedliche Einflüsse habe, die das Ergebnis beeinflussen,
Und das haben wir bei Menschen an allen Stellen, überall.
Wir haben nirgendwo eine einzige Ursache, die eine Wirkung erzeugt.
Und das haben wir genau angenommen. Es gibt
eine Ursache, das ist der Zustand des Systems.
Der beeinflusst, was der Output sein wird.
Tatsächlich ist es aber so, wenn wir sprechen beispielsweise,
zerren mindestens 20 verschiedene Muskeln an unserem Kiefer,
an unserer Zunge und so weiter.
Und die bilden ein Gleichgewicht. Und die benehmen sich asynchron
. Also die haben ihr eigenes temporales Leben.
Die sind zwar stark miteinander gekoppelt,
aber nicht strikt miteinander gekoppelt
Deshalb ist der Zusammenhang nur stochastischer Natur. Also beispielsweise heißt es,
wenn ich diesen Übergang von A nach I mache,
das können Sie beobachten, ich muss den Kiefer schließen,
das ist die eine Aufgabe und ich muss gleichzeitig die Zunge bewegen.
Von einer hinteren Position, in eine vordere Position.
Das sind zwei unabhängige Prozesse, die kann ich unterschiedlich koordinieren.
Ich kann zuerst den Mund schließen und dann die Zunge nach vorn bringen
oder ich kann erst die Zunge nach vorn bringen und dann den Mund schließen.
Die sind temporal nicht hundertprozentig miteinander verkoppelt. Das heißt,
ich habe jetzt zwei verschiedene Zustände. In welchem Zustand befindet sich
mein Kiefer und in welchem Zustand befindet sich meine Zunge?
Und das haben wir überall an allen prealen Systemen,
der Art, wenn sie nicht wirklich extrem vereinfachend sind.
Also nehmen Sie beispielsweise ein Segelboot. Was bestimmt bei einem Segelboot,
wo das Ingelboot hinfährt und mit welcher Geschwindigkeit es das tut?
Also was sind die Einflussfaktoren, die ich habe? Ja,
die sind stärker und die sind Richtung und auch die Aussicht des Ruders wahrscheinlich.
Ja, bestimmt auch noch das Gewicht der Bootes dazu.
Ja, also Windrichtung mit Stärke kann ich nicht beeinflussen.
Das sind externe Faktoren. Ja, die gehen aber die Berechnung mit ein.
Ja, natürlich, aber die kann ich nicht beeinflussen.
Der Zustand des Systems sind ja sozusagen die Dinge, die ich beeinflussen kann.
Also wir hatten das beim Roboter eben die Steuerkommandos, Was für Möglichkeiten.
Also eins hatten sie schon gesagt, die Stellung des Ruders.
Das ist ganz eindeutig ein solcher Einflussfaktor. Was haben wir noch? Natürlich,
ob ich das Regel ranziehe oder ob ich es frei lasse,
das üblicherweise nicht nur bei einem Segel, sondern bei mehreren.
Ich habe einen Vorschutzsegel, ich habe einen Hauptsegel bei großen Segelschiffen,
habe ich Dutzende von Segeln,
die ich setzen kann oder nicht setzen kann.
Also wie das Segel steht, mit den Parametern,
die da existieren. Was haben wir noch?
Gegebenenfalls schwer von Angel
Ja, ich kann das Schwert reinziehen, sollte man aber mit Vorsicht tun.
Ja, ich kann einen Anker werfen, um zu bremsen.
Aber was ich auf jeden Fall ausmachen kann, ist das Boot austarieren.
Also je nachdem, wie ich mein Gewicht verlagere,
ändert, dass ja die Kränkung des Bootes und dann beeinflusst
das auch die Richtung, die das Boot nehmen wird.
Also wir sehen, das sind alles Prozesse, die sind unabhängig voneinander,
die natürlich durch den Steuermann des Bootes koordiniert werden.
Der wird nicht völlig willkürlich das Ruder bewegen und dann das Segel bewegen oder sowas,
sondern es passiert schon in koordinierter Art und Weise.
Denn sonst würde man kein Wendemanöver hinbekommen. Nur wenn das
in einem stark gekoppelten zeitlichen Rahmen passiert, ist es erfolgreich.
Ansonsten, ja, führt so im schlimmsten Fall zum Camper
, Kenntern des Bootes. Vielleicht gefährlicher ist ja noch
eine Halse zu machen auf die Art und Weise.
Aber da sehen wir verschiedene Einflussfaktoren, die das Endergebnis beeinflussen.
Spielen zusammen. Und dann können wir eben nicht davon reden,
dass das Boot in einem Zustand ist,
sondern wir müssen davon reden, wir haben verschiedene unabhängige Einflussfaktoren,
die alle sich auf das Ergebnis auswirken.
Das werden wir mit dynamisch im besten Netzen beschreiben.
Das ist sozusagen das Sahnehäubchen, die höchste Komplexitätsstufe,
die wir hier behandeln können. Die anderen lassen man überlebt weg.
Das sind dann noch partiell beobachtbare Angelegenheiten. Aber das machen
wir zum Schluss noch. Aber Eva dahin kommen,
mache ich jetzt erstmal den Break und hole das nach,
was ich Ihnen letztens versprochen, aber nicht eingelöst habe,
nämlich die Anwendung von A-Temporalen basischen Netzen.
Das waren ja jetzt alles Sequenzmodelle, die wir betrachtet haben.
Und davor haben wir hier einen Abschnitt, wo es um A-Temporale Modelle geht.
Hier, das sind eben die Bereiche. Einerseits in der
menschlichen multimodalen Perzeption. Und das ist übrigens die Brücke auch,
die wir hin zu den dynamischen Basischen Netzen brauchen,
weil wir dort nämlich den Dynamikaspekt haben,
wie entwickelt sich etwas über der Zeit und weil die Aufgabe in den meisten Fällen darin besteht,
Multimodalität zu betreiben.
Sowohl in der Pezact Perzeption als auch im Bereich der Aktorik.
Also im Bereich der Aktorik hatten wir das eben,
das sind die verschiedenen Muskeln. Auch die verschiedenen Muskeln,
die dabei, die mitspielen, wenn ich hier diesen Stift greifen will.
Das sind bestimmt zehn oder zwölf Muskeln,
die jetzt beteiligt sind dabei, diese Aktion auszuführen.
Und das Zusammenspiel dieser Akteuren zu beschreiben,
das kann man mit solchen dynamischen Best-to-Nets machen.
Und insbesondere eben die Kopplung über verschiedene Modalitäten hinweg.
Also sehen und hören, fühlen und sehen und dergleichen mehr
. Das sind die typischen Anwendungen, die in der Psychologie
auch benutzt werden, um menschliches Verhalten zu beschreiben.
Mithilfe solcher besten Netze
Also, das eine ist Datenfusion. Wie kann ich Daten aus verschiedenen Perzeptionskanälen
zusammenbringen? Akustik, visuell. Und das zweite ist,
wie kann ich Top-Down-Einfluss in der menschlichen Kognition modellieren?
Und dann noch ein Beispiel aus der Mensch-Computer-Interaktion,
wo es also darum geht, auch multimodale Sensorik zu betreiben.
Oder es ist dort nicht mehr die Sensorik, sondern es ist tatsächlich Verstehen.
Ich soll eine Szene verstehen mit einem gesprochenen Kommando,
wo es also darum geht, eine bestimmte Aktion auszuführen.
Und ich muss die Information aus dem Bild und die Information aus
der Sprache so zusammenbringen, dass das Ergebnis optimal ist.
Das sind die Beispiele, die wir jetzt uns angucken können
Also als allererstes, das ist eben reine Psychologie.
Hier geht es um die Fragen, wie geht der Mensch vor,
wenn er Daten aus unterschiedlichen Quellen, aber miteinander in Beziehung stehenden Stellen auswertet.
Wobei das da vorliegende Problem auch noch,
wann nannten die das, dass da vorliegende Problem ist,
überhaupt erst mal rauszukriegen, ob zwei Sinneswahrnehmungen,
die ich habe,
der gleichen Quelle zuzuordnen ist oder
unterschiedlichen Quellen zuzuordnen ist
Das hatten die mit einer Bezeichnung belegt, die ich ziemlich
fett fand dafür, aber ich habe sie jetzt vergessen.
Also, erste Aufgabe ist rauszukriegen, ich höre etwas, ich sehe etwas.
Ich muss mich dafür entscheiden, ob das als ein Perzept
wahrzunehmen ist oder ob das zwei getrennte Sinneswahrnehmungen sind. Also,
ich höre beispielsweise ein Flugzeuggeräusch und ich sehe da ein Flugzeug
und dann muss ich mich entscheiden, ob dieses Geräusch,
was ich höre, von diesem Flugzeug stammen kann,
ja oder nein.
Ja, wenn ich es denn als ein Perzept wahrnehme,
dann ist die Frage, wie kombiniere ich das jetzt?
Weil die verschiedenen Perzeptionskanäle ganz unterschiedliche Eigenschaften haben.
Die einen sind temporal wesentlich besser,
das ist unser Hören
Das Hören ist temporal Exquisit,
sonst wären wir nicht in der Lage, Musik zu hören.
Ja, wir sind genau in der Lage,
die hohen Töne in ihrer Tonalität wahrzunehmen.
Obwohl das irre hohe Frequenzen sind. Das sind irgendwas
oberhalb von 10.000 Hertz. Das heißt, wir sind,
und allein die temporale Charakteristik macht die Tonhöhe aus, sonst nichts anderes.
Das heißt, wir sind in der Lage,
im feinsten Millisekundenbereich Unterscheidungen zu treffen.
Auf der anderen Seite haben wir eben die visuelle Wahrnehmung,
die arschlangsam ist. Also entsetzlich übers Ohr gehauen werden kann
mit simplen Filmen, mit 25 Bildern pro Sekunde.
Und trotzdem eine fließende Bewegung
Hervorruft. Auf der anderen Seite ist aber die akustische Wahrnehmung wieder grottenschlecht,
wenn es darum geht, ein Geräusch zu orten.
Insbesondere eben hohe Töne, es sind ganz, ganz schwer nur zu orten.
Das ist mal ein böser Streich an der Universität gewesen,
wo ich meine Ausbildung genommen habe,
wo sie einem Menschen einen hohen Sinustodengenerator in die Wand eingebaut haben,
der immer nur einen hohen Sinustoren erzeugt hat.
Man kriegt nicht mit, woher das Geräusch kommt.
Man sucht sich zu Bode. Irgendwo muss es ja herkommen,
aber man kriegt es einfach nicht mit. Gut,
Also der akustische Kanal ist schlecht in der Lokalisierung,
aber der visuelle Kanal ist Exquisit in der Lokalisierung,
insbesondere im Nahbereich, durch das Beitäugige Sehen.
Also im Bereich bis zu 1 Meter können wir wegen der Differenzen in
den beiden Augen die Position eines Gegenstandes sehr gut bestimmen.
So, und da gibt es zwei Erklärungsmodelle,
die einen sagen eben, ich kombiniere sensorische Daten,
indem ich die Informationen, die von den verschiedenen Modalitäten geliefert wird,
maximiere und die Integrationsperspektive sagt,
ich versuche die Varianz in dem sensorischen Gesamtpazept
zu minimieren
Dadurch, dass ich die Varianz minimiere, erhöhe ich die Verlässlichkeit.
Also der akustische Kanal hat eine große Varianz in der Lokalisierung,
der visuelle Kanal hat eine kleine Varianz in der Visualisierung.
Und ich will sie so miteinander kombinieren,
dass die Gesamtvarianz minimal wird dadurch.
Dass sie also den Vorteil des visuellen Kanals ausnutzen kann.
Ja, da also diese sensorische Integration heißt,
ich muss ein kohärentes Perzept ermitteln.
Und da ist immer die Frage,
was ist eigentlich
die dominierende Modalität
Und da gibt es zwei Möglichkeiten. Das eine ist Visual Capture,
das heißt, das Blick, der Blick dominiert die haptische Perzeption.
Also greifen kann ich, oder ja,
Sensorik durchgreifen ist wesentlich ungenauer als die Sensorik durch die Blickbewegung oder et too etwas wie Auditory Capture,
das ich also im akustischen Bereich viel besser in der Lage bin,
weil es ein dynamischer Prozess ist,
die Zahl von Piepstönen zu ermitteln,
als die Anzahl von visuellen Blitzen
Und das liegt eben ganz einfach wieder darin,
dass wir tote Phasen haben im Blicksystem. In dem Augenblick,
wo wir das Augenlied runter machen und wieder hochklappen, sehen wir nichts.
Das ist also dieser berühmte Effekt, dass wir bei Bildern,
die sich nur minimal unterscheiden voneinander, den Unterschied gar nicht mitkriegen.
Weil wir im entscheidenden Augenblick gerade nicht hingeguckt haben.
Wir nehmen es selber nicht wahr. Unser Gehirn rekonstruiert es und suggeriert uns,
wir hätten einen kontinuierlichen Beobachtung gemacht, haben wir aber gar nicht gemacht.
Wir haben immer nur punktuell etwas gesehen und rekonstruieren daraus,
was so in der Zwischenzeit passiert sein mag.
Und wenn also davor und danach sehr, also relativ ähnlich sind,
kann man beispielsweise sich sehr leicht angucken,
wenn man seine Fotosammlung auf dem Computer durchklickt, von Bild zu Bild.
Und dann hat man von einer Szene viele Aufnahmen gemacht,
dass man viele Übergänge zwischen den Aufnahmen gar nicht mitkriegt,
weil die Bilder sich zu ähnlich sind.
Gut, also hier, ich bin in der Lage,
die Anzahl von Piepstönen sehr genau zu bestimmen,
während die Anzahl von visuellen Ereignissen relativ schwierig ist.
Und dann habe ich eben eine Dominanz des auditiven Kanals.
Aber wo kommt es eigentlich her? Und da ist die Hypothese,
es gibt, wir haben die Fähigkeit,
die Genauigkeit eines solchen Kanals tatsächlich zu bewerten
Wie das genau über die Bühne geht, da gibt es
auch nur Spekulationen darüber. Man ist im Prinzip dabei,
überhaupt erst mal Hypothesen für den Kombinationsmechanismus zu absurd leiten.
Und das wird eben als Presition oder Modelity Appropriateness bezeichnet oder Estimate Position.
Und im Prinzip ist es eben nichts anderes als die,
das, was auf der Vorjahrfolie stand, als ein Abschätzen der Varianz.
Ich versuche abzuschätzen, wie sicher ist meine haptische Information,
die ich habe, wenn ich hier greife,
im Vergleich zu der visuellen Information, die ich habe.
Und das Paradigma ist dann immer so,
dass ich einen Kanal zerstöre oder nicht zerstöre,
sondern er störe, dass ich seine Varianz verringere,
indem ich beispielsweise den visuellen Kanal systematisch verfälsche.
Und dann muss ich eben zeigen,
ob die visuelle Information dominiert oder die haptische Information.
Wenn ich meine Hand einer ganz anderen Stelle sehe, als sie tatsächlich ist.
Gut, ja, dann hat man eben zwei mögliche Erklärungen.
Das eine ist, ich habe einen Gewichtungsprozess. Ich bilde also
individuell Abschätzungen der Wahrscheinlichkeiten in den verschiedenen Kanälen und kombiniere,
die mit einer gewichteten Summe und dieses Gewicht ist genau das Inverse der Varianz.
Das ist die Basis dessen. Und die Idee ist,
dass alle diese Beiträge zum gemeinsamen Perzept beitragen.
Und die andere ist, dass ich hin und her schalte zwischen
den verschiedenen Sinneskanälen und dass der präziseste Kanal die Dominanz übernimmt.
Und die weniger präzisen Hinweise aus dem anderen Kanal,
die werden einfach ignoriert. Das sind die beiden Erklärungsmodelle,
die man hat. Und jetzt geht es darum,
Experimente zu machen, welches davon ist eigentlich
das Maßgebliche
Und da ist, da muss man jetzt zwei Sachen voneinander trennen.
Das eine ist tatsächlich reine Sensorik. Da geht es nur darum,
zu gucken, wie gut ist, sind unsere Sinnesorgane,
um physikalische Parameter der umgebenden Realität wahrzunehmen.
Das muss man trennen von der kategorialen Wahrnehmung, weil nämlich vieles,
was man früher gemacht hat in dem Bereich, kategoriale Wahrnehmung war.
Also zu dem vorhergehenden Abschnitt passend. Ein berühmtes Experiment im
Bereich der gesprochenen Sprache ist der sogenannte McGurke-Effekt,
der etwas darüber aussagt,
welche Laute höre ich eigentlich
Wenn ich multimodale Sprachwahrnehmung betreibe und multimodale Sprachwahrnehmung heißt,
ich höre und sehe den Sprecher gleichzeitig. Ich sehe,
wie er seine Lippen bewegt und ich höre das, was er sagt.
Und jetzt kann man dieses Video natürlich manipulieren,
indem man einen anderen laut unter das Video drunter legt und man
einen ganz anderen Laut produziert, als dort visuell zu sehen ist.
Und da ist es tatsächlich so,
dass man bei bestimmten Lautpaaren interessanten Effekt sieht,
und das ist der McGurke-Effekt, die Lautpaare sind also immer stimmhaft,
stimmlose Konsonanten, gefolgt von einem Vokal.
Also sowas, man vergleiche,
war mit Paar
Man vergleiche gar mit K. Oder man vergleiche da mit Tach. Ja,
das ist immer die Stimmhafte Variante gegen die stimmlose Variante.
Und dann vertauscht man jetzt immer die Lautrealisierung mit der Bildrealisierung oder kombiniert sie andersherum.
Und da kann man tatsächlich sehen, dass der visuelle Kanal
den akustischen dominiert. Und zwar in so starkem Maße,
dass der Mensch hört, was er sieht.
Ja, also und der Effekt ist eben deutlich,
wenn ich Bar spreche, dann fange ich mit geschlossenen
Lippen an
Und wenn ich dem einen Tar unterlege,
wo ich mit offenen Lippen anfange und das Video zeigt aber
die geschlossenen Lippen, dann hören wir, dass ba.
Weil wir die Lippen geschlossen sehen und weil es wir uns nicht anders erklären können,
als dass dies der laut, der akustische,
die akustische Differenz ist so minimal,
dass sie die Entscheidung über die Kategorie,
über den visuellen Kanal überlässt, als den akustischen zu bemühen.
Das ist der McGorg-Effekt. Dass der Artikel damals hatte den
schönen Titel Hearing Lips and Seeing Voices
Was sehr schön, diese Konfusion zwischen den Kanälen beschreibt. So,
also, die Idee ist eben, dass ich ein Maximum Leitgurtschätzung mache,
indem ich eine gewichtete Summe der verschiedenen Abschätzungen mache und gewichtete Summe heißt eben immer,
ich nehme die einzelnen Werte aus den Kanälen,
habe ein Gewicht, Multiplizierise auf und summiere darüber und sorge dafür,
dass das Gesamte,
die Gewichte alle wieder eine Gesamtsumme von eins ergeben.
Das heißt, Gewichte der Summe und die einzelnen Gewichte
kann man eben darstellen,
als das Inverse der Varianz
Und da ist es nicht wirklich erforderlich, dass es genau optimal sein muss.
Es reicht, dass approximativ zu machen, dass es völlig aus.
Die einzige entscheidende Frage ist, wo kommen eigentlich diese Varianzen her?
Denn liebe Stimmen im Endeffekt, wie stark ich den Kanal gewichten sollte.
Also die Antwort auf die Frage zumindest von Ernst and Banks war,
es ist diese gewichtete Kombination der verschiedenen Kanäle, was also heißt,
dass auch der schwache Kanal noch einen Beitrag leistet.
Er ist nur eben entsprechend schwach,
wenn die Varianz hoch ist, die ich dort habe.
Und dann ist die Frage, wo kommen diese Abschätzungen her,
weil die ad hoc getroffen werden,
die sind nicht sinneskanalspezifisch,
sondern situationspezifisch
Und da gibt es verschiedene Hypothesen. Das eine ist aktives
Sehen. Ich schaue eben nicht starre auf eine Szene,
sondern ich bewege mich dabei. Und ich kann eben durch
die Verschiebungen, die sich durch die Bewegung ergeben,
abschätzen, wie genau ich mich auf das verlassen kann,
was ich dort sehe.
Oder aber, dass ich bei der Haptik beispielsweise eben nicht
Punkthaptik betreibe, sondern Flächenhaptik. Wenn ich irgendetwas anfasse,
habe ich fünf Kontaktflächen und aus den Konfaktflächen kann die Finger bereits abschätzen,
wie verlässlich ist diese sensorische Information,
die ich dort habe
Also das sind Hypothesen dafür, wo der Mensch eigentlich diese Abschätzung hernehmen kann,
damit er in der Lage ist, das, was man experimentell zeigen kann,
die, dass es tatsächlich eine gewichtete, ein gerichteter Einfluss ist,
dass dieses Fusionsmodell oder Integrationsmodell tatsächlich der Realität entspricht.
Wie der Mechanismus genau läuft, weiß man noch nicht, aber das Phänomen kann man erstmal beobachten. Also es gibt,
zumindest bis zu einem bestimmten Zeitpunkt,
dass es sofort dann immer wieder eine Gegenbewegung,
die also sagen, nee, das stimmt ja gar nicht,
eine ist im Übrigen von Brigitte Röder hier von der Universität,
die haben eine Dissertation gemacht,
wo sie den visuellen Kanal mit dem auditiven Kanal gekoppelt haben,
in dem sie immer Daten hatten, im auditiven Kanal,
dass sie einen Ton produziert hatten,
der sich nach einer Gausskurve langsam in der Lautstärke gesteigert hat und dann wieder versingert worden ist.
Also irgendeine Gaussglocke, das ist die Zeitachse hier. Der Ton wird also langsam lauter,
hat ein Maximum und wird dann wieder leise und dann kombiniert wieder mit einem Lichtblitz,
der entweder vor dem Maximum der Lautstärke oder nach dem Maximum der Lautstärke war.
Und da hat sich gezeigt, dass dieses Integrationsmodell nicht so gut funktioniert,
aber Meine Erklärung dafür, dass es nicht funktioniert,
ist eine ganz, ganz andere.
Dass das Modell schlecht ist, sondern dass der Experimentdesign schlecht ist,
das Experiment, dies ein schlecht ist. Weil wir nämlich ganz,
ganz schlecht nur in der Lage, ach so,
sorry, was man jetzt hier machen muss,
die Manipulation, das habe ich ja vergessen,
man kann jetzt die Gaussglocke steiler oder weniger steil machen und dadurch die Varianz im akustischen Kanal manipulieren.
Das ist das Wesentliche. Das Problem ist nur,
dass ich nicht glaube, dass wir überhaupt in der Lage
sind,
dieses Maximum zu detektieren
Ja, denn man muss sich nur mal überlegen,
was ist eigentlich erforderlich, um dieses Maximum zu finden?
Ich muss schon ein Stückchen drüber weg sein und feststellen,
oh, es wird jetzt schon weniger.
Also ich kann das Maximum per se nur immer nachträglich ermitteln,
weil ich eine bestimmte Integrationszeit brauche,
über die ich beobachten muss, damit ich feststellen kann,
ah, es wird nicht mehr lauter,
sondern jetzt wird es leiser.
Und das hat tatsächlich oder das kombiniert damit,
dass wir ein gewisses Musikempfinden haben,
was uns von Gebot an eingetrichtert worden ist.
Dass nämlich unsere Musik immer auf den Schlag kommt.
Und dann exponentiell abklingt. Wir haben es nie mit
solchen Tönen zu tun,
Unsere Töne sehen immer so aus, dass sie irgendwie losgehen und
dann langsam abklingen. Egal, ob das Geigentöne sind,
natürlich kann ich einen Crescendo auch auf dem Geigenton machen,
aber besonders deutlich eben bei so was wie Klavier,
bei Schlagzeug und dergleichen.
Und unsere gesamte Musik, deshalb haben wir die Rerigenten,
ist immer da, dass die Töne auf Signal einsetzen.
Und zwar möglichst präzise. Alles, was von diesem Signal abweicht,
empfinden wir als Klappern und als störend in der Musik.
Darauf sind wir trainiert. Und das ist gegen eine Wahrnehmung
solcher Töne gerichtet. Also ich glaube,
dass das der Perzeption, der auditiven Perzeption bei Menschen
nicht entsprechend Rechnung trägt
Aber jedenfalls gibt es viele Leute, die sagen,
es ist überwältigende Evidenz dafür, dass dieses Integrationsmodell,
was auf dem, der Abschätzung der Genauigkeiten basiert.
Und das hat man eben sowohl innerhalb von Modalitäten als auch modalitätsübergreifend überprüft.
Und das wird alles jetzt einzelne psychologische Studien,
wo man das sich angeguckt hat.
Also beispielsweise bei der tiefen Wahrnehmung im visuellen Kanal.
Da hat man entweder Bewegungsinformationen oder Verschiebungsinformationen, dass sich Dinge,
die weiter weg sind, eben nicht so doll bewegen wie Dinge,
die weiter dran sind
Ja, das kennt man ja, man fährt mit dem Auto,
die Dinge, die da dran sind, die Straßenbäume,
die fliegen vorbei und das Haus,
was da weit weg ist,
das ändert seinen Platz so gut wie gar nicht.
Das ist also die Kombination. Man hat es auch gemacht
mit Textur und Versatz. Also, dass man Texturinformationen
kann man ja auch benutzen, um die Tiefe abzuschätzen.
Werde ich also einen gestreiften, eine gestreifte Fläche habe,
dann laufen ja die Streifen in der Perspektive zusammen.
Die Informationen kann ich auch ausnutzen, um die Tiefenwahrnehmung zu überprüfen.
Oder eben die Wahrnehmung von Neigungen. Auch da spielt so
etwas wie Textur und dergleichen
eine Rolle
Oder eben die, die Wahrnehmung von, von Distanzen zwischen Objekten.
Da hat man ja auch verschiedene Einflussfaktoren, relative Größe und so weiter.
Oder aber die, im haptischen Kanal, in dem man
Kraft und Positionen von Fingern beispielsweise in Beziehung gesetzt hat.
Oder Crossmodal, und das ist das, was,
wir haben einen ganzen Sonderforschungsbereich zu diesem Thema,
wo man eben jetzt Bild mit Hören verbinden kann oder sehen,
mit Haptik oder aber auch sehen mit der Selbstwahrnehmung des Körpers.
Propriorzeption ist also die Selbstwahrnehmung des Körpers. Wie ist
der Körper im Raum gelagert? Oder geht meine Hand jetzt
gerade nach oben oder geht sie nach unten?
Das können wir wahrnehmen, auch wenn wir es nicht sehen.
Das ist eben unser Schwerkraftempfinden, was wir haben. Ja,
wie gesagt, es gibt keine richtig,
oh, es gibt keine richtige Evidenz dafür,
warum das funktioniert mit dieser Zuverlässigkeitshypothese,
weil wir eben nicht genau wissen,
wie die Varianz
ermittelt werden kann
Wenn wir die ermitteln wollen, dann müssten bestimmte Bedingungen erfüllt sein.
Und die Bedingungen kann man am besten in multimodalen Experimenten untersuchen.
Und an der Stelle muss ich mich entschuldigen.
Wir sind ein bisschen überzogen. Danke für die Geduld
und wir machen am nächsten Montag weiter an der Stelle.
Schönen Dank