Ja. So. Einen schönen guten Tag. Die Kälte führt
dazu, dass ich jetzt alles auf einen Punkt zusammenziehe.
Wir sind dabei gewesen, uns anzugucken,
wie man in verschiedenen Bereichen basische Netze verwendet oder Beliefnetze verwendet.
Zur Erinnerung basische Netze sind ein Mittel, um Wahrscheinlichkeitsverteilungen darzustellen.
Und zwar in einer gezielt reduzierten Variante gegenüber einer vollen Abhängigkeit aller Variablen von allen anderen Variablen,
dass ich ganz speziell, spezifiziere,
welche Abhängigkeiten sind relevant für ein Problem und welche sind eher
irrelevant und kann ich aus Aufwandsgründen vernachlässigen oder weil meine Theorie sagt,
dass sich das, das keine Rolle spielt.
Und an der Stelle sind wir jetzt gerade, wenn wir uns angucken,
wie in der Psychologie ein bisschen Netze verwendet werden,
um menschliches Verhalten zu beschreiben.
Und zwar insbesondere im Bereich der Sensorik.
Wir werden uns dann auch noch im Bereich der kognitiven Integration
ein Beispiel angucken, aber dann eher aus technischer Perspektive.
Also, es geht darum, zwei sensorische Kanäle miteinander zu fusionieren,
also beispielsweise hören und sehen oder aber auch greifen und sehen
Und da gibt es eben zwei generelle Strategien. Entweder wir kombinieren die sensorischen Eindrücke,
um die Informationen zu maximieren oder die alternative Hypothese ist,
es passiert eine Integration der Sensorik, um die Varianz der Daten
zu verringern und damit die Zuverlässigkeit der Sensorischen Perziption sicherzustellen.
Und wir werden im Wesentlichen uns irgendwie zweite Angelegenheit hier kümmern.
Die Ausgangssituation ist immer, ich habe zwei Sinneskanäle und als erstes
muss die Frage beantwortet werden, überhaupt fusioniert werden oder nicht?
Oder muss die Integration erfolgzogen werden oder nicht?
Und das läuft in der Psychologie oder in der Kognitionswissenschaft im Allgemeinen
auch unter dem Label Porsal Reasoning.
Corsal Reasoning ist ein bisschen überambitioniert von der Begriffsgebung her,
weil es mit dem kausalen Schließen, was wir hier verwenden, kollidiert.
Dort geht es also nicht darum, die Ursachen für irgendetwas
zu ermitteln, wie hier bei uns im Falle der Diagnose.
Also ob das, auf welche Ursachen ist ein Symptom zurückzuführen,
das ist nicht das Ziel von Corsal Reasoning im Sinne der Wahrnehmungspsychologie,
sondern die Wahrnehmungspsychologie versteht darunter nur, rauszubekommen,
ob zwei sensorische Eindrücke auf die gleiche Quelle zurückgeführt werden können oder nicht.
Wenn diese Frage mit Ja beantwortet wird, dann passiert die Integration.
Falls die Frage mit Nein beantwortet wird, dann wird nicht integriert.
Und also da muss man aufpassen mit der Begrifflichkeit Course the Reasoning in diesem Sinne,
ist ein bisschen was anderes als Course the Reasoning in dem
Sinne der wusinessbasierten Systeme,
wie wir
das hier verwendet haben
Riesinnig, ja. Gut, die zentrale Frage ist immer,
oder wir haben immer die Situation, dass ein Sinneskanal den anderen dominiert.
Und die Frage ist also, welcher Kanal dominiert tatsächlich.
Und dann unterscheidet man eben immer,
wenn es der visuelle Kanal ist, heißt das Visual Capture.
Und wenn es der auditive Kanal ist,
dann heißt es Auditory Capture und so weiter oder Haptic Capture.
Aber das gibt es, glaube ich, nicht. Gut,
und das Wesen, die Basis des Ganzen ist immer abzuschätzen,
wie gut ist die Genauigkeit in den verschiedenen Kanälen.
Und dann hätte man zwei mögliche Erklärungen für die Integration.
Entweder ich wichte die einzelnen Beiträge, Und zwar ist dann
die Frage, nach welchem Gewichtungsfaktor mache ich das?
Oder aber ich schalte zwischen den beiden um?
Ich habe einen dominierenden Kanal und ich wähle den dominierenden Kanal.
Und der unterlegene Kanal hat dann keinen Beitrag mehr zur Sinneswahrnehmung.
Und es wird darauf hinauslaufen, dass der erste Hypothese sich in vielen Experimenten wiederfindet.
Und dann ist es eben ein solcher Summe,
eine gewichtete Summe der einzelnen Beiträge und zentraler Bestandteil der Theorie ist,
dass dieses Gewicht sich aus den Streuungen oder den Varianten der betreffenden Kanäle ergibt.
Und ja, man Versucht also, eine Abschätzung zu machen,
die eine minimale Varianz hat. Und man braucht nicht wirklich
eine numerisch-präzise Abschätzung dieser Zahlen, sondern nur eine grobe Abschätzung.
Und das kann man dann anwenden auf das Gewichten zwischen innerhalb einer Modalität,
wenn ich also innerhalb einer Modalität unterschiedliche Einflussfaktoren habe,
oder ich kann es crossmodal mir angucken.
Also innerhalb der ist es beispielsweise,
dass die tiefen Perzeptionen auf ganz unterschiedliche Beiträge zusammengeführt werden kann,
Also beispielsweise die Unterschiede, die sich zwischen den Augen ergeben und das,
was an Bewegungsinformationen dazukommt.
Also was, wenn irgendetwas hinter einem anderen langfährt,
dann ist es offensichtlich weiter weg.
Oder eben Texturinformationen und das, was die Augen dazu liefern.
Und da gucken wir uns gleich Beispiele an. Für die
Crossmodale Verarbeitung kann ich eben jetzt verschiedene Kanäle miteinander kombinieren,
um einen Sinneseindruck zu erzeugen,
der aus unserer individuellen Perspektive heraus nicht mehr
zu trennen ist
Wir können, wenn die Integration im kognitiven Apparat oder im Wahrnehmungsapparat passiert ist,
dann können wir die Sachen nicht mehr voneinander trennen.
Das sieht man eben an dem Lieblingskind der Psychologie.
Das ist der sogenannte Value-Ventury-Logist-Effekt, also der Bauchredner-Effekt.
In dem Augenblick, wo ich die visuelle Dominanz habe,
dass ich die Puppe sehe, die den Mund bewegt.
Dieses Signal ist so stark,
dass ich auch die auditive Wahrnehmung auf diese Poppe konzentriere und
überhaupt nicht mehr auf die Idee komme,
es könnte der Mensch sein,
der gerade spricht
Also das ist ein Extrembeispiel dafür, wo eben Visual Capture passiert,
wo der visuelle Kanal den auditiven Kanal überlagert.
Und ich hatte, glaube ich,
das Beispiel auch schon gebracht, des McGurke Effects,
der eben dafür sorgt, dass in bestimmten phonetisch sehr,
sehr schlecht unterscheidbaren Grenzfällen die visuelle Wahrnehmung der Lippen,
die auditive Wahrnehmung der Sprache überlagert.
Dann höre ich, was ich sehe.
Also der visuelle, visuelle Kanalsieg dann in diesem Falle
Gut, ja, die Frage ist dann, also wo kommen die,
die Abschätzung der Varianz einer Sündeswahrnehmung her und das lässt sich eben am besten im multimodalen Experimenten untersuchen,
weil ich da die einzelnen Kanäle zur Verfügung habe und separat manipulieren kann,
dass ich sagen kann, okay,
ich mache jetzt die visuelle Wahrnehmung zunehmend unsicherer,
indem ich beispielsweise Unschärfe in das Bild mit hineinbringe,
sodass man nicht mehr visuell genau abschätzen kann,
wo ist das Teil oder was auch gern gemacht wird,
ist, dass man ein Off-Set erzeugt,
dass man eine Art Spiegelkonstruktion zwischen Auge und Objekt dazwischen baut,
so ähnlich wie so ein Projektor hier,
sodass man die Dinge an einer anderen Stelle sieht,
als sie wirklich sind.
Und dann kann ich testen, wenn ich zunehmend den
visuellen Kanal störe, wann gewinnt die Haptik?
Oder meine Pro-Priezeption, dass ich weiß ja ungefähr,
wo meine Hand ist. Und dass dann diese Sinneswahrnehmung,
die visuelle dominiert, weil sich zunehmend herausstellt,
dass die visuelle Information nicht zuverlässig ist
Das ist also die Strategie,
die ersten Experimente sind dann also mit Bild,
also mit visueller Wahrnehmung und haptischer Wahrnehmung gemacht worden.
Und da hat man eben genau diese visuelle Zuverlässigkeit verändert.
Und in den extremen Fällen hat man dann eben,
wenn wenig Störung im visuellen Kanal drin ist,
dann dominiert der visuelle Kanal,
wenn ein Vielstörung im visuellen Kanal drin ist,
dann dominiert der haptische Kanal
Ja, irgendwie braucht das Nervensystem also eine Abschätzung der Zuverlässigkeit
in den einzelnen Kanälen, damit diese Gewichtung tatsächlich passieren kann.
Jetzt muss ja nach der Zuverlässigkeit oder nach der Streuung
in den einzelnen Kanälen die Gewichte festgelegt werden.
Und dazu braucht man irgendwie eine Abschätzung. Das kann entweder erfahrungsbasiert
sein oder es passiert typischerweise auf der Basis von aktivem Wissen.
Ich glaube, das hatte ich das letzte Mal schon erläutert,
dass wir also ja eben nicht ein fixes Blickfeld haben, sondern wir bewegen uns. Und wenn es nur kleine Mikrobewegungen des Kopfes sind,
die aber ausreichend sind, um uns zusätzliche Tiefeninformationen zu liefern,
Oder aber, dass wir eben mit unseren Fingern,
in dem Falle der Haptik,
keine Punktwahrnehmung haben, wie etwa bei einem Stylos,
wenn ich ein solches haptisches Feed forward, äh Feedback,
Input-Device habe, das ist eben eine punktuelle Wahrnehmung,
wo ich nur an einer Stelle testen kann,
wie weit ist das entfernt,
ist das höher als das benachbarte und so weiter,
während ich eben mit den Fingern eine Flächenwahrnehmung habe,
auch wenn die Fläche klein ist,
ist diese Flächenwahrnehmung aber eben Aussagekräfte,
als die Punktwahrnehmung eines technischen Geräts
Ja, also das ist die offene Frage. Wo kommen jetzt diese Abschätzungen her?
Entweder ich habe Erfahrung vorher oder ich muss online diese Abschätzung vornehmen.
Und da ich Erfahrungen natürlich täuschen kann, ja,
ich kann ja eines experimentelle Situation kreieren,
die die frühere Erfahrung außer Kraft setzt oder der entgegensteht,
ist also die Online-Variante die wahrscheinlichere.
Und dass man also Fluktuationen in einem Signal misst,
in dem man die Finger leicht bewegt und dadurch zusätzliche Informationen
etwa über den Neigungswinkel einer Fläche bekommt.
Und zwar über einen bestimmten Zeitraum hinweg. Und dann hat man eben nicht mehr gedacht,
dass ein Neuron angeregt wird, also Punktwahrnehmung,
sondern ich habe mehrere unabhängige Neuronen, die gereizt werden.
Und das nennt man dann auch einen Population-Code. Und der wird genommen,
um intuitiv zu aktuieren, woher kommen eigentlich unsere Abschätzungen.
Aber es ist nach wie vor eine weitgehend ungeklärte Frage.
Da gibt es also
nur Hypothesen dazu
So, und jetzt kommt der tatsächliche Punkt dazu,
dass Perzeption ja in vielen Fällen kein reiner Buttom-Up-Prozess ist,
sondern ganz stark durch Top-Down-Informationen beeinflusst wird.
Also ich habe irgendwelche Informationen aus der Szene,
die dort abgebildet ist oder aus den Objekten,
aus den Eigenschaften der Objekte, die dort abgebildet sind.
Und diese Informationen beeinflusst unsere Wahrnehmung natürlich auch.
Und diese Top-Down-Informationen, die können wir
durch Apreori-Wahrscheinlichkeiten modellieren
Und auf die Art und Weise kommen wir jetzt in das
Baseter Resending hinein. Also wir, Top-Down-Influence als Apriori-Wahrscheinlichkeiten und
dann kommt die Abhängigkeit der visuellen Wahrnehmung von den Ursachen,
als die üblichen bedingten Wahrscheinlichkeitstabellen ins Spiel.
Und jetzt kommen die verschiedenen Szenen, die wir dort haben.
Wir haben also eine 2D-Zeichnung. Das ist ja eine,
nein, das ist ja nicht, das ist schon perspektivisch gezeichnet,
aber wenn wir ein solche unterschiedliche Körper, die wir haben,
oder Flächenkonstruktion,
die wir hier haben,
auf eine zweidimensionale Fläche projizieren
Dann erzeugen die alle den gleichen, den gleichen visuellen Eindruck.
Wir haben also ein zugrunde liegendes 3D-Objekt, das sind diese verschiedenen Objekte hier.
Und das wird durch Projektion auf ein 2D-Fläche reduziert.
Und wir können das eben jetzt modellieren, dadurch,
dass wir sagen, wir haben eine bestimmte Apri-Ori-Wahrscheinlichkeit,
dass beispielsweise dieser Kubus hier wahrscheinlicher ist, als irgendwelche,
diese anderen Konstruktionen, die wir hier haben.
Wir haben eine Wahrscheinlichkeitsverteilung über die verschiedenen Objekte und die
stecken wir hier oben in die April-Ori-Wahrscheinlichkeit rein
Und dann haben wir ja die bedingte Wahrscheinlichkeit dafür,
dass eine 2D-Zeichnung von einem solchen 3D-Objekt erzeugt werden kann.
Die kam beispielsweise darauf basieren, in wie vielen Positionen ergibt das ganz bestimmte 2D-Abbilder.
Das ist also sozusagen die Grundlage des Ganzen,
dass sich das überhaupt auf ein probabilistisches Modell abbilden kann,
in dem ich eben sage,
es gibt eine Ursache und es gibt ein Symptom und Ursache und Symptom
sind wie immer in kausalen Netzen miteinander durch eine,
in diesem Fall Wahrscheinlichkeits,
erbringte Wahrscheinlichkeitsverteilung gekoppelt
So, und das kann man jetzt subgressive komplizierter machen.
Hier gibt es also zwei Ursachen. Wir haben einen Bildeindruck,
der Bildeindruck ist ein Fahrrad, lehnt an einem Baum.
Jetzt haben wir aber verschiedene Informationen zur Verfügung. Und das ist genau der aktive Wissens,
aktive Seeaspekt, Activision Aspekt, dass ich einerseits weiß,
das ist ein Fahrrad, was ich hier sehe,
selbst wenn ich das in ungewohnten Perspektiven sehe,
erkenne ich immer noch irgendwie ein Fahrrad.
Und andererseits haben wir die Informationen, die uns sagt,
wie beeinflusst der Blickwinkel jetzt das Bild,
was ich von dem Fahrrad habe
Das heißt, ich habe jetzt also zwei Ursachen einerseits,
da ist ein Fahrrad. Und andererseits, ich gucke auf
das Fahrrad in einer bestimmten Blickposition und das Zusammenspiel dieser beiden
gibt mir dann tatsächlich das Abbild, was ich bekomme.
Das wird dann auch als Discounting bezeichnet, weil eben diese Blickinformation,
die den Einfluss der tatsächlichen Ursache ganz stark modellieren kann.
Und die Wahrscheinlichkeitsverteilung hier ergibt sich dann eben aus dem Zusammenwirken,
so wie wir das bisher auch immer hatten.
Das ist also zwei Ursachen wirken auf ein gemeinsames Perzept
Wir haben auch den zweiten Fall, wo also eine Ursache in
verschiedenen visuellen Wahrnehmungsaspekten, oder in verschiedene Wahrnehmungsaspekte abgebildet wird.
Wir haben so etwas wie die relative Distanz zwischen zwei Flächen.
Also wir haben hier die grüne Fläche, wir haben die karierte,
blau-karierte Fläche. Und was wir an diesen Bildern messen können,
ist einerseits die Entfernung dieses Schattens von der verursachenden Fläche.
Also das ist nicht Grün gezeichnet hier,
das korrespondiert zu der Entfernung der Grünenfläche von dem Untergrund.
Und wir haben dann also den Schatten, den diese grüne
Fläche auf dem Untergrund wirft. Wenn der groß ist,
spricht das für eine große Tiefe, wenn der groß ist,
kann es aber auch für eine tiefliegender Lichtquelle sprechen.
Also es gibt zwei Erklärungen dafür, dass es einen langen
oder einen kurzen Schatten hergibt. Und die zweite Information,
die wir zur Verfügung haben, ist natürlich die unterschiedliche Informationen,
die uns an unser Auge zumindest im Nahbereich liefert.
Und die beiden Sachen gehen jetzt, sind abhängig von
dieser relativen Tiefe
Also, je dichter das dran ist,
umso größer nehmen wir die relative tiefe Bar. Und,
oder andersrum, je weiter diese beiden Flächen voneinander entfernt sind,
desto größer wird die Differenz zwischen den Bildern vom Rechten und vom linken Auge sein.
Und je dichter die dran sind, umso kleiner wird die Differenz sein.
Ich habe also eine Ursache, die sich in zwei visuellen Parametern niederschlägt.
Und das ist sozusagen im Umkehrschluss, wir können ja immer
die Netze in der Einrichtung oder in der anderen Richtung verwenden.
Im Umkehrschluss ist das also die Integration zweier Merkmale.
Wir nehmen diese beiden unterschiedlichen Bilder vom linken Auge und vom
rechten Auge
Und müssen daraus schließen, wie weit sind die wohl voneinander entfernt.
Und dazu müssen wir eben zwei Sachen miteinander kombinieren.
Einerseits, was sagt uns die Schatten, der Schattenwurb,
was sagt uns die Differenz zwischen linkem und rechtem Auge.
Also die übliche Verwendung ist eben, ich habe dieses visuellen Eindruck und
ich muss daraus Schluss folgen, auf ein kohärentes Präzept.
Ich kann also nicht sagen, ja, der Schatten sagt mir,
die sind so weit entfernt und die Augen sagen mir,
sie sind so weit entfernt.
Das ist keine vernünftige Erklärung. Ich brauche ein kohärentes Präzept,
was mir sagt, hier kann ich ja das
gar nicht machen, dass ich die Sinneskanäle voneinander trenne
Ja, weil das ist ja ein Sinneskanal.
Das ist ja das visuelle Wahrnehmungsvermögen, was wir haben.
Ich bin ja nicht in der Lage, dort die Tiefenwahrnehmung,
also die Schattenwahrnehmung von der Stereo des Parität zu trennen.
Das geht ja gar nicht. Im multimatialen Kanal kann ich
es. Da brauche ich eben eine bewusste, nein,
nein, eine unbewusste Kausalentscheidung, passen die beiden Kanäle zusammen,
also wird fusioniert oder wird nicht.
Hier wird es ja automatisch gemacht. Ich kann es ja
gar nicht außer Kraft setzen. So,
und hier die Krönung der Space Schließen, der Explaining Away-Effekt,
Das Experiment sieht also so aus, ich habe hier einen Stimulus,
das ist schlecht zu erkennen, das muss ich dazu sagen.
Und hier sehe ich vier so diagonal angeordnete rote Streifen,
die entsprechen im Prinzip diesem Bild hier.
Und ich habe jetzt wieder verschiedene Erklärungen dafür, dass dieser
Sinneseindruck zustande gekommen ist. Ich sehe also hier diese vier
roten Streifen und ich weiß nicht, wie die zustande gekommen sind.
Entweder habe ich dort vier rote Streifen von vornherein,
die den Eindruck erzeugt haben.
Oder ich habe ein solches Quadrat, was auf die Spitze gestellt ist.
Und das ist teilweise überdeckt mit Streifen, sodass ich also
immer nur das sehe, was die Streifen freigelassen haben.
Also was hier in den Zwischenräumen zwischen den Streifen übrig geblieben ist.
Und dann ist eben die Frage, ja,
welcher Art ist dann dieses oder gibt es ein überdeckendes,
eine überdeckende Struktur oder gibt es die nicht?
Das ist die offene Frage. Wenn es eine überdeckende Struktur ist,
dann könnte es dieser Stimulus sein,
wenn es keine gibt,
dann muss es
dieser Stimulus sein
Ja, also da hat man wieder verschiedene Abhängigkeiten davon.
Und das ist eben genau diese bedingte Wahrscheinlichkeitstabelle,
die hier an diesem Knoten dranhängt, die er mir sagt,
die Wahrscheinlichkeit für das ist groß, wenn die Wahrscheinlichkeit für das groß ist.
Und die Wahrscheinlichkeit für das ist groß, wenn die Wahrscheinlichkeit
für das groß ist. Jetzt kann ich das erweitern,
dass ich noch eine zusätzliche Messung mache an diesem Objekt,
dass ich also, dass die Struktur dieses Blau-schwarzen Dings,
was man hier nicht richtig vom Hintergrund unterscheiden kann,
dass ich die tatsächlich offenlege.
Und wenn ich jetzt die offenlege,
dann habe ich eine zusätzliche Beobachtung,
die also jetzt diese Struktur hier Und in der Wahrscheinlichkeit deutlich erhöht,
wenn ich auf eins setz und auf die Art und Weise diese Stimulus weg erklärt.
Ich brauche diese Erklärung nicht mehr, wenn ich weiß,
dass es drei Streifen sind, die dort die Abdeckung vornehmen.
Das ist also die zusätzliche Information, die ich hinbekomme.
Und das ist genau wieder dieser Explaining-Away-Effekt, die Evidenz,
die ich hier habe,
macht die eine bestimmte Variante hier wahrscheinlicher und erklärt gleichzeitig die hier weg,
weil sie über das Gesetz der Gesamtwahrscheinlichkeit an diesem Knot
miteinander gekoppelt sind
Ja, wenn ich die Wahrscheinlichkeit für etwas hier erhöhe,
muss die Wahrscheinlichkeit dort für die gleiche Beobachtung natürlich,
für die gleiche Beobachtung entsprechend geringer werden.
Das ist also die gleiche Struktur,
die wir gesehen haben bei diesen Smoking- und Tempering-Beispielen,
wo also das Auftreten von Rauch als zusätzliche Beobachtung,
die Wahrscheinlichkeit dafür, dass die Anlage manipuliert wurde, verringert.
Das Anwendung der besten Netze in der Psychologie.
Und wir haben gesehen, es sind genau die gleichen Modellstrukturen,
die wir hier als Beispiele diskutiert haben
Jetzt tatsächlich nochmal eine Verwendung in einem, in einem multipodalen Interaktionssystem.
Und das ist in Bielefeld gemacht worden. Die haben jahrelang
über eine Anwendung diskutiert und damit experimentiert, an diesen Baufixkasten sich orientiert hat.
Die Aufgabe war immer, dass eine Person einer anderen erklären sollte,
wie man aus diesen Baufixteilen bestimmte Objekte baut.
Ich glaube, das Standardobjekt ist immer ein Flugzeug gewesen.
Also die eine Person hat immer gesagt, nimm die Leiter
mit den sieben Löchern und und eine rote Schraube.
Und verbinde die mit den drei Lochteil und setze eine Mutter davor.
Also akustische, sprachliche Anweisungen, was zu tun ist,
mit gemeinsamem Blick fällt. Das ist wesentlich,
die haben also beide gleichzeitig gesehen, was dort gemacht wird.
Und die Frage war jetzt,
kann man auf diese Art und Weise einem Roboter beibringen,
wie er bestimmte, einfache Konstruktionen mit so einem baufingskasten aufbauen kann.
Und das ist eben inneren Multimodal, weil die,
es gab einen sprachlichen Kanal, es gab einen visuellen Kanal,
Man konnte also auf Dinge auch zeigen.
Und das ist dann wieder eine Art haptischer Kanal, nein,
nicht ganz haptisch, wie heißt es, auch ein visueller Kanal.
Aber eine spezielle Form von visueller Information,
wenn ich also auf ein bestimmtes Teil zeige und nage,
nimm dieses Teil hier und baue es damit zusammen.
Gut, und dann haben wir eben hier verschiedene Referenzsysteme.
Und das ist wichtig bei diesen Referenzsystemen,
dass die sich auf unterschiedliche Räume beziehen. Das ist das,
was sich unseren Psychologen hier an der Universität nicht erklären kann.
Das haben sie bis heute nicht begriffen, dass sie immer davon ausgehen,
dass sich ein gemeinsames Referenz ein zeitlich räumliches, gemeinsames Referenzsystem habe.
In dem Augenblick, wo ich den Sprachkanal reinbringe,
habe ich das nicht mehr.
Die Information im sprachlichen Kanal hat so gut wie nichts mit
der zeitlichen Dimension im visuellen Kanal zu tun.
Ich kann im sprachlichen Kanal über Vergangenes sprechen.
Ich kann über Zukünftige sprechen oder ich kann über Gegenwärtige sprechen.
Das geht alles. Sehen kann ich es nicht.
Ich kann nicht in die Zukunft gucken. Ich kann nicht
in die Vergangenheit gucken. Ich sehe nur, was jetzt passiert.
Da gibt es einen Mismatch zwischen diesen beiden Kanälen.
Dass ich also Sprache vollzieht, sich zwar auch in einer
zeitlichen Domäne.
Das ist richtig
Aber die Informationen, die ich aus dem Sprachsignal extrahiere,
ist auf einer semantischen Ebene. Und diesemantische Ebene hat keine
direkte Interpretation, mehr den Begriffen von räumlichen Koordinaten.
Das ist etwas anderes, als wenn ich einen Roboter habe,
auf dem eine Kamera installiert ist und auf dem solche Laserrange-Finders montiert sind.
Also diese Laser-Dinger tasten den Raum ab und liefern mir Informationen über bestimmte Koordinaten im Raum.
Und die Kamera tut nichts anderes. Und alles,
was ich tun muss, ist schlimm genug, das ist aufwendig genug.
Ich muss die Raumkoordinaten des Kamerabildes auf die Raumkoordinaten der Laserinnen-Sfeinde sodass ich weiß,
dass das, was der Leserin-Feinder mir als Hindernis meldet,
offensichtlich dieser Stuhl ist, der da drüben steht.
Das ist die Aufgabe. Aber der Stuhl steht eben an
einer Position im Raum. Wörter stehen nicht an einer Position im Raum
. Und die Informationstragenden Einheiten der Sprache sind die Wörter.
Und nicht räumlich zeitliche Koordinaten. Da ist ein Mismatch dazwischen.
Und das macht die Sache schwierig. Hier ist also keine sensorische Fusion,
die passiert, sondern es ist eine kognitive Funktion, die passiert.
Ich muss verstehen, was dort gesagt wurde.
Und ich muss eben wissen, dass man dieses Teil hier
als sieben Lochleiter bezeichnen kann.
Oder was immer die Begriffe sind, die dort im Einzelnen
benutzt werden
Und dass das hier eben, ja, was immer es wohl sein mag.
Aber nehmen wir mal diese Lochscheibe hier, ja?
Und das ist eine Mutter offensichtlich. Dass es dafür Begriffe gibt und dass,
wenn ich eben von der blauen Mutter rede,
dass dann dieses Teil hier gemeint ist.
Das ist ein kognitiver Prozess. Da muss ich,
da steht, sprich sprachverstehen und da spielt Bildverstehen hinein.
Ich muss also dieses Bild verstehen. Ich muss
Begriffe zu den einzelnen visuellen Objekten zuordnen können.
Und ich muss auf der Begriffsebene fusionieren.
Nicht auf der Koordinatenebene. Das ist der Unterschied zur Sensorik
. Hier geht es also nicht um die Sensorik,
sondern um das Begriffliche Verstehen
Gut, also da muss ich jetzt eben verschiedene Referenzsysteme miteinander koppeln.
Und das passiert nicht im Koordinatensystem, sondern das passiert außerhalb in einem Begriffssystem.
Ich muss die auf der Ebene der Konzepte miteinander ins Geschäft kommen.
Gut, dann haben wir das übliche Problem,
sensorische Informationen ist verrauscht, ist unsicher, ist partiell,
teilweise sehe ich Dinge nicht.
Andere Dinge werden nicht explizit gesagt,
obwohl man sie hätte sagen können,
wo es dann also Aufgabe des Kommunikationspartners ist,
die relevante Information zu ergänzen
Und deshalb haben wir es also immer damit zu tun,
dass wir irgendwie eine referenzielle Unsicherheit haben, also beispielsweise,
wenn ich dann von dem roten Dingel-Dong da spreche,
dann ist eben noch die Information rot da und ich kann alle roten Objekte identifizieren,
aber was davon ein Dingel-Dong ist,
das bleibt als Unsicherheit dabei.
Aber das kann sich natürlich damit kombinieren,
dass ich eine Zeigegeste habe und sage,
nimm mal das rote Dingel-Dong da,
dann brauche ich die sprachliche Information an der Stelle
nicht mehr und dann weiß ich von daher,
dass das bestimmte Teil da offensichtlich ein Dingel-Dong sein soll
Und das, was man erreichen will, ist natürlich,
dass diese Interaktion zwischen Mensch und Maschine möglichst reibungslos funktioniert und dass sich ein Synergieeffekt habe,
dass es multimodal besser funktioniert als unimodal.
Gut, und an der Stelle kann ich ein bisschen Reklame machen,
wer immer daran interessiert sind, wir haben einen Sonderforschungsbereich,
ein Riesenunternehmen zusammen mit den Psychologen,
zusammen mit dem Neurophysiologen vom UKE und mit vier Hochschul- und Akademieeinrichtungen in Picking.
Und wer immer an solchen Untersuchungen im Bereich multimodaler Systeme
interessiert ist, ist herzlich eingeladen,
sich daran zu beteiligen
Geld ist da, daran scheitert es nicht. Das ist
das eine der wenigen Stellen, wo dann, nun,
ich will nichts an Milch und Honig in Strömen fließen,
aber wo man Dinge machen kann, die man mit normalen Bordmitteln üblicherweise nicht realisieren kann.
Das, was wir speziell machen,
ist das Zusammenspiel von komplexen, sprachlichen Äußerungen und visuellen Stimulli,
dass wir also gucken, was sind Ergebnisse psychologistischer Untersuchungen,
wo man also Menschen in der Benutzung ihrer Sprache untersucht hat
und die Frage,
ob wir das mit maschinellen Mitteln
wenigstens partiell rekonstruieren können
Also dort geht es end, zum Beispiel darin, ob wir durch visuelle Informationen bestimmte Präferenzen,
die wir bei der Verarbeitung von Sprache haben, überschreiben können.
Also sowohl beim Lesen als auch beim Hören haben wir die Situation,
dass wir, wenn wir keine zusätzliche Informationen haben,
sprachinhärente Präferenzen haben, dass wir also beispielsweise annehmen,
das Subjekt steht vorn und das Objekt kommt danach,
was im Englischen eine strafhängige Bedingung ist,
im Deutschen eine aufgeweichte Bedingung ist oder aber,
was haben wir noch an Präferenzen,
wenn ich ein notorisch schwieriges Problem ist immer,
worauf bezieht sich eine Perpositionalphrase, das sogenannte PP-Attachment-Problem.
Wenn ich also starke Evidenz aus dem visuellen Kanal habe,
auf was es sich beziehen muss, ob das dann das Sprachverstehen erleichtert.
Und da wollen wir versuchen, den gesamten Interaktionszyklus zu modellieren,
dass wir über sprachliche Informationen die visuelle Aufmerksamkeit steuern können.
Oh, guck mal, das Auto da draußen. Und dass wir diese, toll,
ja, und dass wir diese Informationen oder diese Aufmerksamkeit,
die wir dann beim Hörer hervorrufen, dass wir die nutzen können,
um dort Informationen zusätzlich zu gewinnen,
die dann wieder im Sprachverstehen helfen kann.
Dass das also ein geschlossener Kreislauf ist, wo der eine
Kanal von dem anderen profitiert, aber über die zeitliche Achse.
Also das ist ein dynamischer Prozess, weil eben auch das
Sehen keine zeitlich punktuelle Beobachtung ist.
Das Sehen ist auch ein Prozess, der sich über der Zeit entwickelt.
Ich mache das immer deutlich am Beispiel von Wimmelbildern.
Wimmelbilder sind das Extrembeispiel dafür, wo ich eben
den zeitlichen Prozess des Bildverstehens sehr schön beobachten kann.
Und wenn ich mit kleinen Kindern über das Wimmelbild rede,
dann sage ich eben hier,
hast du schon den Mann mit dem komischen Hut
da gesehen
Dann richte ich die Aufmerksamkeit auf einen bestimmten Teil des Bildes.
Ich kann sogar zusätzliche Informationen dazu liefern, der unter dem Baum sitzt,
dann ist vielleicht der Baum zuerst der salientere Teil.
Ich gucke zu dem Baum und dann kann ich
dem Mann mit dem komischen Hut identifizieren.
Dass dieser Prozess des aktiven Sehens, ich sehe etwas,
habe grobe Informationen, die ich über der Zeit sukzessive verfeinern kann.
Und an der Stelle hängt dann der sprachliche Prozess sich mit rein,
über die Sprache wird dann gesagt, was ist relevant,
was ist nicht relevant.
Also wo sollte die Aufmerksamkeit hingerichtet,
sich hinrichten und an welcher Stelle,
was soll
eher ignoriert werden
Und an der Stelle hat man dann eben auch genau das,
was wir vollhin hatten, diese Top-Down-Einfluss.
Ich habe einen visuellen Prozess, der normalerweise Buttom-Up-Informationen liefert und
im visuellen Kanal sind also solche Sachen wie Farbsättigung, Kontrastbewegung.
Das sind die Faktoren, die die visuelle Aufmerksamkeit auf sich ziehen.
Es gibt auch noch semantische Kriterien, das sind insbesondere Gesichter.
Also wann immer wir ein Gesicht in ein Bild sehen,
wir können nicht anders als wir müssen da hingucken
Haben wir offenbar evolutionär so mitgekriegt. Und das ist
also semantisch orientierte Information, aber das ist alles Buttom-up-Information.
Wir schauen auf das Bild und die Information kommt nur aus dem Bild heraus. Was jetzt noch hinzukommt,
ist diese Top-Down-Information, dass wir einen sprachlichen Satz haben,
der sagt,
was in dem Bild gerade passiert und dadurch unsere Aufmerksamkeit auf bestimmte Aspekte des Bildes legt,
die dann wieder zusätzliche Informationen präsentieren können,
beispielsweise über das Verhältnis zwischen dem Mann mit dem Hut und
dem Baum,
in welcher räumlichen Situation
die sich befinden
Gut, also zurück zu diesen Experimenten hier.
Wir haben eben sensorische Daten, das sind die visuellen Eigenschaften.
Wir haben räumliche Beziehungen, also Dinge liegen nebeneinander oder hintereinander oder aufeinander.
Wir haben nicht ganz scharfe Zuordnungen zu bestimmten Klassen,
also was ein Ring ist und was eine Mutter ist.
Da gibt es vielleicht graduelle Abweichungen. Ich glaube,
die haben damals Daten aufgenommen und dann war eben die Mutter immer das,
und eigentlich immer, ein Sprecher hatte die Mutter,
als das Benzul ringförmige Teil da bezeichnet
Das ist also damit gemeint, dass wir Fassin das in
den Begriffen haben, dass die nicht schaffen, vordefiniert sind.
Aber so sind Menschen nun mal. Also ja,
Finn ad hoc in einer Situation, ein Begriff, um irgendetwas zu bezeichnen.
Und das, Semantik ist nichts Stabiles und Gottgegebenes,
sondern Semantik wird im Gespräch mit einem Partner ausgehandelt.
Ja, indem ich eben sage, das ist ein Dingledong da.
Nie zuvor ist das Ding ein Dingledong genannt worden.
Aber jetzt nenne ich es so. Und ich kann im
weiteren Verlauf dann wieder auf diesen Begriff zurückgreifen. Gut,
die Kombination, das muss jetzt nicht gesagt werden,
passiert also durch Beliefnetze und die Wahrscheinlichkeiten sind dann tatsächlich mit Versuchspersonen in entsprechenden Experimenten abgeschätzt worden.
Also wie bezeichnen die Leute das typischerweise und mit welchen Wahrscheinlichkeiten
treten welche Begriffe auf und so weiter und so fort.
Und da ist eben, sind so separate Experimente gemacht worden,
wie benennen sie die Objekte, also wie kategorieren sie sie?
Kategorisieren sie sie? Also Verbindungselemente getrennt von Strukturbildenden Elementen,
die leitern beispielsweise und wie benennen sie die dann auch?
Das sind die Aspekte, die da eine Rolle spielen.
So, und das ist das, was rausgekommen ist.
Hier haben wir also eine Begriffshierarchie, Wir haben hier oben
eben allgemein Objekte und dann haben wir auf der,
also das ist, das ist die Konzepte, über die ich rede.
Das sind die abstrakten Konzepte, unabhängig von der Wahrnehmung oder,
ja, oder wie sie bezeichnet worden sind.
Und dann haben wir eben hier die,
den visuellen Kanal und hier haben wir den verbalen Kanal.
Und dann sehen wir teilweise auch ein Mismatch dazwischen,
also im visuellen Kanal gibt es dann eben,
also erstmal die Konzepte sind noch die gleichen,
aber in der sensorischen Ausprägung unterscheidet sich das gewaltig.
Ich glaube, ich muss jetzt mal die Das Rollo ein bisschen runterlassen.
So, das sollte reichen. Wir haben eben hier Begriffe für Rot,
Blau-Grün, für Farben, für Größen, Klein,
Groß, Kurz lang, für Formen rund, winklig,
länglich,
Und wir haben Typen, also so etwas wie ein Bar,
also eine Leiter. Ich weiß immer nicht,
wie man das im Deutschen vernünftig bezeichnen soll.
Ein Würfel oder eben ein Dreilöchriges Element. Hier kommen dann
solche Sachen hinzu, dass wir so etwas wie groß und klein
gar nicht zur Verfügung haben im visuellen Kanal.
Also so etwas wie Größeninformationen, die wir sprachlich gut ausdrücken können,
gibt es im visuellen Kanal gar nicht.
Da ist eben nur immer Typ und Farbe
Und hier haben wir eben noch Größe und Formen dabei.
Die spielen hier keine Rolle. Und hier ist nur noch
Unterschieden zwischen verschiedenen Objekten. Also von der Objekt 1
bis Objekt N ist das eben durchnummeriert. Ja,
und das sind die visuellen Attribute, mit denen ich etwas bezeichnen kann.
Das sind die sprachlichen Attribute, mit denen ich etwas bezeichnen kann.
Und das Ganze ist ein riesen Spaceisches Netz. Da sind wieder
bedingte Wahrscheinlichkeiten drin. Im Endeffekt sind es immer Objekte,
über die ich rede. Ich habe bestimmte Wahrscheinlichkeiten,
wie sie visuell auftreten können, wie sie Mit welcher Wahrscheinlichkeit
sie im sprachlichen Kontext erwähnt worden sind.
Und dann habe ich hier die Wahrscheinlichkeit dafür, wie sie
kategorisiert werden. Also welche Art von Objekt es ist.
Und ich habe hier unten die Perzeptionsinformationen,
wie sich das in den einzelnen Sinneskanälen bemerkbar macht.
Das ist also das zugrunde liegende Bass für Netzwerk.
Und jetzt kann ich eben in diesem besten Netzwerk wieder schließen,
in allen Richtungen machen. Also beispielsweise nimm das rote Ding
da. Hier ist irgendwie rot gekennzeichnet worden,
dann kann ich ausrechnen, welche Konzepte können es denn sein,
die rot sind,
vielleicht dieser rote Würfel hier
Und diese erhöhte Wahrscheinlichkeit, durch die Benennung von Rot hier,
propagiert sich dann hier in diesem Kanal auf bestimmte Attribute.
Und da wir das für verschiedene Objekte machen müssen,
ich kann immer nur über ein Objekt reden,
aber hier kann ich verschiedene Objekte sehen,
kann es eben beispielsweise eine rote Scheibe geben oder einen roten Würfel.
Dann habe ich zwei Objekte mit höherer Wahrscheinlichkeit,
wenn sie denn das entsprechende Attribut rot tragen.
Und auf die Art und Weise kann ich jetzt fehlende oder unsichere, visuelle Informationen kompensieren,
indem ich Informationen über diesen Weg hier auf auf den visuellen Kanal hinübertrage.
Oder aber ich kann sprachliche Informationen kompensieren,
indem ich die visuelle Information in das gemeinsame Konzept des Objektes,
von dem gerade geredet wird, einbringe.
Also Informationskompensation in beiden Richtungen. Und das ist natürlich hochgradig
attraktiv. Das ist genau, oder was heißt genauso,
aber so stellt man es sich auch bei Menschen vor.
Dass eben jetzt die beiden Sinneskanäle, die wir haben,
sich wechselseitig ergänzen bezüglich der Informationen.
Das ist dieser erste Aspekt der sensorischen Integration, übersprungen habe,
weil es da zu wenig Arbeiten gibt in der Psychologie,
die sind eben meistens an der Frage der sensorischen Schärfe,
also der Genauigkeit des Kanals interessiert.
Hier ist es nicht so sehr die Frage der Genauigkeit,
sondern eher die Frage, wie kann ich die Informationen so
miteinander kombinieren, dass eben eine Synergie entsteht.
Dass ich Informationen aus dem einen Kanal sinnvoll mit Informationen aus dem
anderen Kanal kombinieren kann, um dadurch bestimmte sensorische Defizite kompensieren zu können.
So, das Ganze ist dann später ein bisschen noch stärker aufgeblasen worden,
also das, was wir bisher gesehen haben, ist so etwas,
wir haben hier die verbalen Objektbeschreibungen mit ihren verschiedenen Ausprägungen in verschiedenen Dimensionen.
Wir haben hier die visuellen Kanalen mit den Ausprägungen in verschiedenen Dimensionen.
Und das enthält jetzt, und dann gibt es ein Mapping da dazwischen,
wie die verschiedenen Ausprägungen miteinander in Bezug stehen können.
Das hat jetzt aber wenig Informationen darüber,
wie das Verhältnis zwischen solchen benachbarten Knoten ist.
Also ob beispielsweise die Existenz dieses Knotens,
die Existenz jenes Knotens außer Kraft setzt.
Also im Prinzip die Explaining-Away-Effekte. Und das ist hier durch
sogenannte Korrespondents, wie hießen die Dinger
Ja, Korresponding Variables, nee, das sind die entsprechenden Momente,
die haben irgendeinen Namen gehabt, Selection,
hier steht das, Selection Variables, heißen die Dinger,
die sind also eingeführt worden und wir sehen,
das sind Knoten, von denen nur Kanten ausgehen.
Das heißt, das sind also Ursachen, die das Zusammenspiel
bestimmter tatsächlicher Beobachtungen beschreiben, die wir nicht beobachten können.
Die haben wir gerade künstlich eingeführt, die machen nichts anderes,
als dass sie sagen, ich möchte diesen Knoten hier,
nehmen wir mal das hier unten,
ich möchte diesen Knoten mit dem hier,
mit dem und mit dem in irgendeiner Verbindung sehen
Und auf die Art und Weise kann ich es eben erreichen,
dass ich solche Sachen habe, dass, ja,
rote Objekte nur bestimmte, für bestimmte,
das Attribut rot nur für bestimmte Objekte überhaupt verfügbar ist.
Dass das nicht unabhängige Dimensionen sind, in denen ich
die Objekte beschreibe, sondern dass die systematisch aufeinanderbezogen sind.
Wichtig vom technischen Aspekt ist,
nur das sind eben sogenannte Verborgene Variablen,
die kann ich nicht beobachten,
weder im Visuellen
noch im akustischen Kanal
Ich habe sie aber dennoch und ich bin in der Lage,
die Wahrscheinlichkeitstabellen, die hier dahinter stecken, hier,
in den Berg stecken, dass ich die tatsächlich auch schätzen kann.
Und auf die Art und Weise kann ich also adäquatere Modelle aufbauen,
die also die Benennungsgewohnheiten von Menschen besser widerspiegeln.
Also wie immer, das ist nur die Botschaft hier,
das müssen sie nicht rekonstruieren können. Die Botschaft ist nur,
das einfache Modell, was mir erklärt,
wie gehen die akustischen Beschreibungen mit den visuellen Beschreibungen zusammen,
nämlich über diese Konzepte hier oben.
Das tut es alleine nicht. Das ist alleine zu schwach.
Ich muss das Modell noch verfeinern, wie das genau funktioniert.
Das müssen wir hier nicht behandeln. Das geht so sehr
in die Details. So, und da können wir dann
sehen, jetzt haben wir ein technisches System.
Jetzt können wir tatsächlich in bestimmten Situationen messen, wie gut ist es.
Wir haben hier immer die Fehler raten und zwar für die Objektidentifizierung.
Ich habe also eine bestimmte visuelle Szene. Ich habe eine
Eine sprachliche Beschreibung davon. Und das System soll jetzt rauskriegen,
wovon ist hier gerade die Rede? Also von welchem Objekt
spricht der Mensch gerade? Und das ist eben hier,
wenn es korrekter Input ist, sind es 85 Prozent.
Wir sehen hier auch, dass es eine obere Schranke gibt offensichtlich,
wo ich noch verbleibende Mehrdeutigkeit drin habe,
wo sich der Sprecher so ungeschickt ausgedrückt hat,
dass der Hörer nicht versteht, wovon er gerade redet.
Also ein solcher Restfehler bleibt hier offensichtlich. Den kriege ich
auch durch noch so tolle Technologie nicht weg.
Das ist The Human Factor, der hier dahinter steckt
Dann kann ich gucken, was passiert jetzt,
wenn die Sprache schlechter wird. Dann habe ich eine Fehlerrate
im sprachlichen Kanal, die um 15 Prozent liegt.
Und Sprache ist Neusee. Sagen wir es so, da
ist nichts Neusee gemacht. Der sprachliche Kanal ist rauschbehaftet.
Also ich verstehe nicht immer das, was dort gesagt worden ist.
Auch Menschen tun das nicht. Die Lautverständlichkeit beim Menschen
liegt irgendwo um die Paare 90 Prozent herum.
Wir können nicht
perfekt sprachen
Stehen. Das geht einfach nicht. Wenn wir Sprache gut verstehen,
dann deshalb, weil wir einen viel Hintergrundwissen haben,
weil wo wir all das ergänzen oder kompensieren,
was im Artikulieren schiefgelaufen ist.
Also wir haben eine Fehlerrate von 50,
15 Prozent und die führt dazu, dass die Identifikationsrate abfällt.
Das müssten eigentlich die Differenz, hier müssten 5 Prozent sein.
Gut, wenn wir den sprachlichen, der sprachliche Granal ist,
Geräusch behaftet, ist gestört. Da macht es 20 Prozent,
fehlerhafte Identifikationen aus, all fehlerhafte Erkennung der Objekte aus.
Und das führt dazu, dass die Identifikationsrate um 7 Prozent abfällt.
Gegenüber diesem Optimum hier. Und wenn denn beides fehlerhaft ist,
ja, also sowohl der sprachliche als auch der visuelle Kanal,
müssten sich eigentlich die Fehlerraten addieren.
Aber sie tun es nicht
Der Abfall, den ich dann noch habe,
der ist geringer als das,
was aus der gemeinsamen Störung zwischen sprachlichem und visuellem Kanal herauskommt.
Ich kann ja, oder ich gehe davon aus,
und das sollte eigentlich auch begründet sein, die Annahme,
da ist der sprachliche Kanal und der visuelle Kanal unabhängig voneinander sind.
Dass also ein schlechtes Bild nicht meine sprachliche Qualität,
Erkennungsqualität beeinträchtigt oder das schlechte Erkennung, nicht die visuelle Qualität beeinträchtigt.
Ich kann ja die beiden Systeme autonom voneinander damit dann
einander vergleichen. Ich kann es ja, denken,
einen Kanal völlig abschalten und nur gucken,
wie läuft der andere eigentlich
Und deshalb ist es also gerechtfertigt,
weil die unabhängig voneinander sind, müssten die Fehler raten,
sich eigentlich aufaddieren und 35 Prozent Fehlerrate rauskommen,
aber tatsächlich fällt die Identifikationsrate nur um 11 Prozent ab.
Das ist also bereits als großer Erfolg gefeiert worden.
Von Synergie sind wir im eigentlichen Sinne also noch
ziemlich weit entfernt. Was wir zurzeit noch nicht haben,
ist Kompensation von Defiziten im anderen Kanal, wenn beide gestört sind.
Das ist ja hier die Rechtspalte. Wenn Sie beide gestört sind,
haben wir immer noch einen Abfall in der Identifikationsrate,
aber er ist nicht ganz so groß,
wie er eigentlich erwartet werden müsste
Ideal wäre es natürlich, wenn es besser wird.
Das ist das, was die menschliche Perzeption uns vormacht,
dass also tatsächlich das Gesamtsystem von seiner Zuverlässigkeit her besser wird,
wenn ich die Kanäle miteinander kombinieren kann.
Was man sofort merkt, wenn man etwa übers Telefon miteinander kommuniziert und der visuelle Input fehlt,
dann sinkt die Erkennungsrate im sprachlichen Kanal sofort ab. Gut,
also es ist eine im Vergleich zum Worst Case,
höhere robuste Robustheit, die wir erreichen,
wegen der Redundanz zwischen den Modalitäten,
dass wir also Informationen sowohl visuell zur Verfügung haben als auch sprachlich zur Verfügung haben,
dass es keine 100 Prozent die Deckung gibt.
Das ist das andere. Deshalb also diese Synergie,
die wir hier haben, dass das eine Information beiträgt,
die der andere Kanal gar nicht zur Verfügung hat.
Das führt eben genau dazu, dass sie das gemeinsame Verhalten
besser ist als die Dinge.
Nein, eben gerade das hat man nicht erreicht.
Aber dass der Abfall an Qualität nicht so groß ist wie befürchtet.
So, das war ein kleiner Blick in die Anwendung solcher Modelle
Jetzt ein klein wenig Orientierung. Was wir also machen,
gerade sind Beliefnetze. Das ist immer noch das übergeordnete Thema.
Und wir haben bereits absolviert den Teil Beliefnetze für Sequenzen.
Für sequenzielle Beobachtung. Wir haben jetzt eben in dem Abschnitt
uns angeguckt, wie wir Beliefnetze für multimodale Interaktionen einsetzen können.
Denn genau das ist da passiert. Sowohl im Bereich der Der kognitiven Modellierung,
als auch im Bereich der technischen Modellierung, da haben wir versucht,
Multiaspekte der Kopplung verschiedener Modalitäten mit zu berücksichtigen.
Und jetzt geht es um die Frage, wie können wir das miteinander zusammenbauen?
Also wir haben in den Folien ist erst dieser Weg hier drin.
Wir haben diesmal diesen Weg zuerst gemacht,
also genauer gesagt muss, nein, muss man nicht.
Der Folienweg sieht so aus, erst zur Multimodalität,
dann zu den Sequenzen und dann zur Kopplung.
Und wir machen den Durchlauf, wir haben erst die Basic Netze eingeführt,
dann die Sequenzmodelle und Medivierung gemacht sind,
dann zur Multimodalität gegangen und machen jetzt mit der Kopplung der beiden weiter.
Aber erst noch mal ein kurzes Rekapitulieren. Was hatten wir bei Sequenzmodellen?
Es geht jetzt also darum, nicht mehr statische Zusammenhänge zu beschreiben,
wie wir das eben beispielsweise mit dem Fahrrad hatten.
Da steht das Fahrrad, wir haben den Blickwinkel auf das
Fahrrad und diese Evidenz muss zusammengeführt werden an einer Stelle.
Da ist nichts irgendwie drin, dass sich was über die Zeit entwickelt.
Oder auch mit den Objektbenennungen für den Baufixbaukasten. Wir haben
visuelle Evidenz, ein stillstehendes Bild. Wir haben sprachliche Evidenz,
Eine sprachliche Äußerung, die nicht zeitlich abhängig verarbeitet worden ist,
sondern als eine atomare Einheit betrachtet worden ist.
Und das muss miteinander zusammengebracht werden. Zeitliche Modelle heißt eben immer,
jetzt kriege ich einen Zeitablaufbad dazu. Und wenn ich eben
einen Spracherkenner bauen will, dann ist das ein dynamisches,
ein dynamischer Prozess, den ich modellieren muss,
weil nämlich sich Wörter über der Zeit entwickeln.
Weil sich meine Artikulatoren in der Zeit in unterschiedlicher Weise bewegen.
Und der Hörer genau diese Informationen wieder rekapitulieren muss.
Also hat der Sprecher ein A produziert oder war es eher
ein O,
was er produziert hat
Und das haben wir in vielen Bereichen,
insbesondere wenn wir in die Robote gehen, dass die Welt
eben dynamisch ist und diese Dynamik irgendwie berücksichtigt werden muss.
Das ist die Motivation dafür gewesen. Und die Idee ist
immer, wir machen zustandsbasierte Modellierung. Wir sagen immer,
das System ist in einem bestimmten Zustand und verhält sich in
diesem Zustand in ganz bestimmter Weise.
Und dann bewegt sich das System von Zustand zu Zustand über der Zeit.
Und da es sich in unterschiedliches Zustände annimmt,
kriegen wir ein dynamisches Verhalten.
Also beispielsweise der Wechsel von krank und gesund
Ja, das kann man feiner modellieren,
dass man eben nicht nur krank und gesund hat,
sondern also auch gesund infiziert, Krankheit voll ausgebrochen.
Und dann Genesungsphase und dann wieder gesund. Also das muss man halt nicht binär machen,
das kann man mit beliebig vielen feinen Kategorien beschreiben.
Und dann ist eben das lebende Objekt in diesem einem dieser Zustände.
Dann habe ich eben Transitionen zwischen den Zuständen,
das ist klar und die beschreiben wir durch bedingte Wahrscheinlichkeitstabellen,
Und der einfachste Fall dieser Art ist eben die Mark-of-Kette,
die einfach nur sagt, wie folgen die Zustände aufeinander?
Also gesund krank oder Wetter, regnerisch, wolkig,
Sonnenschein, mit welcher Wahrscheinlichkeit ist der nächste Tag wieder sonnig,
wenn der Tag davor auch sonnig war.
Das ist also der einfachste Fall. Hat aber immer die negative Eigenschaft,
dass ich die Zustände exakt an die Beobachtung koppeln muss.
Ich kann keine Trennung zwischen den Zuständen und den Beobachtungen durchführen.
Und deshalb ist das für viele reale Probleme nicht anwendbar.
Und da hatten wir uns das Ganze erweitert auf Hidden Markoff-Modelle.
Eine Struktur, die eben jetzt explizit trennt zwischen den Zuständen,
in denen sich das System befindet und den Beobachtungen,
die ich am System machen kann.
Was ich immer dann brauche, wenn die Beobachtung mir nicht eindeutig
den Zustand charakterisiert. Was in den meisten Fällen typisch ist,
ich sehe etwas und ich weiß nicht genau,
weil der visuelle Kanal gestört ist.
Ich weiß nicht genau, ob das eine Tür ist oder
das Informationsbrett, was dort an der Wand hängt.
Das ist der Roboter, der durch die Gegend fährt.
Oder ich weiß nicht genau, ob das,
was ich hier höre, eher ein A oder eher ein
O gewesen sein sollte.
Also aus welchem Zustand
das erzeugt wurde
Wollte der Sprecher A sagen, oder wollte er O sagen,
aus der Beobachtung selber kann ich das nicht entnehmen.
Das sind also typische Anwendungsfälle dieser Art. Und auf diese Art und Weise
habe ich jetzt zwei verschiedene Wahrscheinlichkeiten, dass ich einerseits sage,
mit welcher Wahrscheinlichkeit geht es in den nächsten Zustand?
Und mit welcher Wahrscheinlichkeit wird in einem Zustand eine bestimmte Beobachtung erzeugt?
Und im Endeffekt ist alles ein beliefnet und wir können die
Lösungsverfahren für Beliefnetze hier anwenden. Und wir hatten gesehen,
dass wir hier Variablen-Elimination machen können und immer der Heuristik folgend,
dass wir zuerst solche Variablen entfernen, die am Rand des Problems liegen,
können wir das durch Variablen Einsätzen der Beobachtungswerte eliminieren die Variable und wir können diese Variable eliminieren,
wenn wir die Apriori-Wahrscheinlichkeit mit dieser hier kombinieren und eine neue Apriori-Wahrscheinlichkeit erzeugen.
Und dann haben wir die gleiche Situation wieder,
wir haben einen ersten Knoten, wir setzen die Beobachtung ein,
wir kombinieren unsere Apriori-Wahrscheinlichkeit mit dem ersten Zustandsknoten und haben dann wieder den restlichen Grafen noch abzuarbeiten.
Also gehen schön zeitsynchron hier durch und Haben als Basis dann eben eine Menge von Zuständen,
muss eine endliche Menge sein, eine endliche Menge von Beobachtung.
Das kann man auch aufweichen auf beliebig Dichte, Repräsentation,
wenn ich mit Wahrscheinlichkeitsdichte Funktionen arbeite,
das haben wir hier nicht behandelt, kann man aber machen,
während die Zustände immer diskreter Natur sind.
Die kann ich nicht kontinuierlich machen. Wir haben die Übergangswahrscheinlichkeiten,
die von einem Zustand zu einem Zustand führen und mir
die Wahrscheinlichkeit dafür angeben. Wir haben die Emissionswahrscheinlichkeiten,
die einen Zustand mit einer Beobachtung kombinieren und mir dafür ebenfalls
eine Wahrscheinlichkeit angeben
Und wir haben die Apriori-Wahrscheinlichkeiten für den Anfangszustand,
die sagen, wie wahrscheinlich ist das,
dass das Modell sich am Anfang in einem bestimmten Zustand befindet.
Wir haben dann zwei grundsätzliche Aufgabenstellungen. Das eine ist, abzuschätzen,
wie ein, mit welcher Wahrscheinlichkeit ein Modell eine bestimmte Beobachtung produziert haben könnte.
Das ist bereits als Basis für einfache Erkennungssysteme geeignet,
also jedes Worterkennungssystem arbeitet auf die Art und Weise, beispielsweise die Swipe-Tastatur.
Die hat eine Liste von Wortmodellen da drin Für die Wortmodelle
hat sie jeweils einen Hidden-Mark-Off-Modell berechnet. Was ist die Wahrscheinlichkeit,
dass dieses bestimmte Hidden-Mark-Off-Modell die Beobachtungssequenz auf der Tastatur erzeugt hat und entscheidet sich dann für das Wort,
was die höchste Wahrscheinlichkeit hat, beziehungsweise gibt die ersten zehn Kandidaten aus,
die jeweils das Feld anführen. Das ist der erste Algorithmus,
also die Wahrscheinlichkeit ergibt sich jetzt und das ist das Problem hier,
als die Summe über alle Zustandsfolgen, dass die Zustandsfolge,
die Beobachtung erzeugt haben könnte, multipliziert mit der Wahrscheinlichkeit der Zustandsfolge.
Und das ist eben die Achillesferse bei dem Ganzen,
dass ich das über alle Zustandsfolgen machen muss. Und das ist natürlich entsprechend aufwendig,
weshalb wir eine rekursive Formulierung benutzen und die rekursive Formulierung,
macht eben genau von der Mark auf Eigenschaft gebraucht,
dass sich die Historie nicht in beliebiger Tiefe,
sondern nur die jüngste Historie betrachten muss,
indem ich eben nur diese bedingten Wahrscheinlichkeiten hier betrachte,
was ist die Wahrscheinlichkeit des aktuellen Zustands gegeben,
vorhergehenden Zustand.
Das ist genau die Bigramm-Wahrscheinlichkeit, die hier drinsteht.
Und weil ich annehmen kann, dass die unabhängig ist von
der Bigramm-Wahrscheinlichkeit davor, darf ich hier das Produkt bilden.
Denn das darf ich nur, wenn die Dinger unabhängig von anderen Wahrscheinlichkeiten sind.
Und das Ganze muss ich natürlich noch mit der Initialwahrscheinlichkeit multiplizieren,
dass ich im ersten Zustand war.
Das ist die Wahrscheinlichkeit, dass für eine gegebene Zustandsfolge.
Und das kann ich kombinieren mit der Wahrscheinlichkeit dafür,
dass ein Zustand eine bestimmte Beobachtung erfolgt hat,
erzeugt hat
Und auf die Art und Weise habe ich sozusagen eine Berechnungsvorschrift dafür,
dass das Haupt, ja, das Problem ist dadurch entschärft,
dass ich eben hier über die Unabhängigkeitsnahme jetzt lokale,
bedingte Wahrscheinlichkeit miteinander multiplizieren kann und hier nicht komplette Zustandsfolgen betrachten muss.
Das ist eine Möglichkeit, das ist dann der Vorwärtsalgorithmus gewesen,
den wir uns angeguckt haben, also der darin besteht,
dass sich immer solche Vorwärtskoeffizienten habe,
die mir sagen,
wie groß ist die Wahrscheinlichkeit,
dass ich mit einer gegebenen Beobachtungssequenz
in einen bestimmten Zustand gekommen bin
Und der berechnet sich rekursiv,
immer aus dem Alpha-Koeffizienten für den Dach vorliegenden Zustand,
multipliziert mit der Emissionswahrscheinlichkeit für die aktuelle Beobachtung und der Summe
über alle Möglichkeiten in aus diesem Zustand,
in diesem Folgezustand zu kommen.
Und jede dieser Möglichkeiten von hier nach da zu kommen,
ist mit einer Transitionswahrscheinlichkeit verbunden.
Und ich muss über all diese Möglichkeiten in den nächsten Zustand
zu kommen summieren, damit ich weiß,
wie groß ist die Wahrscheinlichkeit,
dass ich in diesem Zustand ende
Gut, und wenn ich das Ganze dann eben für das Alpha-T gemacht habe,
ich am Ende der Sequenz angekommen bin,
AT ist der letzte Zeitpunkt, das geht immer von 1 bis T.
Dann habe ich eben die Wahrscheinlichkeit der Beobachtung gegeben, das Modell.
Das ist der Vorwärtsalgorithmus und dann ist die Zeitkomplexität eben
nicht mehr exponentiell, sondern linear in der Zeit.
Und das ist ein ganz, ganz entscheidender Vorteil.
Das ist der Grund, weshalb sie Hidden Mark auf Modelle in
so vielen unterschiedlichen Anwendungen wiederfinden, genau wegen diesem konstanten Zeitfaktor.
Ich kann. Einerseits Die vajablen Eliminationen von links nach rechts betreiben,
so wie wir das vorhin gesehen haben,
indem ich eben hier immer alte Variablen rausmarginalisiere und dadurch zeitsynchron von links
nach rechts durchgehe und gleichzeitig ist die Zeitkomplexität eben nur Linear mit der Zeit.
Das heißt, ich arbeite einen Algorithmus, der zeitsynchron arbeiten kann.
Ich muss also nicht hinterher hinken und ich muss nicht Kunstpausen einführen,
um zu warten, bis der Algorithmus endlich so weit ist,
dass er das nächste Ergebnis produziert.
Das ist der Vorwärtsalgorithmus, der Rückwärtsalgorithmus ist völlig symmetrisch dazu,
nur dass sich eben alles von rechts nach links betreibe
Ich weiß, dass im Endzustand die Wahrscheinlichkeit,
dort zu landen, eins sein muss.
Denn irgendwann muss ich da hinten mal ankommen.
Und dann muss ich das immer für alle Vorgängerzustände machen.
Also ich muss die im Betterkoeffizienten für den Vorgängerzustand dieses Betterkoeffizienten, dieses Capelus 1-Zustandes berechnen.
Und wieder als Summe über alle Möglichkeiten von hier nach da zu kommen,
äh Quatsch, von hier nach da zu kommen,
multipliziert mit der Transaktionswahrscheinlichkeit von S nach Kuh und multipliziert mit
der Emissionswahrscheinlichkeit in diesem Zustand die Beobachtung erzeugt zu haben.
Und am Anfang muss das
eben mit der Initialwahrscheinlichkeit initialisiert werden
Ich bin in einem bestimmten Zustand,
ich habe die Beobachtung dort drin erzeugt und ja,
das ist der Nächste, sorry,
das ist der vorliegende Zustand, der Wetterkoeffizient,
multipliziert mit der Initialwahrscheinlichkeit und der Beobachtung im ersten Zustand.
Und auch da haben wir die gleiche, es ist ja
so völlig symmetrisch, die gleiche Komplexität wie beim Vorwärtsalgorithmus.
Eine Sache habe ich bis vergessen,
man kann die beiden Sachen kombinieren und dann geht die Begrifflichkeit ein bisschen durcheinander,
das ist üblicherweise der Vorwärtsrückwärtsalgorithmus oder Forward Backword Algorithmus genannt,
der taucht auch auf dem nächsten Übungsblatt auf
Den habe ich ausgelassen. Das hatte ich nicht mehr im Hinterkopf,
dass das als eine der Alternativen auf dem Übungsblatt auftaucht.
Wir haben uns nämlich angeguckt, welche Möglichkeiten es jetzt gibt,
bestimmte Fragen an so einen Hidden Mark of Modell zu stellen.
Und unter den Modellen war einerseits Filtering,
was uns mir sagt, ich habe eine Beobachtungsfolge gegeben,
die geht bis zum Zeitpunkt K und ich möchte die Wahrscheinlichkeitsverteilung
über den Zuständen im Zeitpunkt K bestimmen.
Das ist also das typische Lokalisierungsproblem. Ich habe einen stochastischen Prozess,
ich beobachte Dinge in diesem stochastischen Prozess, ich habe eine Vergangenheit,
wie ich Eine Sequenz von Beobachtungen, die eben gegeben ist.
Und ich soll jetzt daraus berechnen,
das ist wahrscheinlich die Wahrscheinlichkeitsverteilung für den letzten Zustandsknoten.
Also der Roboter, der dort im Kreise fährt,
der hat eben eine Wahrscheinlichkeitsverteilung über allen 16 Orten, die er einnehmen kann.
Und diese Wahrscheinlichkeitsverteilung möchte ich wissen. Was ist der beste Kandidat,
wo er sich vermutlich befindet, was ist der zweite,
der dritte, der vierte und so weiter?
Also ein Ranking im Endeffekt möchte ich da haben.
Das ist also Filtering, das ist genau das,
was man machen kann,
Durchbrechnung der Vorwärts
Also der Alphas. Die Alphas sagen ja immer,
wie wahrscheinlich ist es, dass ich in diesem Zustand gelandet bin,
gegeben, eine bestimmte Beobachtungssequenz.
Die, und das muss ich natürlich für alle Zustände machen,
also für alle Werte der Zustandsvajablen im letzten Zeitpunkt.
Und dann habe ich die Wahrscheinlichkeitsverteilung über die Werte der Zustandsvajablen.
Smoothing ist die alternative Fragestellung gewesen, ich habe eine Beobachtungssequenz,
die geht wieder bis zum Zeitpunkt K.
Und mittendrin jetzt habe ich ein J, was kleiner ist
als das K, also was in der Vergangenheit liegt.
Und ich will wissen, wie die Wahrscheinlichkeitsverteilung zu
diesem Zeitpunkt war
Also sozusagen eine Retrospektive Betrachtung, wie ist der Prozess abgelaufen,
habe ich mich mal richtig verhalten oder habe ich irgendwo mal einen Fehler gemacht.
Und dies hier, und das hatte ich nicht behandelt,
das ist eine Anwendung des Alpha des Vorwärts-Beckwads-Algorithmus,
also Vorwärts-Beck, vorwärts, rückwärts oder Vorwärts-Beckwad-Algorithmus.
Ich muss berechnen, wie bin ich in einen Zustand zum Zeitpunkt J gekommen?
Das ist der Alpha-Koeffizient, multipliziert mit der Wahrscheinlichkeit,
wie komme ich aus diesem Zustand wieder raus,
unter weiterer Beobachtung der Zustände,
der Beobachtung,
die hier
noch vorliegen können
Also, Smoothing macht eben nichts anderes,
als das ist die Wahrscheinlichkeit von einem bestimmten Zustand berechnet,
zum Zeitpunkt J berechnet,
als Produkt aus dem, sorry,
aus dem Alphakoeffizienten von Kuh, zum Zeitpunkt J,
multipliziert mit dem Betakoeffizienten von Kuh zum Zeitpunkt J. Also,
ich multipliziere die Wahrscheinlichkeit dafür,
in einen bestimmten Zustand gekommen zu sein,
mit der Wahrscheinlichkeit
diesen Zustand wieder zu verlassen
Better ist immer die Fluchtwahrscheinlichkeit aus einem bestimmten Zustand heraus für den Rest der Beobachtungssequenz.
Also, das ist nur zum Hintergrund, da ist jetzt,
waren zwei Sachen zur Wahl, entweder sollte man Filtering verwenden oder Smoothing,
so steht es, glaube ich, auf dem Übungsblatt. So,
Prädiktion ist also, wenn ich über den aktuellen Beobachtungszeitpunkt,
die Beobachtung geht wieder bis K und ich gucke in die Zukunft und will wissen,
wie dann die Wahrscheinlichkeit aussieht,
das behandeln wir in der Übung nicht,
das passiert einfach nur noch dadurch,
dass ich ja jetzt keinerlei Beobachtungswahrscheinlichkeiten mehr habe und nur noch die Transitionswahrscheinlichkeiten in die Zukunft weiterrechne.
Indem ich also, je nachdem,
wie weit ich in die Zukunft gehen will,
ich immer die Immer die Matrix der Transitionswahrscheinlichkeiten nochmal da drauf multipliziere und nochmal und nochmal,
je nachdem, ob ich ein,
zwei oder drei oder vier Schritte in die Zukunft gucken will.
Das behandeln wir nicht. Die Coding ist,
das ist es natürlich, smoothing oder die Coding.
Das sind die beiden Alternativen, die auf dem Übungszettel stehen.
Die Coding ist jetzt die Fragestellung, was ist die optimale Zustandssequenz,
die ich passiert habe, wenn ich einen eine Beobachtungssequenz gemacht habe.
Also ich habe diese Beobachtungssequenz gemacht,
wieder von 1 bis K. Und ich möchte wissen,
was ist die Zustandssequenz, die ich durchlaufen habe.
Und zwar die maximale, die beste.
Während ich hier immer Wahrscheinlichkeitsverteilung an einem Punkt haben wollte,
ist das die Frage, ich möchte eine Zustandssequenz haben,
die mit der größten Wahrscheinlichkeit absolviert worden ist.
Und das ist der Vitabi-Algorithmus, der eben dafür sorgt,
dass ich tatsächlich nur Zustandsfolgen betrachte, die durch das Modell lizenziert sind.
Also Zustandsfolgen, die im Modell überhaupt zugelassen sind.
Und die einzige Ursache, dass eine Zustandsfolge nicht Dem Modell
entspricht, sind null Wahrscheinlichkeiten. Es könnte also sein,
wenn ich hier immer zu allen Zeitpunkten Filtering betreibe,
nein, Smoothing eigentlich, Smoothie, betreibe Smoothing zu geben,
beliebigen Zeitpunkt J, dann kriege ich ja auch eine Wahrscheinlichkeitsverteilung zu jedem Zeitpunkt J daraus.
Und ich kann jetzt über diesen Wahrscheinlichkeitsverteidigung in jedem einzelnen Falle
die Wahrscheinlichkeit daraus wählen. Wenn ich das mache,
kriege ich unabhängige Entscheidungen. Da kann es sein,
dass eine Entscheidung zum Zeitpunkt J mit der Entscheidung zum Zeitpunkt
J plus 1 nicht verträglich ist,
weil es dazwischen gar keinen Übergang gibt
In diese Falle läuft das Verfahren nicht, weil es immer schaut,
was ist die Wahrscheinlichkeit für die nächsten Zustand und weil es
lokale Entscheidungen macht über das Maximum und nicht eine globale Entscheidung,
die zum Schluss gemacht wird.
Und ja, auf die Art und Weise kann es nicht passieren,
weil ich, wenn hier eine Nullwahrscheinlichkeit auftaucht,
dann wird die im aktuellen Schritt sofort drauf multipliziert und
dann ist die entsprechende Kombination eben tot.
Dann geht es da nicht weiter. Da gibt es
die Kombination von zuständig. Das heißt,
wenn der im Zeitpunkt J im Zustand A war,
dann kann er zum Zeitpunkt J plus 1
nicht im Zustand B sein
Und dann führt die Berechnung dazu, dass dann eben null
Wahrscheinlichkeiten rauskommen für alles, was von b-abhängig ist.
So, das hatten wir uns nochmal im Detail angeguckt und das ist das Filtering.
Das sind die verschiedenen Modellierungsvarianten. Das ist die Intibitherbi-Koeffizienten,
der einzige Unterschied zum Vorwärtsalgorithmus, besteht also darin,
dass ich hier maximiere und nicht mehr aufsummiere.
Von allen Möglichkeiten aus einem Vorgängerzustand oder aus den Vorgängerzuständen
in einen aktuellen Zustand zu kommen,
betrachte ich im Weiteren nur denjenigen,
der die maximale Wahrscheinlichkeit liefert
Und das ist genau wieder das Prinzip der dynamischen Programmierung.
Dass sich nicht alle Wahrscheinlichkeitsbeiträge aufsummiere, sondern nur sage,
ich interessiere mich eigentlich nur für den besten Pfad.
Und ich weiß zu diesem Knoten ist das jetzt der beste Pfad.
Mehr muss ich mit dich merken. Natürlich weiß ich nicht,
ob dieser Knoten im der besten Pfad liegen wird.
Die Entscheidung muss noch fallen. Aber ich mache es erst
mal vorsichtshalber für aller aktuell möglichen Zuzustände und überlasse die Wahl,
welcher dann im Endeffekt zum Optimum beiträgt, den späteren Teilschritten.
Das ist genau die Idee der dynamischen Programmierung.
Und die macht eben den Vitavi-Algorithmus auch wieder sehr,
sehr effizient
Auch mit der schönen Eigenschaft eben,
dass es mit linearem Aufwand durch die Beobachtungssequenz durchgeht.
Gut, das ist also der kleines Rekapitulieren,
was wir hier zu den Sequenzmodellen gemacht haben. Gut,
wir hatten uns das kurz als Beispiel,
und das kommt in der Übung eben auch dran,
für das Part of Speech Tagging angeguckt,
damit man mal ein anderes Beispiel hat.
Wir haben immer die Idee,
da ist eine grammatische Kategorie in unserem Modell oder in unserem
Wissen über die Grammatik einer Sprache
Und es gibt bestimmte Wörter, die zu dieser Kategorie passen.
Also ein Verb ist beispielsweise Laufe oder Trinke oder schläfst oder hängt.
Und das sind alles Finite Werben. Oder eben Substantive sind eben,
dann hätte das den Wert substantiv, dann kommt hier unten eben dazu,
Tischstuhl, Fenster, Himmel und was so alles einfällt.
Das ist also eine Wahrscheinlichkeitsverteilung, dass bestimmte Wörter
als Realisierung dieser abstrakten, grammatischen Kategorie auftreten können.
Das ist die Ursache, das ist die Wirkung,
die wir sehen können. Wie immer dieses Schema ist.
Und alles, was jetzt entscheidend ist, wir müssen festlegen,
wie gut wollen wir die Abfolgewahrscheinlichkeit modellieren?
Also wie weit wollen wir in der Vergangenheit zurückgehen in
der Berechnung unserer Wahrscheinlichkeiten für den nächsten Zustand?
Nehmen wir nur mal den darauf,
den Vorgängerzustand oder gucken wir uns auch den Vorfolggängerzustand an.
Das ist eben hierfür eine Trigramm, ein Trigramm-Modell,
was eben die aktuelle Wahrscheinlichkeit abhängig macht von den beiden vorangegangenen Zuständen.
Das können wir mit einem Bigramm-Modell machen,
das wird auch in der Übung passieren,
da ist das der einfachste Fall,
das wächst einem
nicht über den Kopf
Man kann es aber mit Modellen machen, die beliebig weit
in die Vergangenheit gucken. Es ist gesetzt, solange man
in der Lage ist, diese Wahrscheinlichkeiten auch zu schätzen.
Und dafür braucht man wirklich sehr große Textdatenmengen. Das geht also,
das ist dann mit 1000 oder 10.000 Wörtern nicht mehr getan.
Da braucht man dann Millionen oder Milliarden fortlaufende Wörter.
Ja, gut, das sind Varianten davon.
Das ist auch immer noch wichtig, wenn man sich über
solche Modelle unterhält. Wie stellen wir das eigentlich dar?
Also wir haben die beiden Repräsentationsvarianten, einerseits die bestischen Netze
und andererseits Zustandsübergangsdiagramme
Zustandsübergangsdiagramme kennen Sie alle, aus den endlichen Automaten.
Da ist nämlich immer ein Knoten, ein Zustand und der Pfeil sagt,
komme ich von diesem Zustand in einen anderen Zustand, ja oder nein?
Und ein bisschen Netze sagen eben, ich bin eine Zustandsvajable,
ich kann Werte annehmen und ich kann schlimmstenfalls alle möglichen Werte innerhalb eines Anwendungsgebiets annehmen.
Das ist genau der Fall, den wir hier haben.
Diese Variablen hier können alle Werte, alle möglichen Kategorien und
das sind je nach Ausstattungsgrad irgendwie zwischen 35 und 3000.
Das sind so die typischen Kategoriengrößen. Und jede dieser Dinge.
Also das zweite Wort, das steht hier für das zweite
Wort im Satz. Das zweite Wort kann also verbsubstantiv Artikel,
Pronomen, Präpositionen oder was auch immer sein, adjektiv.
Jedes dieser möglichen Ausprägung kann hier als Wert auftreten.
Während im Hidden Mark of Modell als Zustandsübergangsdiagramm sind das die Beschriftungen dieser Knoten.
Ich bin der Verbknoten, ich bin der Substantivknoten,
ich bin der Adjektivknoten und so weiter.
Und dann ist das eben die Verteilung,
wie expandiert der Substantivknoten in verschiedene Wörter, die ihn realisieren können.
Also Tischstuhl, Himmel, Fenster, Decke,
Lampe und so weiter
Und das sind die Übergangswahrscheinlichkeiten zwischen verschiedenen Knoten. Also wie
wahrscheinlich ist das, dass ein Substantiv auf einen Verb folgt?
Und wie wahrscheinlich das, das heißt ein Adjektiv auf einen Verb voll.
Das sind nur Bigramm-Wahrscheinlichkeiten, die ich hier darstellen kann.
Und im Vergleich dazu ist eben hier in der Darstellung als Basisches Netz stecken,
die Wahrscheinlichkeiten in komplexen Wahrscheinlichkeitsverteilungen drin, die immer an diesen,
besser hier, an diesen Knoten dranhängen.
Die also sagt, der Wert dieser Variablen hier hängt ab
vom Wert hier und hängt ab vom Wert hier
Also eine, zwei, mit zwei Variablen im Bedingungsteil,
eine bedingte Wahrscheinlichkeit mit zwei Variablen im Bedingungsteil.
Und ob eine Kante existiert oder nicht,
die hängt eben in dieser besten Netzdarstellung, davon ab,
ob es in dieser Wahrscheinlichkeitsverteilung hier eine Null drin gibt oder nicht.
Wenn es eine Null gibt, dann ist die ein Übergang
von einem Wert hier zu einem Wert hier nicht möglich.
Aber nur für diese eine Kombination. Es ist insgesamt immer noch
eine stochastische Abhängigkeit gegeben. Also dies ist eine Darstellung,
die generalisiert für ganze Variablen, Domänen, ja, hier hängt,
hängt immer eine Domäne dahinter und das macht eine Aussage über die gesamte Domäne.
Hat den Vorteil, dass ich eben beliebige Abhängigkeiten modellieren kann,
eben die Abhängigkeit dieses Knotens von den beiden vorangegangenen Knoten.
Das kann ich, oder repräsentieren kann, darstellen kann.
Das kann ich hier eben nicht. Hier kann ich immer
nur sagen, was ist der unmittelbar vorangegangene Zustand?
Und das Fehlen einer Kante ist dann entsprechend in den basischen
Netzen eine Nullwahrscheinlichkeit. Weil an diesen Kantenjährigen Einzelwahrscheinlichkeiten dran,
während an den Kanten im basischen Netz,
hängen Wahrscheinlichkeitsverteilungen dran
Also, Botschaft ist nur, wir haben zwei verschiedene Repräsentationsformen.
Wir können beide verwenden, beide sind gut, keine darf er nicht schlecht.
Nur sie bringen unterschiedliche Dinge zum Ausdruck. Das beste Netz sagt,
welche Stoff hast du schon, Abhängigkeiten haben wir.
Das hier sagt, welche Zustandsübergänge sind möglich. Wenn wir das eine sehen wollen,
müssen wir eben das, also wenn wir die Zustandsübergänge sehen wollen,
dann müssen wir dieses hier nehmen,
wenn wir das basische Netz nehmen wollen,
wenn wir höherstellige Abhängigkeiten haben wollen und deutlich machen wollen,
visuell darstellen wollen,
dann müssen wir
die basische Netzdarstellung wählen
Und das ist hier insbesondere wichtig, weil wir hier den Ausnahmefall haben,
dass wir hier eine vollbesetzte Matrix von Zustandsübergängen haben.
Heißt, mit anderen Worten im basischen Netz ist es so,
für dieses Modell, das hier dazwischen alle Kombinationen von Zustandswerten als mögliche Transitionen erlaubt sind.
Oder die Matrix, die ich hier habe, die ist vollbesetzt,
von jedem Zustand hier geht es zu jedem Zustand hier. Das ist der,
die Situation, aber das ist eine Ausnahmesituation und das,
was wir tatsächlich in realen Systemen oftmals finden,
sind solche schwach verbundenen Grafen, wo es eben nicht von jedem Zustand,
zu jedem Zustand einen Übergang gibt.
Also hier beispielsweise gibt es keine, das ist vollständig besetzt,
aber nur in der Vorwärtsrichtung. Ach nee,
ist auch nicht vollständig besetzt, wenn ich das weiter verkette,
gibt es keinen Übergang von hier nach da irgendwie.
Aber was wesentlich ist, es gibt keine Rückwärtsverbindung.
Ich komme von dem Folgezustand nicht wieder auf den vorangegangenen Zustand zurück.
Das ging bei dem algorischen Modell fürs Tagging sehr gut.
Hier geht das nicht. Und da liegt eben dahinter,
dass in einer zeitlichen Beobachtung, wie in einem Wort beispielsweise,
die umgekehrte Reihenfolge keine Rolle spielt
Weil dieses Wort niemals rückwärts beobachtet wird, niemals.
Und deshalb brauche ich die Rückwärtswahrscheinlichkeiten hier überhaupt nicht zu berücksichtigen.
Und das führt dazu, dass diese obere Dreiecks-Matrix, es ist die,
das ist das, ja, dass die Oberdreiecks-Matrix Nullen enthält.
Das ist etwas, was sich nicht in der Darstellung als bestisches Netz sehe.
Als bestisches Netz sieht auch diese Topologie genauso aus.
So hier. Da ist nichts irgendwie,
also eigentlich müssen wir nicht das Trigramm-Modell,
sondern lasst uns mal hier oben die Kanten weg.
Sie sehen die Unterschiede dieser Topologien, nur wenn sie in die Matrizen reingucken.
Und ob dort null Wahrscheinlichkeiten drin sind. Also wenn ich
solche unterschiedlichen Turpologien miteinander vergleichen will und mit einem Blick deutlich machen will,
worüber rede ich gerade, dann sollte ich eine zustandsbasierte Darstellung wählen.
Und nicht die basierte Netzdarstellung, denn die sieht in allen drei Fällen
exakt gleich aus. Da gibt es keinen Unterschied dazwischen.
Und das also nur mal als ein schönes Lehrbeispiel dafür,
dass es nicht ausreicht, irgendwo Knoten und Kanten dazwischen aufzumalen,
sondern dass in jedem Fall immer die Frage gestellt werden muss,
was bedeuten die Knoten,
was bedeuten die Kanten
Und dieses Mapping ist hier eben aufgezeichnet, in dem eben in den basischen Netzen.
Die Knoten vajablen sind, die Zustände als Werte annehmen können,
während in dem Zustandsübergangsdiagramm, also im endlichen Automaten,
sind das wirklich die Zustände selber, die ich darstelle.
Und genauso für die Kanten, die eben hier kausalen Einfluss,
also eine Wahrscheinlichkeitsverteilung darstellen, während es hier mögliche Zustandsübergänge sind.
Und so weiter und so fort. Dies ist das Entscheidende,
was steckt hinter den Knoten, was steckt hinter den Kanten,
was sagt mir diese Darstellung überhaupt,
was kann ich
daraus ablesen
So. Und jetzt kommen wir also tatsächlich willkommen noch. Nee, kommen wir nicht mehr.
Das ist... Dann bin ich an der gleichen Stelle,
wo wir schon mal waren, dass ich versucht habe zu motivieren,
warum wir den nächsten Schritt wieder noch machen müssen.
Das ist im Prinzip diese Grafik hier. Wir haben jetzt immer angenommen,
dass ein Modell, also bei den Sequenzmodellen, haben wir angenommen,
dass ein Modell immer in einem bestimmten Zustand zu einem bestimmten Zeitpunkt ist.
Eine Variable in dem basischen Netzwerk kann immer nur
einen Wert annehmen gleichzeitig. Und sie steht ja für einen
bestimmten Zeitpunkt
Zentrale Ausstiehnung des basischen Netzes sagt ja,
das sind aufeinanderfolgende Zeitpunkte, die ich dort modelliere.
Aber zu jedem Zeitpunkt bin ich genau in einem Zustand,
und das ist der Wert der entsprechenden paar Jablen.
Und das ist in vielen Fällen nicht realitätsgenau entsprechend. Eben insbesondere,
wenn ich verschiedene Modalitäten miteinander kombinieren kann, kann oder muss,
weil es eben zeitlich nur schwach gekoppelte Prozesse sind,
die dort dahinter liegen.
Und das haben wir eben in allen Fällen vorliegen,
wo es um menschliche Muskelaktivitäten geht
Also egal, ob ich nach irgendetwas greife, es sind immer,
ob ich etwas sage, ob ich irgendwo hinschaue,
es sind immer verschiedene Muskelgruppen miteinander beschäftigt.
Und die sind teilweise im Gegensatz zueinander. Sie kennen das
ja mit Protagonisten und Antagonisten, die einen ziehen, die anderen strecken.
Und die sind beide gleichzeitig aktiv. Und wohin sich das
System bewegt, hängt vom Gleichgewichtszustand zwischen den Kräften ab.
Und deshalb kann ich also eine Bewegung nie exakt reproduzieren
Sondern sie wird immer, wenn auch nur kleine Abweichungen zeigen.
Und also auch eine Unterschrift, die ich leiste,
sieht bei jedem Mal ein bisschen anders aus.
Weil eben das Wechselspiel der Kräfte in unterschiedliche Richtungen zerbt.
Das macht den verrauschten Charakter aller Stimulie aus, die der
Mensch produziert. Egal, ob ich irgendeine Geste mache,
wo ich eben vielleicht nicht richtig unterscheiden kann,
heißt das, komm her oder bleib weg.
Und das kann lebensrettend sein, der Unterschied.
Das ist genau der Fall, wenn ich Laute produziere,
da zerren eben unterschiedliche Muskeln an meinen Artikululatoren.
Und deshalb ist das, was ich da produziere,
niemals exakt das Gleiche
Und das passiert, ja, weiß ich nicht. Also in jeder Hinsicht,
wenn Menschen irgendwelche Simuli produzieren, Handschrift beispielsweise, ja,
bei Handschrift hatte ich ja schon Unterschriften,
spielen eben die Armen und Fingermuskeln eine Rolle,
wie das jeweils gerade gelingt.
Und deshalb sind das immer verrauschte Daten, die da rauskommen.
Und wenn ich die gut erkennen will, sollte ich ein Modell wählen,
und das ist jetzt erstmal nur eine Behauptung,
sollte ich ein Modell wählen, was diese unterschiedlichen Erzeugenden tatsächlich berücksichtigen kann.
Nochmal zurück zu dem basischen Modellen. Wir hatten eben immer
so etwas wie, Es gibt eine Ursache,
die zu der Wirkung führt, die wir beobachten können.
Wenn jetzt verschiedene Dinge sind, die zur bestimmten Beobachtung führen können.
Also das ist das Fahrrad beispielsweise. Es ist
das Zusammenspiel von Stimulus plus Blickwinkel gewesen. Jetzt haben wir
das Zusammenspiel der Zungenmuskulatur mit der Kiefermuskulatur und dem Lippenmuskel.
Verschiedene Ursachen, die zu einem einer Beobachtung führen.
Und ich muss es irgendwie rauskriegen,
wie diese unterschiedlichen erzeugenden Quellen zusammengespielt haben,
sodass diese Beobachtung entstanden ist
Und ich muss aber davon ausgehen, dass die unabhängig voneinander sind.
Und das braucht mein Modell. Deshalb brauche ich,
es muss in einem Zustand, nein, zu einem Zeitpunkt,
in unterschiedlichen oder unterschiedlichen Teilkomponenten des Modells,
müssen in verschiedenen Zuständen sein können.
Also ich muss beschreiben können, zum Zeitpunkt X ist mein
Kiefer aufgeklappt, die Lippen gespitzt und die Stimmbänder schwingen.
Und das muss ich für jeden Zustand machen können.
Und dann habe ich schon nur in diesem einfachen Beispiel
drei Ursachen, die zu einer Beobachtung geführt haben
Und das brauche ich jetzt in Sequenzmodellen. Ich brauche ein Modell,
was mir verschiedene Ursachen zusammenbringt, sodass das Gesamtergebnis beobachtet werden kann.
Und das ist der letzte Punkt,
den wir dann machen, dynamische, bestische Netze,
wo wir bestische Netze für Sequenzen mit der Idee der multimodalen Fusion kombinieren,
um dann diese DBNs, Dynamic Beation Networks zu kreieren.
Das ist dann nichts mehr,
was irgendwie auch nur andeutungsweise prüfungsrelevant ist,
das ist, um ihn zu zeigen,
wohin die Reise geht und wie kompliziert es so werden kann,
wenn man sich auf die Reise begibt.
Aber das machen wir dann morgen und bis dahin schönen
Tag,
die Sonne