Ja, guten Tag zusammen. Bevor ich heute wieder in unsere Materie einsteige,
zum letzten Abschnitt unseres Kapitels Real Time Interactive Media und zum letzten Teil der Vorlesung,
bevor sie heute in einer Woche ihre Lösungen,
ihrer Übungsaufgaben präsentieren werden, möchte ich noch einen kleinen Hinweis loswerden.
Ich habe in der vergangenen Woche gesehen,
dass im Museum für Kunst und Gewerbe, ich glaube vom nächsten Wochenende an,
also ab Anfang Februar, eine große Ausstellung stattfindet.
Ich glaube, die hat sogar den Titel Pixar.
Das geht auf jeden Fall um Pixar. Das heißt also,
das große Unternehmen, das schon seit einigen Jahrzehnten im Bereich
der Computeranimation, der Computer unterstützen, Animationen tätig ist.
Und da geht es darum,
dass also unterschiedliche Ansätze zum einen von der reinen Computergrafik und Computeranimationsseite her,
zum anderen natürlich auch von der künstlerischen Seite her,
gezeigt wird über die Entstehung von animierten Filmen.
Das geht zurück bis zur Toy Story. Ich weiß nicht,
ob irgendjemand von ihnen Toy Story noch gesehen hat, kennt.
Das war so einer der ersten Filme aus diesem Genre,
die ich gesehen habe und von denen, ich fand,
jetzt fängt Computeranimation an, interessant zu werden.
Und das hat sich natürlich weiterentwickelt über die Jahre.
Einer der letzten Filme, die eben auch dort präsentiert werden
oder von denen dann auch die Entstehung gezeigt wird,
ist der Film Ratatouille
Denen sie möglicherweise alle kennen, der ist ja so alt noch nicht.
Ich glaube, der ist vor zwei Jahren gemacht worden.
Und da haben sie also dann das ganze Spektrum über
die Entwicklung der Computeranimation bei einem zu großen Unternehmen wie Pixar
einmal so richtig kompakt und können sich das in aller Ruhe ansehen.
Und es ist, wenn ich das richtig in Erinnerung habe,
beginnt es Anfang Februar im Boseum für Kunst und Gewerbe
und dauert wenn ich es richtig in Erinnerung habe, bis Mai.
Ich will mal sehen,
ob ich noch mehr Informationen darüber finde und dann schicke ich
ihnen die vielleicht am einfachsten per E-Mail zu und dann haben
sie also direkt Zugriff darauf und können genauere Daten und genaueres zu dieser Aufstellung sehen.
Also ich meine, ich habe sie noch nicht gesehen,
dass sie erst in gut einer Woche einfängt und darum weiß ich also nicht genau,
was drin ist, aber ich kann mir durchaus vorstellen,
dass es gerade im Zusammenhang mit dem,
was wir jetzt hier in den letzten Wochen gemacht haben,
ausgesprochen interessant sein kann
Das zunächst einmal als einführende Information. Und dann wollen wir
jetzt wieder einsteigen in unser Kapitel Realtime Interactive Media.
Wir hatten gesehen, dass es sehr wichtig ist,
Computer generierte also virtuelle Darsteller, so naturgetreu wie möglich zu modellieren,
damit zu überzeugend wirken.
Und damit sie Menschen, die mit virtuellen Welten interagieren,
dann auch
wirklich ansprechen können,
wie reale Menschen
Es gibt natürlich immer die Möglichkeit,
so wie bei Toy Story zum Beispiel,
virtuelle Darsteller sehr abstrakt zu gestalten,
die sehen dann ganz anders aus,
als reale Menschen oder reale Lebewesen,
haben auch etwas sehr Überzeugendes,
aber man kann die natürlich nicht in jeder beliebigen Lebenssituation
einsetzen und jede beliebige Lebenssituation mit ihnen gestalten und wie wir
das mit virtuellen Darstellern so insgesamt machen können,
das wollen wir jetzt weiter
heute sehen
Haben bisher gesehen, wie wir die Fortbewegung virtueller Darsteller modellieren können, damit sie natürlich wirkt.
Wir haben gesehen, wie wir so etwas wie die Oberfläche,
die Haut, die Muskulatur so modellieren können, dass sie natürlich,
also menschenähnlich wirkt oder entsprechend ähnlich einem anderen Lebewesen, dass wir da modellieren wollten.
Und heute wollen wir uns mit einem ganz wichtigen Kapitel beschäftigen,
nämlich der Animation von Gesichtern, virtueller Darsteller,
Gesichtsanimation mit dem Ziel, dass wir einen wirklich sehr hohen Grad an Realismus entwickeln wollen. Und zwar Realismus,
zum einen in Bezug auf die Bewegung eines Gesichtes,
wenn wir uns ein Gesicht ansehen,
wenn sie sich mal vor den Spiegel stellen und die unterschiedlichen Lebenssituationen vor sich selbst darstellen,
dann werden sie sehen,
da bewegt sich unheimlich viel in ihrem eigenen Gesicht oder wenn sie mit jemand anderem sprechen und ihren Gesprächspartner mal etwas intensiver ansehen,
ohne ihn dabei gleich aus der Fassung zu bringen,
dann sehen sie, dass auch da die das Gesicht sehr,
sehr komplexe Bewegungen aufweist und das mit Hilfe dieser Bewegungen,
die Mimik sich verändert, einer Situation anpasst,
Gefühle ausdrückt.
Und da ist es natürlich wichtig, dass es uns gelingt,
in der Computeranimation all dies in die Gesichtsanimation auch tatsächlich mit einzubringen.
Und ja, der nächste Schritt, die nächste Forderung,
Anforderung, die wir stellen,
ist eben eine Animation in Echtzeit
Damit wir gerade in Anwendungen wie zum Beispiel Computerspielen,
aber auch in Anwendungen wie sogenannten Talking Hates,
wo wir so etwas wie hm,
virtuelle Nachrichtensprecher einbringen oder virtuelle Auskunftssysteme,
dass wir also irgendwo ein Ausschusskunftssystem anrufen und auf dem Bildschirm
dann eine virtuelle Person erscheint und wir mit dieser Person sprechen
und diese Person dann auf uns doch schon sehr,
sehr menschenähnlich wirkt
Ja, dazu brauchen wir natürlich Echtzeit. Und das Ganze
müssen wir mit geringstmöglichem Datenaufwand hinbekommen. Denn wie gesagt,
in den Bewegungen der unterschiedlichsten Muskel des Gesichtes,
da steckt ein ganz, ganz hoher Aufwand drin,
eine sehr hohe Komplexität drin.
Und die müssen wir versuchen, so weit wie möglich zu
reduzieren und trotzdem den hohen Grad an Realismus zu erhalten.
Ja, spezielles Anwendungsgebiet hatte ich
schon gesagt
Sind neben den normalen, virtuellen Darstellern,
die wir auch in Filmen sehen, virtuelle Nachrichtensprecher und Sprecherinnen,
virtuelle Ansprechpartner in synthetischen Auskunftssystemen und ähnliches.
Wir verwenden für die Modellierung und die Animation von Gesichtern dann
sehr feine Gittermodelle für die Formbeschreibung. Das sind also Gittermodelle,
die erheblich detaillierter sind und feiner sind als bei den normalen Gegenständen unserer Welt um uns her,
wenn wir die modellieren, deren Geometrie modellieren.
Wir brauchen sehr effektive Verformungsverfahren, die wir einsetzen,
um diese komplexe Feinmotorik der Muskulatur, der tatsächlich vernünftig modellieren zu können.
Wir brauchen muskulaturbasierte Bewegungsmodelle für das Gesicht. Und schließlich müssen wir
sogenannte Wieseme definieren, wie Seme sind praktisch dann das Visuelle Panda zu vornehmen.
Das heißt, Vornehme sind ja die kleinsten akustischen Einheiten unserer Sprache.
Und wir müssen im Grunde genommen jeden dieser Vornehme ein entsprechendes Wiesem zuordnen,
dass wir dann sichtbar machen,
dass also auf dem Gesicht genauso aussieht wie es dann als vornehmen klingt.
Ja, was Realismus bedeutet, sehen wir als in einem schönen Beispiel.
Wir hatten vor, ja inzwischen drei Jahren den Film Avatar,
der auf den Markt gekommen ist und den Kinos gezeigt worden ist.
Und ich fand, da war man also schon wirklich
sehr weit geraten mit der Modellierung sehr überzeugende,
eine sehr überzeugenden Gesichtsausdruck, ist einer sehr überzeugenden Mimik.
Und ich weiß nicht, hat jemand von Ihnen
den Film nicht gesehen?
Ja, das finde ich ja toll. Also ich fand,
in diesem Film kann man wirklich sehen,
da gibt es ja ganze Sequenzen, in denen diese virtuellen Darsteller,
das sind ja keine echten Schauspieler mehr,
sondern tatsächlich virtuelle Darsteller, in dem diese virtuellen Darsteller sprechen,
sich unterhalten und diese Kommunikation tatsächlich unterstützt es mit einer sehr überzeugenden,
realistisch wirkenden Mimik.
Und obwohl diese Darsteller natürlich keine Menschen sind in unserem Sinne,
man sieht,
dass es einen Unterschied zwischen eben uns Menschen und diesen virtuellen Darstellern
gibt,
wirken sie doch
so überzeugend menschenähnlich
Dass es erstaunlich ist, wie gut man das hingekriegt hat.
Und wir wollen heute mal sehen, wie das tatsächlich in
der Praxis gemacht wird. Ja, um ein Gesicht modellieren
und animieren zu können, hat man ein Facial-Action-Coding-System entwickelt.
Dieses Facial-Action-Coding-System beruht auf den Messungen von Gesichtsbewegungen. Das heißt also,
man hat praktisch eine unterschiedliche Menge von Gesichtern genau analysiert in unterschiedlichen Sprechsituationen und die Zugehörigen Gesichtsbewegungen,
ganz genau gemessen und versucht, die irgendwie zu klassifizieren.
Dann können, werden diese Elemente des Facial Action Coding Systems
eben durch Analyse der anatomischen Grundlagen von Gesichtsbewegungen gewonnen. Das heißt also,
es wird analysiert, welche Gesichtsmuskeln sind eigentlich an welcher Gesichtsbewegung,
welcher Mimik und so weiter, welchem Sprechvorgang in welcher Form beteiligt.
Dieses Facial Unit Action Coding System stellt uns ein ein Set
von High Level Parametern für die Gesichtsanimation zur Verfügung.
Dazu werden 46 grundlegende Action Units definiert. Jede dieser Action Units beschreibt die Kontraktion eines Gesichtsmuskels,
wenn es ein wesentlicher Gesichtsmuskel ist, der alleine schon bestimmte,
wichtige Bewegungen im Gesicht hervorruft oder einer Gruppe von Gesichtsmuskeln häufig arbeiten ja mehrere Muskeln zusammen,
um bestimmte Bewegungen im Gesicht zu hervorzurufen,
besonders wenn wir also an den Mund denken,
an die Muskulatur, die den Mund, die Lippen bewegt.
Da haben wir also immer Kombinationen von Muskeln,
die da beteiligt sind. Und diese Facial Action-Coding-System,
diese Action-Units, die da definiert worden sind,
die stellen uns damit einen Baukasten zur Verfügung, den wir verwenden können,
um die unterschiedlichsten Gesichtsausdrücke zu herzustellen und zu modellieren und praktisch darauf abzubilden,
vornehme, sodass wir also diese Korrelation von Vornehmen und Wiesem herstellen können.
Solche Animationssysteme, die Gesichtsanimationssysteme, die arbeiten in mehreren Schritten,
zunächst mal finden wir eine geeignete Parametrisierung für die Animation unseres Gesichtsmodells,
wie wir das Gesicht modellieren, wollen wir gleich noch betrachten,
dann definieren wir Grundbausteine für die Animation und Grundbausteine praktisch einzelne Kleinstelemente in Abhängigkeit von den Parametern,
die die jeweilige Animationssituation beschreiben.
Da haben wir also zum Beispiel den Parameter vollkommen unbewegtes Gesicht.
Wenn wir also da stehen, wie vom Donner gerührt und uns gar nicht regen.
Und dann eben das ganze Set, die ganze Sammlung von
Wiesemen, wie wir vornehmen, zuordnen. Diese Grundbausteine,
die verwenden wir als Keyframes und müssen dann im nächsten Schritt mit geeigneten Interpretationen beziehungsweise Blending-Funktionen,
diese Wieseme, diese einzelnen Gesichtsausdrücke miteinander verbinden,
sodass wir also eine kontinuierliche Ablauf von Bewegungen haben,
die Wörtern und Sätzen in unserer Sprache entsprechen.
Und da können Sie sich natürlich vorstellen,
dass es sehr wesentlich ist, dass das gut funktioniert,
dass also die Qualität dieser Funktionen ausgesprochen gut ist,
damit das Ganze realistisch wirkt.
Ja, für die Beschreibung des Gesichtes benutzen wir ein Gitternetz der Oberfläche,
sodass also jedes einzelne Bild, das wir in diesen Keyframes beschreiben,
genau grafisch ermittelt werden kann.
So, hier habe ich mal in dem Buch von Goodyeris
ein Bild gefunden, das den Gesichtsausdruck eines Singenden wiedergibt.
Das ist schon ein bisschen älter als das,
was ich Ihnen vorhin aus dem Film Avatar gezeigt habe.
Wir werden dann gleich noch andere Beispiele sehen,
in denen wir dann die Zuordnung und die Grundlagen der Animation
sehen können
Ja, es gibt einen weiteren Ansatz zur Animation von Gesichtern.
Das ist die Netzverfarmung, die auf Merkmalspunkten beruht, sogenannten Feature-Points.
Das heißt, in einem Gesicht werden bestimmte Punkte, charakteristische Punkte definiert.
Wir nennen diese Punkte also Merkmalspunkte. Und diese Punkte,
die Position dieser Punkte in Abhängigkeit vom Sprechfluss zum Beispiel in Abhängighängigkeit von der Mimik ganz allgemein,
wird gemessen und über die Merkmalspunkte wird dann praktisch,
das feine Gitternetz entsprechend verformt.
Wir beschreiben dadurch die Gesichtsform über eine Menge von Gesichtsdefinitionsparametern,
sogenannten Facial Definition Parameters und über eine Menge von Gesichtsanimationsparametern, Facial Animation Parameters.
Die Animation in diesem Fall kann den Gesichtsausdruck Und vor allen
Dingen Emotionen und Sprachfluss, Aussprache, Sprachfluss, reproduzieren. Die Facial Definition Parammitis werden,
wie gesagt, durch die Position von bestimmten Merkmalspunkten definiert,
Merkmalspunkte haben wir an charakteristischen Stellen im Gesicht,
wie zum Beispiel an den Mundwinkeln in den Augenwinkeln,
an der Nasenspitze, der Nasenwurzel,
also so charakteristische Punkte im Gesicht werden als Facial als Feature-Points Festgelegt.
So, und wenn wir auf die Weise zunächst einmal so rein formal
ein Gesicht aufgebaut haben und die Facial Definition Parameters festgelegt haben,
dann können wir sie verwenden,
um ein Gesichtsmodell dann auf ein ganz bestimmtes Gesicht abzubilden.
Das heißt also, wir können ein Gesichtsmodell zum Beispiel
auf das Gesicht eines solchen virtuellen Darstellers abbilden.
Und wie das geschieht, das können wir hier sehen.
Hier haben wir Unsere virtuelle Darstellerin, die einen offensichtlich sehr emotionalen Gesichtsausdruck da hat.
Und dieser Gesichtsausdruck der virtuellen Darstellerin wird gesteuert von einem realen Menschen,
einer realen Darstellerin, bei der bestimmte Punkte als, ich glaube,
man kann das so ein kleines bisschen noch sehen, das sind keine Sonderspaßen,
als Facial Definition Parameters im Gesicht dieser real existierenden Frau,
angegeben werden, vorgegeben werden.
Hier ist eine Kamera relativ dicht vor dem Gesicht, die
dieses Gesicht aufnimmt. Und die Bewegungen der Merkmalspunkte aufnimmt und
damit dann die Animation überträgt auf das Gesicht der virtuellen Darstellerin.
Ja, die Merkmalspunkte, wie gesagt, davon gibt es
eine ganze Reihe, die über das Gesicht verteilt sind.
Und hier ist also mal so ein schematisches Gesicht dargestellt und in
diesem schematischen Gesicht an den unterschiedlichsten Stellen, die entsprechenden Merkmalspunkte,
Also für den Mund, das heißt also für die Lippen,
die man sieht, sind unterschiedlichste Merkmalspunkte definiert.
Für die Zunge sind unterschiedlichste Merkmalspunkte definiert. An den Augen
sind unterschiedlichste Merkmalspunkte definiert, da sich beim Sprechen der Kiefert bewegt.
Nicht nur rauf und runter, sondern auch in Mahlendünnbewegungen hin und her,
werden auch da Merkmalspunkte definiert, die diese Kieferbewegung mit simulieren.
An der Nase gibt es eine ganze Reihe von Merkmalspunkten,
vor allen Dingen an der Nasenspitze
Schließlich noch an anderen Stellen im Gesamtgesicht,
die wir dann benötigen, um unser Formales,
unsere schematische Beschreibung eines Gesichtes dann abbilden zu können,
exakt abbilden zu können,
auf das Gesicht eines virtuellen Darstellers
Wir haben also diese facial Animation Parameters, die den Action Unicts
im Prinzip entsprechen in dem ersten Ansatz, den wir betrachtet haben.
Und diese facial Animation Parameters bestimmen also die Animationsabhängige Verschiebung von Merkmalspunkten
und damit die Verformung des gesamten Gesichtes. In MPEG 4,
da hat die Facial Animation Engine mithilfe von Candifacial Animation Engine,
mithilfe von 66 Low-Level, Facial Animation Parameters tatsächlich in Echtzeit
eine sehr große Zahl von unterschiedlichen Gesichtsausdrücken generieren.
Und damit kann man also schon eine recht gute Sprachartikulation herbeiführen.
Aktuelle Systeme, die inzwischen auf dem Markt sind,
extrahieren aus natürlich gesprochener und synthetischer Sprache vornehme und generieren daraus
die Sprechanimationen für mit guter Lippensynchronisation.
Das heißt, es gibt also inzwischen schon recht überzeugende Talking-Hit-Systeme
von virtuellen Darstellern, die menschlichen Darstellern,
also realen Menschen,
durchaus vergleichbar sind
Und wir können mit diesen neueren Systemen,
natürlich wirkende Integrationen von Emotionen in den Gesichtsausdruck bewerkstelligen. So,
das war also zunächst einmal das Problem,
wie können wir unseren virtuellen Darstellern möglichst Menschen,
ähnliche Gesichtszüge geben und die Gesichter möglichst Menschen ähnlich naturgetreu animieren,
sodass diese virtuellen Darsteller für eine Kommunikation mit realen Menschen überzeugend wirken.
Das nächste Problem, mit dem wir uns befassen müssen,
vor allen Dingen im Zusammenhang mit autonomen, virtuellen Darstellern,
ist das Problem der Interaktion zwischen virtuellen Darstellern,
virtuellen Menschen und virtuellen Objekten innerhalb einer Szene.
Das heißt, die Frage,
die wir uns stellen müssen, ist,
wie können virtuelle Darsteller virtuelle Objekte manipulieren und zwar so manipulieren,
dass es auch überzeugend wirkt und überzeugend aussieht
Wir müssen diese Frage, die Aufgabe, die sich daraus ergibt,
in zwei Teile, in zwei Schritte unterteilen.
Zunächst müssen wir das Objekt verhalten, also die Gegenstände,
mit denen wir arbeiten oder unsere virtuellen Darsteller arbeiten lassen wollen.
Genau, formal spezifizieren. Wie verhält sich das Objekt,
wenn damit manipuliert wird? Und das zweite ist,
wir müssen eine sinnvolle und glaubwürdige,
grafische Darstellung des Manipulationsvorganges in einer Animation finden und modellieren können
Und wir wollen das Ganze einmal betrachten am Vorgang des Greifens,
das Greifen ist eine recht komplexe Tätigkeit,
da werden immerhin 27 Knochen einer Hand,
wenn wir mit einer einzigen Hand greifen,
bewegt und diese Bewegung muss vernünftig animiert werden,
sodass wir den entsprechenden Greifvorgang auch so angemessen beschreiben können,
dass er überzeugend wirkt und dass er die natürliche Greifbewegung
möglichst gut wiedergibt
Wir müssen da nicht nur die Handbewegung modellieren,
sondern die dazugehörige Armbewegung und eventuell die gesamte Körperbewegung,
wenn also der Greifvorgang zusammenhängt mit einem Vorgang,
das sich zunächst mal zu dem Objekt oder der virtuelle Darsteller zunächst mal zu dem Objekt hingeht,
das ergriffen werden soll und dann den Arm ausstreckt zu dem Objekt hin und dann das Objekt ergreift.
Und natürlich müssen in dem Zusammenhang auch mögliche Kollisionen mit anderen Objekten,
die in unserer virtuellen Szene aufgestellt sind, identifiziert werden.
Einfach ist das, wenn die Objekte praktisch tote Objekte wie Gegenstände wie Möbel oder so etwas sind,
wenn es sich bei den anderen Objekten wiederum um virtuelle Darsteller handelt,
dann wird das Ganze schon recht komplex, diese Kollisionsuntersuchung.
Ja, zunächst einmal müssen wir also die Objekte selbst modellieren und dazu beschreiben wir die Objekte jetzt nicht mehr ganz einfach,
nur in ihrer Form Wie wir das beim geometrischen modellieren kennengelernt haben,
sondern wir geben mehr Informationen hinzu und daraus werden aus den Objekten
oder wird aus der reinen Formbeschreibung der Objekte so etwas wie ein Smart-Objekt.
Das heißt, da kommt noch Informationen hinzu,
die zum Beispiel das Objekt klassifiziert in Bezug auf die Manipulationsmöglichkeiten,
die da bestehen. Dann sind zum Beispiel semantische Informationen festzuhalten,
Wo und wie ein solches Objekt für eine sinnvolle Manipulation angefasst werden soll,
wenn wir daran denken, können Sie sich alle vorstellen,
ich hätte was mitbringen können. Wenn Sie,
wenn wir daran denken, wir wollen einen Hammer ergreifen,
mit dem wir einen Nagel in die Wand schlagen sollen,
dann wissen wir alle,
man greift den Hammer sinnvollerweise unten am Stil an und der Hammerkopf ist da hinten am anderen Ende.
Ja, wir, kaum jemand würde auf die Idee kommen,
den Hammer oben am Hammerkopf anzufassen und dann zu versuchen,
mit dem Stilende den Nagel in die Wand zu schlagen.
Das heißt also, Hannah ergreifen ist etwas,
das schon eine sinnvolle Manipulation voraussetzt, ein Hammer,
der eben als Werkzeug zum Einschlagen von Nägeln benutzt werden soll,
den kann man nur auf eine ganz bestimmte Art und Weise anfassend festhalten.
Und das gilt natürlich vergleichbar für alle möglichen anderen Objekte,
wenn unser virtueller Darsteller die Aufgabe erhält, etwas zu schreiben,
das heißt, einen Stift zu ergreifen und zu schreiben,
dann würde es nicht besonders überzeugend aussehen,
wenn er den Stift so in die Hand nehme.
Dann wird aus dem Schreiben bestimmt nichts. Zumindest nicht überzeugend.
Wir können natürlich unseren virtuellen Darsteller dann hiermit in bester Handschrift
etwas aufschreiben lassen, aber das glaubt ja niemand.
Wenn wir das sehen, würden wir das nicht glauben.
Ja, dann müssen wir auch modellieren für unsere Smart Objekts,
wie sich diese Objekte bei der Manipulation verhalten. Das heißt also,
wenn wir ein Objekt namens Tür haben und wir wollen diese Tür öffnen,
dann bestehen natürlich beliebige Möglichkeiten, eine Tür zu öffnen.
Ich kann also sagen, ich gehe auf eine Tür zu und klappe sie weg.
Ich schubse sie einfach um und dann fällt sie um und
die Tür ist auf. Das kann in Sonderfällen vielleicht sinnvoll sein,
in bestimmten Szenen, aber normalerweise wissen wir,
wir fassen eine Tür an die Klinke,
drücken die Klinke runter und ziehen dann oder schieben,
sodass die Tür sich um ihr Scharnier dreht.
Das heißt also, wir können eine Tür zum Beispiel
nicht an der Scharnierseite anfassen und sie um das Schloss
drehen lassen
Was theoretisch ja auch zunächst einmal denkbar wäre, aber eine anständige Tür,
die wir als Smart Object modellieren, verhält sich anders.
Das heißt also, dieses Verhalten müssen wir auch mit reinbringen.
Oder anderes. Wenn wir zum Beispiel so einen weichen Gegenstand
wie einen Softball haben. Und wir fangen den und halten
ihn fest, dann drücken wir Beulen da hinein.
Unsere Finger drücken Beulen in diesen Ball.
Und das müssen wir dann eben auch wirklich gut modellieren,
damit unser virtueller Ball,
das sich genauso verhält
wie eine echte Software
Dann ist es natürlich auch wichtig, welche Teile des Objektes im Zuge der Handhabung angesehen werden.
Denken wir wieder an das einfache Beispiel des Öffnen einer Tür.
Wenn ich eine Tür öffnen will,
dann sehe ich mit sehr großer Wahrscheinlichkeit die Klinke an,
weil ich die anfassen will und drücke sie runter und danach sehe ich wahrscheinlich schon irgendwo hin,
wo sich die Tür dann einen Spalt breit öffnet,
weil ich bereits meine Aufmerksamkeit in den Nachbarraum lenken möchte.
Ich werde, wenn ich eine Tür öffnen will,
mit sehr großer Wahrscheinlichkeit nicht das Charnier ansehen und dann auf
die Klinke drücken und die Tür öffnen
Kann ich machen. Klingt aber, es sieht nicht überzeugend
aus. So, hier haben wir eine kleine Szene,
wo also zunächst einmal solche Smart Objects definiert werden.
Alle möglichen Eigenschaften dieser Smart Objects genau beschrieben werden.
Und dann kann ein virtueller Darsteller mit diesem Smart Objects
entsprechend umgehen. Das heißt also, eine CD zum Beispiel
entsprechend in die entsprechende Schublade stecken oder wieder herausnehmen
Ja, wenn wir das Greifen doch einmal genauer betrachten und das Greifen versuchen zu systematisieren,
dann müssen wir also überlegen, wie wir schon gesehen haben,
welcher Gegenstand kann wie ergriffen werden,
benötigt man eventuell für das Ergreifen eines Gegenstandes ein Werkzeug.
Wenn wir also irgendwelche ganz kleinen Schräubchen haben,
dann werden wir die wahrscheinlich mit einer Pinzette anfassen wollen,
wenn wir, sagen wir irgendwo,
glühend heiße Nägel,
Nägel in eine Kerzenflamme halten wollen oder Nägel in eine Kerzenflamme halten wollen,
damit sie da
schön glühend heiß werden
Dann werden wir das wahrscheinlich nicht mit den Fingerspitzen machen,
sondern eine Zange zur Hilfe nehmen und die Nagel mit der Zange festhalten und ähnliches.
Das muss praktisch mit hineingebracht werden in die Modellierung,
dann benötigen wir natürlich die inverse Kinematik,
die wir schon kennengelernt haben,
um die endgültige Handposition zu erreichen und das muss natürlich vernünftig ablaufen.
Auch das hatten wir ja schon genauer betrachtet,
damit die Körperhaltung dazu
auch entsprechend sinnvoll wird
Dann brauchen wir so etwas wie Handsensoren, die fühlen,
wenn wir das virtuelle Objekt berühren.
In der Regel sind unsere virtuellen Darsteller ja so modelliert,
dass die Oberfläche sehr komplex gestaltet ist und die Kollision einer
so komplex gestalteten Oberfläche mit einer anderen komplex gestalteten Oberfläche,
die man anfasst, in Echtzeit zu berechnen, ist wahnsinnig aufwendig.
Und darum macht man also zum Beispiel so einfache Dinge,
dass man Berührungspunkte oder die Berührungsflächen der Hände zunächst einmal
vormodelliert mit einfachen Oberflächen, wie zum Beispiel Google-Oberflächen.
Und dann die Kollision dieser kleinen Kugeloberflächen mit dem anderen,
mit der Oberfläche des anderen Gegenstandes überprüft.
Und dann weiß man schon, dass man die in der Nähe ist.
Das heißt also, da kann die Berührung dann langsamer werden und
genauer ausgewertet werden und ähnliches. Solche Modellierungen sind natürlich ganz wichtig,
damit wir vermeiden, dass unsere Hand,
die Hand des virtuellen Darstellers in einen Gegenstand hineingreift oder Gegenstand schon bewegt,
bevor sie ihn berührt hat oder ähnliches.
So, dann können wir uns vorstellen,
dass es ganz unterschiedliche Formen des Greifens gibt,
in Abhängigkeit von dem Gegenstand, den wir ergreifen.
Also zum Beispiel so ein Blatt Papier oder so etwas,
das können wir leicht zwischen zwei Fingern oder so etwas halten, festhalten, hochhalten.
Wenn wir so etwas wie so einen zylindrischen Gegenstand,
einen Topf haben, den unsere Hand nicht mehr umschließen kann,
dann brauchen wir eine zweite Hand um diesen Gegenstand überzeugend
zu halten
Wenn wir eine kleine Kugel haben, sowie einen Golfball oder Tischtennisball,
den können wir also locker auch zwischen zwei Fingern halten,
wenn wir eine größere Kugel haben, wie eine Kickelkugel,
dann müssen wir die schon ganz anders festhalten.
Und wenn wir eine richtig große Kugel wie eine Bowlingkugel oder so etwas
festhalten wollen, dann brauchen wir auch wieder unsere beiden Hände.
Und das Gleiche gilt natürlich für die unterschiedlichsten Formen von zylindrischen Gegenständen,
diesen Gegenstand, kann ich sehr leicht noch,
na im Prinzip sogar zwischen zwei Fingern festhalten,
aber es gibt andere zylindrische Gegenstände, wenn die schwerer sind,
dann wird es mit den zwei Fingern schon ein bisschen unpraktischer.
Und wenn der zylindrische Gegenstand so etwas ist wie so ein Topf,
dann kann ich ihn mit zwei Fingern garantiert nicht mehr halten.
So, das Greifen können wir sehen als einen Teil
eines Rechtkomplexen Bewegungsablaufes. Und wie muss der Ablauf aussehen,
was muss ein virtueller Darsteller tun, um einen Gegenstand zu ergreifen?
Er muss zunächst einmal zu dem Objekt hingehen,
das ergreifen will, es sei denn,
er steht sowieso schon
direkt daneben
Er muss in der Regel das Objekt ansehen. Denn er weiß ja nicht genau,
die Feinmotorik steuert er, praktisch durch optische Rückkopplung.
Er weiß ja nicht genau, wo das Objekt steht.
Dann muss er das Objekt ergreifen in angemessener Form, wie wir gesehen haben,
in Abhängigkeit von dem Objekt seiner Größe seiner Form, seinem Gewicht,
muss das Objekt entsprechend angefasst werden mit zwei Fingern, mit zwei Händen.
Dann muss er eventuell das Objekt wegbewegen. In den meisten Fällen
will man das Gegenstand nicht einfach ergreifen und dann sagen,
okay, ich habe ihn angefasst,
jetzt bin ich zufrieden und gehe wieder,
sondern ich will irgendetwas damit machen.
Ich will ihn mitnehmen oder ich will zumindest wie bei der Durchlinke,
die lasse ich in der Regel da,
aber ich will sie einmal bewegt haben, bevor ich wieder weggehe.
Das heißt also, ich muss das Objekt bewegen oder gar fortbewegen.
Dabei darf unser virtueller Darsteller natürlich nicht mit anderen Gegenständen,
Objekten oder anderen virtuellen Darstellern
in der Szene zusammenstoßen oder gar durch sie hindurchgehen
Der Lösungsansatz für solche Bewegungsabläufe ist eine Bewegungsplanung mit Hilfe,
propabilistischer Landgarten, also sogenannten Properbilistic Roadmaps. Solche probabilistischen Landkarten,
die stellen den Zusammenhang oder die zu sagenden Hängigkeit eines Suchraums in einem Grafen dar,
das heißt also die Konnektivität des Suchraumes, die Knoten in einem solchen Grafen
Die repräsentieren die Positionen, an denen unser virtueller Darsteller sich aufhalten kann,
die er einnehmen kann. Die kannten zwischen den Knoten,
bedeuten, dass der Darsteller von der einen Position sich in die andere bewegen kann.
Wenn wir also so eine Roadmap hier zum Beispiel herstellen würden für diesen Raum,
dann gäbe es möglicherweise hier ein paar Knoten,
die hier an dieser Charakteristischen Stelle sind.
Hier halte ich mich gerne auf. An dieser Stelle,
ja, dann bin ich irgendwo in der Nähe der Projektionswand
und kann gleichzeitig auf meinen Bildschirm schauen und sie alle im Auge behalten.
Und dann gibt es noch die einen oder anderen Knoten,
Entlang dieseswegs, weil ich gerne mal hinten hingehe und irgendeinen Gegenstand aufnehme,
dann kann es natürlich sein, das kann zumindest für sie interessant sein.
Sie gehen gerne auch mal hier unten entlang und damit ergibt sich möglicherweise auch ein Knoten hier,
den man erreichen kann, wenn man in diesem Raum herumgeht.
Dieser Knoten ist sehr nah an dem Knoten da drüben,
aber es sollte tunlichst keine Kante zwischen diesen beiden Knoten geben,
denn wenn wir nicht gerade feuchtbar sportlich sein wollen,
kommen wir von hier nach da nicht so ohne weiteres.
Das heißt also, die die möglichen Pfade,
die die Knoten miteinander verbinden in einem Raum, müssen sinnvoll gelegt sein.
Das heißt also, so gelegt sein, dass ein virtueller Darsteller überzeugen,
von einem Knotenpunkt zu dem anderen entlang eines solchen Pfades laufen kann.
Solche Roadmap-Techniken setzt, werden in der Praxis.
In der Regel zusammen mit Motion-Cuture-Daten eingesetzt, das heißt also,
die Bewegungsabläufe, die unsere virtuellen Darsteller benötigen,
um von einem Knoten zum nächsten zu laufen in unserem Roadmap.
Entsprechend unserer Roadmap sind Bewegungsabläufe, die wir aus einem Motion-Capture-System übernommen haben.
Und entsprechend in kleine Abschnitte unterteilt haben, wie wir da schon gesehen haben.
Das garantiert uns solche Roadmap-Techniken, dass die Bewegungsabläufe kollisionsfrei sind,
dass sie ausgewogen sind und vor allen Dingen, wenn wir eben Motion-Capture-Daten einsetzen,
dass sie auch die Bewegungsgrenzen unserer virtuellen Darsteller einhalten.
Das heißt also, da bewegt niemand den Kopf locker
mal zweimal um 360 Grad,
um die vertikale Achse oder irgendetwas ähnliches
Ja, und wie ich vorhin schon sagte,
auch hier die Bewegungsplanung wird ausgesprochen komplex,
wenn wir in der Szene neben toten Objekten,
wie Mobiliar und anderen Gegenständen eben auch quasi lebendige,
virtuell lebendige Objekte haben, wie zum Beispiel andere virtuelle Darsteller,
dann muss in jedem Augenblick geprüft werden,
wo befindet sich der eine virtuelle Darsteller,
wo befindet sich der andere virtuelle Darsteller,
sind sie auf Kollisionskurs,
wie können sie
die Kollision vermeiden und ähnliches
So, hier hätten wir nochmal ein paar Beispiele für etwas komplexere Greifaktionen.
Hier hantiert also jemand ganz munter in seiner Küche herum,
bereitet sich ein Spiegelei oder irgend sowas oder Rührei.
Das ist also hier ganz nett zu sehen.
Er hat die entsprechenden Werkzeuge, Pfannentöpfe. Hier oben
hat er in Gradienzen, die verarbeitet werden sollen.
Und was auch ganz wichtig ist,
all dieses macht er mehr oder weniger aus dem Stand,
bewegt sich also in einer
relativ ruhigen Form
Hier stellt er irgendetwas unten in den Backofen.
Oder, nee, holt was aus dem Kühlschrank.
Und dazu muss er sich, weil der Kühlschrank irgendwo da
unten ist, natürlich auch noch zusätzlich bücken.
Das heißt also, er muss seine eigene Körperfarm deutlich verändern,
um da unten dann sein Ziel erreichen zu können und einen Gegenstand ergreifen zu können.
So, wir haben vorhin schon den Begriff des autonomen virtuellen Darstellers gehört.
Wir haben den Begriff schon ein paar Mal gehört und
wir wollen uns jetzt ein kleines bisschen näher mit autonomen
virtuellen Darstellern beschäftigen
Sehen, was das eigentlich ist. Also wozu brauchen wir
autonome virtuelle Darsteller? Welche Eigenschaften müssen autonome virtuelle Darsteller haben?
Wie verhalten sich? Wie können wir das Verhalten autonomer virtueller Darsteller modellieren? Ja,
und zum Abschluss wollen wir in diesem Abschnitt dann noch sehen,
wie man Menschenmengen, das heißt also eine Vielzahl von autonomen virtuellen Darstellern,
die gleichzeitig da sind und gleichzeitig agieren,
modellieren oder simulieren kann.
Was können wir uns eigentlich
unter einem autonomen virtuellen Darsteller vorstellen
Ja. Wir haben den Begriff ab und zu schon mal anklingen lassen.
Haben Sie eine Idee, was das sein kann?
Vielleicht können Herrn Lebensinn auch nur sein, dass er
erstens nur die Projektion ein Abfinden der realen Persönlichkeit ist.
Also, dass er eben das dann frei ziniert, was auch immer.
Und weil das ja auch selbstständig entscheiden kann, wie er
sich bringen kann. Also vielleicht muss man nur sagen,
es belegt eine Hand an diesem Punkt,
von der Entscheidet sozusagen selbstständig, wie er die Gelenke dahin bewegt.
Ja, also der ganz wichtige Gesichtspunkt ist die Selbstständigkeit,
die also beliebig weit entwickelt sein kann.
Das kann selbstständig sein in Bezug auf bestimmte Bewegungsabläufe,
die zum Erreichen eines Zieles im Moment erforderlich sind.
Das kann aber Selbstständigkeit sein im Extremfall, dass sich eine solche,
ein solcher virtueller Darsteller während eines ganzen Ablaufes,
einer ganzen Animation, meinetwegen innerhalb eines Spieles,
die ganze Zeit vollkommen selbstständig Oder dass er vollkommen selbstständig handelt.
Dass man also nur sagt, da gibt es eine Figur,
die heißt sowieso. Und diese Figur begegnet uns in einem Computerspiel.
Und wenn wir jetzt also ein solches Computerspiel spielen,
in meinetwegen sehr immersiver Umgebung, virtueller Umgebung,
dann taucht diese Figur immer wieder auf und diese Figur wird nicht gesteuert von irgendjemandem,
der da praktisch im Hintergrund den realen Darsteller gibt und diese Figur steuert.
Sie wird auch nicht unmittelbar besteuert auf vordefinierten Wegen mit vordefinierten Handlungen.
Durch unser Programm, das die virtuelle Welt regelt,
sondern sie agiert vollkommen selbstständig und abhängig davon,
wie gerade die Situation sich ergibt, die Situation,
die gestaltet worden sein kann, zum Beispiel durch unterschiedliche,
natürliche Mitspieler, die in diese virtuelle Welt eingetaucht sind.
Und da wissen wir ja auch nie im Voraus, wie sich die Menschen verhalten.
Und unsere autonomen virtuellen Darsteller verhalten sich dann Vollkommen angepasst an
die Situation, die sich ergibt durch die äußeren Einflüsse.
Okay. Virtuelle Darsteller,
die brauchen wir natürlich in Filmen und in Spielen,
in Computerspielen, wie wir das gerade in dem Beispiel gesehen haben.
Aber wir brauchen sie auch in anderen Situationen oder Simulationen,
die nicht nach einem vorgegebenen Skript ablaufen.
Zum Beispiel bei Ausbildung und Schulung,
das wäre also so ein typisches Computerspiel
Haben unser Computerspiel, hat die Aufgabe, Menschen,
die von einer bestimmten Sache keine Ahnung haben, diese Sache beizubringen.
Zum Beispiel, wie repariere ich mein Handy, wenn es
mir hingefallen ist? Und sehr schön wäre das,
wenn ich das jetzt in einer spielerischen Situation durchführen könnte und dazu
den einen oder anderen virtuellen Darsteller in diesem Spiel vorfände,
der oder die mir das beibringen.
Und da hätten wir also so eine typische Situation,
in der wir Autonomen, virtuellen Darsteller als quasi als Lehrer haben.
Dann auch in der Psychotherapie, das ist natürlich ein sehr gutes und überzeugendes Beispiel,
dass wir also so etwas wie einen virtuellen Psychotherapeuten haben.
Ich wüsste im Moment nicht, ob ich,
sollte ich ein psychisches Problem haben, mich einem virtuellen Psychotherapeuten anvertrauen würde,
aber theoretisch denkbar wäre es.
So, in solchen Situationen müssen also unsere autonomen virtuellen Darsteller
Veränderungen in ihrer eigenen virtuellen Umgebung wahrnehmen.
Und sie müssen dann entsprechende Entscheidungen treffen, wie sie sich
in dieser Umgebung jetzt aufgrund der Veränderungen angemessen verhalten wollen.
Das Hauptproblem, das wir dabei beachten müssen, ist,
dass die Aktionsentscheidung zum einen, unseren virtuellen Darsteller,
Otto Nummers, Virtual Character, dem aktuellen Ziel näherbringt.
Auf der anderen Seite müssen auch langfristige Zielvorgaben berücksichtigt werden.
Also in Spielen zum Beispiel ein virtueller Darsteller,
will jetzt meinetwegen irgendwo über eine Mauer springen können,
um aus einer Gefangenensituation ausbrechen zu können.
Langfristig will er aber, sagen wir, möglichst lange überhaupt überleben.
Das heißt also, das eine, was er will,
ist jetzt in diesem Augenblick die Mauer überwinden.
Grundsätzlich geht es aber auch lange zu überlegen. Das heißt also,
wenn er auf der anderen Seite der Mauer meinetwegen in einen Wassergraben fallen könnte und da drin ersäuft,
dann hat er zwar das Ziel, die Mauer zu überwinden,
geschafft, aber nicht das Ziel, möglichst lange zu überlegen.
Was wir auch beachten müssen, ist,
dass autonome virtuelle Darsteller selbst ihre Umgebung verändern können. Nicht,
wenn wir also jetzt nochmal zurückdenken,
die Handhabung von Gegenständen hatten wir uns schon angesehen und wir können uns ja ohne Weiteres darstellen,
dass wir einen vorstellen, dass wir einen autonomen virtuellen Darsteller haben,
der da sein Essen zubereitet,
Und im Zuge der Zubereitung seines Essens verändert er natürlich die Umgebung in der Küche.
Nicht alle diejenigen unter ihnen, die schon mal Zeit in
einer Wohngemeinschaft verbracht haben oder so etwas, kennen das, genau,
sie sind irgendwann gerade mal am Vormittag an der Küche vorbeigekommen.
Das sah ganz prima darin aus und sie haben gesagt,
ah ja, in zwei Stunden mache ich mir mein Mittagessen und es ist ja alles da.
Und zwei Stunden später kommen sie rein und in der Küche
sieht es chaotisch aus und es ist nichts mehr da,
was in irgendeiner Weise vernünftig zu verwenden wäre.
Und in der Zwischenzeit war also so ein autonomer virtueller Charakter
in der Küche und hat ihre Küche oder ihre gemeinsame Küche,
es ist ja ein gemeinsame Küche, in einen Zustand gebracht,
der sie jetzt in der Situation,
in der sie selber die Küche nutzen wollen, nicht furchtbar begeistert.
Das heißt also, das könnten auch autonome virtuelle Darsteller sein,
die so etwas machen, die ihre Umgebung verändern,
sodass also der nächste Darsteller sei ja nun auch virtuell oder real,
diese Umwelt, diese Umgebung anders vorfindet,
als sie noch kurz vorher gewesen ist.
So, Wenn wir mit autonomen virtuellen Darstellern arbeiten wollen,
dann müssen wir ihnen bestimmte Eigenschaften geben, die sie menschenähnlich machen.
Da haben wir zum einen das Wahrnehmungsvermögen unserer autonomen virtuellen Darsteller.
Das heißt, unsere autonomen virtuellen Darsteller müssen in der Lage
sein, Veränderungen in ihrer Umgebung wahrzunehmen.
Dieses Wahrnehmungsvermögen muss natürlich möglichst realistisch modelliert werden,
sonst glaubt man es nicht
Hier müssen wir, wenn wir eine solche virtuelle Welt kreieren,
darauf achten, dass wir unser Wissen über diese Welt
nicht unmittelbar auf unsere autonomen virtuellen Darsteller abbilden.
Das heißt also, natürlich ist dem System, in Anführungsstrichen,
formal der Zustand der virtuellen Welt komplett bekannt.
Jedes Detail ist komplett bekannt. Aber wenn unser autonomer virtueller Darsteller irgendetwas hat fallen lassen,
und es ist irgendwo hingerollt, dann sieht es nicht überzeugend aus,
wenn sich dieser autonome virtuelle Darsteller gezielt wirkt,
an eine ganz bestimmte Stelle unter den Schrank greift und das Ding da wiederholt.
Das passiert uns in der Regel auch nicht. Es fällt uns etwas hin,
wir kriegen irgendwo mit, zu Größenordnungsmäßig, wo es hinrollt,
aber dann fangen wir an zu suchen, um es wiederzufinden.
Natürlich ist die Position des Gegenstandes,
der da hingefallen ist, unserem System,
genau bekannt und unser virtueller Darsteller könnte sich einfach bücken
oder er brauchte sich noch nicht mal zu bücken,
der greift einfach durch die Tischplatte hindurch oder durch den Schrank
Nimmt das Schräubchen, das ihm also da runtergefallen ist,
von der Stelle, an der es liegt, weg und hat es wieder.
Nur, das glaubt ihm keiner. Das heißt also,
die Wahrnehmung muss so modelliert werden,
wie sie bei Menschen auch im Wesentlichen abläuft,
damit unser virtueller Darsteller überzeugend agieren kann.
Dazu müssen die Funktionalitäten der menschlichen Sinnesorgane simuliert werden. Das heißt,
auch der Informationsfluss aus der Umgebung muss entsprechend gefiltert sein.
Das heißt, wenn wir einen Gegenstand wiederfinden wollen,
dann müssen wir unseren virtuellen Darsteller genauso auf die Suche schicken,
wie wir das selber auch machen würden.
Und bei diesem suchen die Umgebung genauso wahrnehmen, wie wir das auch machen.
Das heißt also, wir sehen nur etwas in der Richtung,
in die unsere Augen blicken und sehen nichts,
was hinter uns los ist.
Wir hören Dinge, aber unsere akustische Wahrnehmung ist
nicht ganz so präzise wie unsere optische Wahrnehmung und ähnliches
Wichtig ist, damit wir auch das Ganze in verhältnismäßig,
kurzer, schneller Zeit bewerkstelligen können, dass wir unser biologisches Vorbild nicht hundertprozentig simulieren.
Das heißt also, wenn wir das Sehen simulieren wollen,
dann würden wir einfach ein Z-Puffer-Farbbild im Umfang des Gesichtsfeldes, Feldes generieren und dieses Z-Puffer-Farbbild analysieren.
Beim Hören werden aktuelle Klangereignisse zurückgeliefert aus einer sinnvollen nahen Umgebung. Das heißt also,
die Umgebung, in der man etwas wahrnehmen kann,
muss in ihrer Ausdehnung der Lautstärke des Klangereignisses angepasst sein,
wenn es also ein feines Wispern ist,
wie wenn eine Streckennadel hinfällt,
dann können wir das nur noch auf sehr kurze Entfernung wahrnehmen,
wenn irgendwo so ein Silvester-Knallkörper detoniert,
dann sind da schon,
ist das schon auf einige hundert Meter
noch wahrzunehmen
Ja, und dann haben wir noch andere Sinnesorgane, Tasten und riechen.
Auch da haben wir, müssen wir Funktionen implementieren,
die das globale Kraftfeld in der Nähe des entsprechenden Sensors außer auswertet beim Tasten.
Das hatten wir vorhin beim mit dem Greifen schon gesehen.
Da können wir zum Beispiel an unsere Fingergruppen so kugelförmige Sensoren anbringen virtuell,
mit deren Hilfe wir die Nähe eines Gegenstandes wahrnehmen,
mit denen wir wahrnehmen,
ob der Gegenstand eine bestimmte Temperatur hat,
ob die Oberfläche des Gegenstandes
eine bestimmte Rauhigkeit hat oder glatt ist und ähnliches
Und das Gleiche gilt natürlich für das Riechen. Unsere virtuellen
Darsteller sollen natürlich auch in der Lage sind, sein Geruch wahrzunehmen,
denn Gerüche sind in unserer Umwelt ja auch etwas ganz natürlich vorhandenes.
Ja, was müssen wir noch modellieren,
dass Auffassung und Anpassungsvermögen unserer virtuellen Darsteller, denn die bestimmen,
wie ein virtueller Darsteller nachdenken kann, über das,
was er wahrnimmt, vor allen Dingen auch bei Ereignissen,
die nicht unbedingt sofort vorhergesehen werden konnten
Das Auffassungsvermögen des Anpassungsvermögen sind dazu da,
um in seiner Umgebung zu überstehen, Ziele zu erreichen.
Und darum muss ein virtueller Darsteller immer die bestmögliche Aktion ausführen,
wobei bestmöglich immer wieder in Abhängigkeit von der jeweiligen Situation
zu sehen ist,
die auf Veränderungen muss er
dynamisch reagieren können
Wenn wir große Gruppen von virtuellen Darstellern haben,
Mengen von Menschenmengen, virtuell animieren wollen,
dann brauchen wir für deren Simulation in der Regel Bottom-up
Artificial-Live-Techniken nicht wie in der KI häufig verwendet.
Top-Down, planbasierte Ansätze. Denn die Vauttom-up Artificial-Live-Techniken,
die sind viel besser in der Lage,
ungeplante und neue
Verhaltensweisen zu entwickeln
Ja, was brauchen wir noch? Erinnerungsvermögen. Erinnerungsvermögen,
um beim Auftreten ähnlicher Situationen sich ähnlich zu verhalten wie vorher. Auch hier gilt dann wieder,
unsere virtuellen Darsteller können natürlich auf das Systemwissen zurückgreifen und haben damit die gesamte Information ständig zur Verfügung,
würden dann aber nicht überzeugend wirken und nicht überzeugend agieren,
wenn unsere Darsteller wirklich über glaubwürdig sein sollten,
dann müssen sie auch Gedächtnislücken aufweisen können,
wie das natürliche Menschen auch haben.
Und da müssen wir also irgendwie versuchen von dem kompletten,
von der kompletten Information oder dem Zugriff auf die komplette Information
wegzukommen und irgendwie ein Gedächtnis zu modellieren,
das Ganze natürlich menschlich Lücken aufweist.
Ja, Emotionen hatten wir vorhin im Zusammenhang mit der Gesichtsanimation
schon betrachtet
Emotionen ist eine sehr wichtige, gefühlsmäßige Reaktion auf eine Wahrnehmung,
die wir mit in unserer virtuellen Darsteller,
auch in unserer autonomen virtuellen Darsteller mit aufnehmen müssen.
Damit er oder sie glaubwürdiger erscheint. Denn dieses emotionale Verhalten
eines virtuellen Darstellers beeinflusst in einem Computerspiel zum Beispiel,
in dem wir immersiv natürliche Mitspieler haben, sehr stark auch deren emotionalen Zustand
Das heißt, wir haben hier die wichtige Aufgabe,
ein gutes Computermodell für emotionales Verhalten zu entwickeln.
Ja, was brauchen wir noch? Reflexe? Reflexe sind
ein spontanes Verhalten als Reaktion auf interne, externe Steamolee.
Reflexe, wann treten Reflexe auf, wenn wir unseren autonomen
virtuellen Darsteller in irgendeine Situation stellen und plötzlich kommt ein Gegenstand geflogen.
Dann muss ein entsprechender Reflex auftreten,
ein überzeugender Reflex auftreten
Ja, der darf also nicht ganz cool diesen Gegenstand aus
der Luft greifen und wieder weglegen, sondern in Abhängigkeit von Art,
Form, Größe, Umfang des Gegenstandes, muss irgendetwas passieren.
Der muss also blitzschnell reagieren können, die Situation einschätzen können.
Ist das ein Gegenstand, den ich fangen kann?
Ist das ein Gegenstand, den ich mit einer Hand fangen kann?
Ist das ein Gegenstand, der so groß oder eventuell schwer ist,
dass ich mich ihm besser nicht in den Weg stelle?
Dann versuche ich ihm auszuweichen und ähnliches. Das sind also vernünftige Reflexe,
die eben auf unterschiedlichen Faktoren der Gegenstände selbst,
also Eigenschaften der Gegenstände selbst, aber auch auf Faktoren wie Geschlecht,
Alter, körperliche und psychische Verfassung unserer virtuellen Darsteller beruhen.
Ja, modellieren müssen wir auch die Motivation als Auslöser für
Aktivitäten beziehungsweise als Auslöser für Interaktionen mit der Umgebung.
Motivation bei normalen, natürlichen Menschen basiert auf natürlichen Bedürfnissen.
Das heißt, dem Bedürfnis nach Kommunikation dem Bedürfnis,
Aufgabenden Hunger zu stillen oder Durst zu stillen. Natürlich kann man sagen,
ein virtueller Darsteller muss nicht unbedingt hungrig werden,
den müssen wir nicht irgendwie permanent mit Bits und Balz füttern,
damit er satt wird und zufrieden durch seine virtuelle Welt läuft.
Der könnte theoretisch ewig leben auf Minimum Energie.
Aber er wäre dann nicht überzeugend. Das heißt also,
wir müssten so etwas wie diese ganzen natürlichen Bedürfnisse,
die Menschen auch haben, in unser Modell eines virtuellen Darstellers mit implementieren,
damit er sich auch wie ein normaler Mensch verhält.
Dazu müssen wir auch sinnvolle Handlungsabläufe modellieren, die zur Befriedigung eines solchen Bedürfnisses führen.
Das heißt also, wenn jemand ein virtueller Darsteller Hunger hat,
dann muss er irgendwie in seine virtuelle Küche gehen und sich ein virtuelles Spiegelei braten können oder etwas ähnliches.
So, und diese Handlungen, die da auszuführen auszuführen sind,
die ergeben sich zum einen aus der Motivation und aus Informationen,
die wir in der Umgebung wahrnehmen. Das heißt also,
das mit dem Spiegerei, das klappt natürlich nur,
wenn wir in der Umgebung eine Küche haben,
die entsprechend ausgestattet ist und in deren Kühlschrank wir Eier finden.
Ansonsten kann es also sein, dass unser virtueller Darsteller,
um seinen Hunger zu stellen,
entweder zu dem nächstgelegenen Apfelbaum geht und einen Apfel runterpflückt und
den isst oder zum Dönermann geht und einen Döner bestellt und dann damit seinen Hunger stillt.
Sozialverhalten ist auch etwas Wichtiges, das autonome virtuelle Darsteller genauso
haben sollten,
wie normale natürliche Menschen
Das ist geprägt durch die Beziehungen, die Menschen, Akteure zueinander haben,
äußert sich sowohl in verbaler als auch in nicht verbaler Kommunikation.
Grundlagen von Gruppenverhalten sind Macht und Einfluss.
Da haben wir also die Gegenpole-Dominanz und Unterwürfigkeit,
Attraktion oder nicht die Gegenpole, Freundlichkeit, Unfreundlichkeit,
dann die Rangstellung unserer Personen,
auch in der virtuellen Welt und dann natürlich das emotionale Ausdrucksvermögen
In dem sozialen Verhalten von natürlichen Menschen kommt es sehr stark darauf an,
ob jemand in der Regel ein freundliches Wesen hat oder eher ein mürrisches Wesen hat.
Entsprechend reagiert seine Umwelt auf ihn. Und natürlich kommt es
auf Bildung, Geschlecht, Alter und so weiter an.
Auch dadurch wird die Rolle eines Menschen innerhalb einer Gruppe beschrieben oder definiert
und etwas Ähnliches müssen wir auch für unsere virtuellen Darsteller vorsehen.
So, Menschenmengen
Die Simulation von größeren Menschenmengen in Echtzeit ist natürlich erheblich komplexer
als die Simulation von Einzelpersonen, auch in Menschenmengen,
müssen Einzelpersonen einigermaßen überzeugend wahrgenommen werden können.
Menschen in einer Menge sehen, in der Regel anders aus,
sie bewegen sich anders, sie reagieren anders,
klingen anders als Einzelpersonen.
Aber sie müssen individuelles Aussehen haben,
individuelles Verhalten haben
Jede Person auch in einer Menschenmenge verfolgt,
in der Regel ein individuelles Ziel,
wenn sie also meinetwegen mal auf die Spitaler Straße von oben runterschauen und die Menschen ansehen,
auf den ersten Blick wuseln dann nur hunderte von Menschen durcheinander und man hat den Eindruck,
dass es absolut chaotisch und ziellos, aber wenn sie dann irgendeinen rauspicken,
den mit dem roten Regen schirmen und sie gucken mal,
was der macht, dann sehen sie plötzlich,
der verfolgt doch ein Ziel.
Das ist also nicht nur ein Element, das mit vielen anderen Elementen planlos da rumwuselt,
sondern dieses Element verfolgt ein ganz bestimmtes Ziel.
Also wenn man da Gruppen hat, wenn dann vielleicht ein gemeinsames Ziel irgendwie wahrnehmen.
Ja, genau. Auch das muss man modellieren können,
dass man also in einer Menschenmenge einzelne Individuen wiederum zu einer Gruppe zusammenfasst,
die haben ein gemeinsames Ziel,
verfolgen aber dieses gemeinsame Ziel in einer großen Menschenmenge in der Regel wieder auf individuellen Wegen.
Das heißt also, wenn Sie sagen,
Sie sind am Hauptbahnhof,
wollen die Spitaler Straße runtergehen und irgendwo bei der Petri-Kirche in eine Kneipe gehen,
dann werden Sie in der Regel sich nicht bei den Händen fassen und gemeinsam dahin spazieren,
sondern sagen,
okay,
wir treffen uns dann da in der Kneipe
Und jeder von ihnen wird auf seinem Weg versuchen,
so zügig wie möglich, dieses Ziel zu erreichen.
Von außen gesehen kann man nur, wenn man weiß,
dass die zusammengehören, sehen, dass es sich hier um
eine Gruppe von Menschen mit gleichem Ziel in einer Menschenmenge handelt.
Ansonsten würde man es wieder auflösen und einzelne Individuen sehen,
die am Ende am gleichen Ziel ankommen.
Ja, wichtig ist, das Ziel sollte natürlich versucht werden
auf kürzestem Wege zu erreichen und Hindernisse müssen,
Hindernissen muss ausgewichen werden
Das Verhalten der Einzelnen hängt natürlich von der Dichte der Menschenmenge ab,
wenn nicht zu viele Menschen in der Menge sind,
kann man auch ziemlich direkt sein Ziel anpeilen und versuchen zu erreichen.
Wenn die Menschenmenge dicht wird, muss man häufiger ausweichen,
um zum Ziel zu gelangen. Dann müssen wir
natürlich bei Menschenmengen auch noch unterscheiden zwischen einem planmäßigen Verhalten.
Das heißt also, alle Menschen gehen bewusst in Richtung auf
ihr jeweils jeweils aktuelles Ziel zu
Oder chaotischem Verhalten, wenn also zum Beispiel eine Panik ausbricht,
dann ist das Ziel der Einzelnen nicht mehr unbedingt klar ersichtlich.
So, Bewegungsabläufe von Menschenmengen können wir in zwei Teilen planen.
Einmal eine Wegplanung und dann die Hindernisvermeidung. Die Wegplanung geht
dahin, welches ist der beste Weg zum Ziel?
Entscheidungskriterien dabei sind, wir versuchen zu verstopfte Bereiche zu vermeiden.
Wir versuchen den Abstand zum Ziel zu verringern,
Und auch die Zeit zu verwingern, die wir benötigen,
das Ziel zu erreichen. Wichtig ist,
dass die Anzahl der möglichen Wege zum Ziel hinreichend groß ist,
damit sich auch viele Individuen gleichzeitig bewegen können.
Auf dem Wege müssen wir eben Hindernisse vermeiden. Das heißt also,
Gegenständen anderen Akteuren seien das nun reale oder virtuelle Darsteller ausweichen.
Bei kleinen Mengen werden dafür in der Regel agentenbasierte Methoden
verwendet für eine realistische Fußgängerplanung.
Bei großen Mengen wird das
sehr aufwendig
Man kann auch Potenzialfeldansätze verwenden, um Kollisionen zu vermeiden.
Das ist also etwas, das auch in der Praxis
sehr häufig eingesetzt wird. Es zeigt sich aber, dass
solche Potenzialfeldansätze weniger realistisch sind. Also Potenzialfeld anlässt Ansätze,
kann man sich im Grunde genommen so vorstellen,
um jedes Individuum ist so ein kleines Kraftfeld aufgebaut.
Und dieses Kraftfeld tritt mit der Umgebung in Interaktion,
wenn das Kraftfeld auf das Kraftfeld eines anderen Individuums trifft,
dann versuchen die irgendwie aneinander vorbeizukommen,
damit sie nicht ineinander laufen
Bei der grafischen Darstellung verwenden wir bei großen Menschenbengen in der
Regel Level of Detail-Techniken. Das heißt also, Individuen der Menschenmenge,
die näher bei uns sind oder bei der Kamera sind,
die die Szene aufnimmt, die werden detaillierter dargestellt.
Individuen, die weiter weg sind, die können wir dann praktisch sehr abstrakt darstellen.
Hier hätten wir also so ein typisches Bild von einer
noch nicht allzu dichten Menschenmenge. Und hier können wir sehen,
die Menschen hier im Vordergrund, die wirken noch wirklich wie Individuen,
wohingegen die Menschen da im Hintergrund dann schon sehr vage dargestellt sind,
abstrakt dargestellt sind.
Wir nehmen sie trotzdem wahr und wir interpolieren und interpretieren sie,
wie vollständige Menschen. In der Praxis sieht das dann so aus,
dass die Personen im Vordergrund dann auch Detail detailliert modelliert sind,
wohingegen für die Personen im Hintergrund häufig nur noch zweidimensionale Abbildungen verwendet werden.
So, zum Abschluss möchte ich heute Ein kleines bisschen Hardware
für die Interaktion mit virtuellen Welpen vorstellen.
Was gibt es an Hardware, dass es uns ermöglicht,
innerhalb von virtuellen Welpen mit unseren Sinnen etwas wahrzunehmen und mit virtuellen Welpen zu interagieren?
Bis jetzt haben wir ja im Wesentlichen virtuelle Welten optisch wahrgenommen.
Wir haben uns Gedanken darum gemacht,
wie kann man Immersionen in virtuelle Welten möglichst realistisch machen,
haben also so etwas wie die Head Nounty Displays gesehen,
die es uns gestatten,
ein Rundumbild
In alle beliebigen Richtungen wahrzunehmen, unserer virtuellen Welt,
etwas, das einigermaßen in den Nähe einer solchen
optisch weitgehend immersiven Wahrnehmung kommt, sind die Caves.
Da kann ich also auch praktisch rundherum, je nachdem,
wie viele Wände meine Cave hat, die virtuelle Welt da wahrnehmen.
Die Frage ist natürlich, wie sieht das eigentlich mit unseren
anderen Sinnen aus? Wir haben ja noch mehr Sinne
als nur unsere Augen, mit denen wir optisch wahrnehmen.
Wir haben unsere Ohren, mit denen wir akustisch wahrnehmen
Wir haben unsere Hände und überhaupt unsere Körperoberfläche mit der wir fühlen.
Das heißt haptisch wahrnehmen, dann haben wir unseren Geruchssinn und
unseren Geschmackssinn, unseren Geruchssinn für die olfaktorische Wahrnehmung.
Und ja, dann gibt es noch spezielle Hardware für Eingaben,
die Bewegungserfassung, das hatten wir schon gesehen.
Und dann etwas, das auch im Kommen ist und
immer weiterentwickelt wird,
die sogenannten Brain-Computer-Interfaces
So, ein paar Beispiele dafür habe ich Ihnen auch mitgebracht.
Ein paar Beispiele zunächst einmal beschrieben.
Für die visuelle Wahrnehmung gibt es natürlich die üblichen Display-Techniken.
Wir haben hier und da noch Kartodenstrahl, Röhren.
Die sind für virtuelle Anwendungen durchaus noch ganz gut geeignet,
weil sie eine recht hohe Auflösung haben.
Und vor allen Dingen recht kurze Antwortzeiten. Der Nachteil bei den Kartonenstrahl,
Kartodenstrahlröhren ist natürlich, dass es gewaltige Geräte sind.
Wenn wir einen großen Bildschirm haben, steht dahinter natürlich auch ein gewaltig großer Tubus.
Und für den brauchen wir Platz. Außerdem sind das Geräte,
die nicht nur ein gutes Bild produzieren, sondern auch sehr viel Wärme.
Und von daher sind sie also nicht unbedingt überall gut einsetzbar. Die anderen Display-Techniken,
da haben wir zum Beispiel die Flüssigkristallbildfirme, LCDs,
sind als Passiv-Matrix-Systeme wegen ihrer langsamen Antwortzeiten nicht so gut geeignet,
wie vom Prinzip her Kathodenstrahlröhren
Aktivmarkt, Matrix, Systeme,
die TFT-Bildfirma sind schon ganz gut geeignet für virtuelle Realität,
weil sie eine hohe Auflösung haben,
kurze Antwortzeiten und im Prinzip ziemlich flimmern, frei sind.
Allerdings haben sie den Nachteil, den wir ja alle kennen,
dass ihr Betrachtungswinkel ziemlich eingeschränkt ist. Wir wissen alle,
wenn wir auf unserem Laptop Bilder ansehen, dann gibt es eine Idealposition.
Von da aus sieht man alle Farben und Konturen sehr gut.
Und wenn ich von dieser Idealposition ein wenig ich abweiche,
also so ein bisschen nach rechts oder nach links gehe oder
von weiter oben oder weiter unten das Bild betrachte,
dann lässt die Qualität schon nach.
Ich möchte aber gerne gleichbleibende Qualität für jeden beliebigen Betrachtungswinkel haben
und da sind die TFT-Bildschirme noch nicht so gut geeignet.
Anders sieht es mit den Plasma-Bildfirmen aus,
die sind für VR-Anwendungen sehr gut geeignet,
weil sie auf der einen Seite recht hohe Auflösung haben.
Sie haben kurze Antwortzeiten,
sie haben große Helligkeit im Gegensatz zu den TFT-Bildschirmen und man
kann die Plasma-Bildfirma praktisch aus beliebiger Richtung betrachten und hat von allen Seiten eine gute,
gleichbleibende, gute Darstellungsqualität.
Und man kann natürlich mit Ihnen auch sehr große Bildfirmenflächen füllen bei Plasma-Bildfirmen,
ist das in der Regel, also mit Diagonalen,
die über 100 Zoll liegen.
Bildqualität ist im Grunde genommen der von guten Kathodenstrahlröhren vergleichbar
So, und dann haben wir last but not least das,
was wir hier in unseren Vortragsräumen als natürliche Ausstattung immer schon haben.
Das sind die sogenannten Beamer, die Projektoren,
die eben auch in Caves verwendet werden. So,
in VR-Systemen werden eingesetzt Stereo Displays für die visuelle Wahrnehmung,
also die Headmounty Displays, die meistens mit LCD-Technik ausgestattet sind,
für die Aquariumsanwendungen.
Da haben wir die Möglichkeit, natürlich die guten alten Kathodenstrahlröhren
zu verwenden, aber LCD und Plasmabildfirme genauso gut.
Dann haben wir die Handhells, die meist noch mit als
CD-Technik ausgestattet sind. Für große Projektionsfirme verwenden wir Plasmabildfirme,
Shutterbrillen werden in Verbindung mit Bildschirmen oder Projektionsfirmen
eingesetzt und unsere Cave-Systeme sind in der Regel mit Biemern.
Oder mit großen Projektionsflächen oder mit großen Plasmafirmen
Das Hit-Mounty-Display hatten wir schon bei anderer Gelegenheit gesehen.
Shutter-Brillen kennen die meisten von ihnen wahrscheinlich auch.
Wer weiß nicht, wie eine Shutter-Brille funktioniert?
So vom Prinzip her, was sie macht?
Es wäre nicht unbedingt ehrenrührig, aber sie kennen die alle.
Okay. Dann gehen wir jetzt zur akustischen Wahrnehmung.
Geräusche haben in unserer realen Welt eine große Bedeutung.
Und damit auch in unserer virtuellen Welt
Denn die akustische Wahrnehmung ist für uns in unserer Umwelt
ein ganz wesentlicher Orientierungskanal über unsere Ohren,
nehmen wir zum Beispiel Geräusche wahr, die auf eine Gefahr hindeuten.
Wir nehmen Geräusche wahr, Klänge wahr, an denen wir uns erfreuen.
Das heißt also, unsere akustische Wahrnehmung ergänzt in der Regel
unsere visuelle Wahrnehmung, das Wissenssehbehinderte zu schätzen.
Dann ist natürlich die gesprochene Sprache, ein wesentliches Kommunikationsmittel.
Wir wollen nicht alles immer nur lesen miteinander über die Schrift kommunizieren.
Das reicht, wenn wir das irgendwie in der Telekommunikation machen,
aber wenn wir akustisch über das gesprochene Wort kommunizieren, wissen wir,
dass das in der Regel viel besser ist und viel einfacher ist.
Und dann ist natürlich so etwas wie Musik ein bedeutendes Unterhaltungsmedium
und darum sollte so etwas auch in virtuelle Welten mit eingebaut werden.
Welche Möglichkeit haben wir jetzt zur Aufnahme und Wiedergabe von Raumklängen?
Da haben wir zum einen das, was man Monaural nennt,
also Einohrig. Da wird der Klang mit einem Mikrofon aufgenommen.
Die Konsequenz oder von einer Geräuschwelle, Klangquelle produziert,
die Konsequenz ist natürlich, dass die Klang bzw. Geräuschquelle nicht lokalisiert werden kann.
Die genaue Position finden wir dann nicht raus,
wenn sie nur mit einem Ohr praktisch gehört werden kann.
Lokalisieren können wir, wenn unsere Klangquelle, Bienenaural aufgenommen wird.
Das heißt, wir nehmen also die Geräusche mit zwei Mikrofonen auf.
Zwei Mikrofonen, die, das war vor 50 Jahren fast
schon in der Technik verbreitet. Da wurde ein Kunstkopf,
ein Modellkopf geformt, der einem menschlichen Kopf entsprach mit allem,
was daran ist von der Nase bis zu den Ohren,
vor allen Dingen die Ohren.
Und in den Ohren waren dann Mikrofone Und diese Mikrofone,
zwei Mikrofone haben dann praktisch das Klangbild der Umwelt aufgezeichnet.
Und wenn wir das, was diese Mikrofone aufgezeichnet haben,
dann entsprechend individuell auf die beiden Ohren eines natürlichen Menschen übertragen haben,
über Kopfhörer, dann konnte dieser Mensch genauso die Umwelt klanglich wahrnehmen,
wie der Kunstkopf, mit dem das aufgenommen worden ist.
Und das könnte man also im Prinzip heute noch genauso machen,
auch in der für die virtuellen Welten,
mit solchen,
mit so einer Kunstkopfstereofonie
Sie wirkt also fast wie ein natürlicher Raumklang.
Dann können wir natürlich das, was am meisten verbreitet ist
, Stereoaufnahmen machen. Dazu nimmt man zwei Mikrofone,
die in genügend großem Abstand voneinander in einem Raum aufgestellt sind.
Und dadurch kriegt man also einen sehr guten räumlichen Klangeindruck hin.
Man kann allerdings, wie war der Kunststoff, Kunstkopf,
Stereophonie, ein furchtbares Wort,
versuchen Sie das mal ganz schnell zu sagen.
Und sagen Sie nicht Kunststoff Stereophonie
Man kann den Raumklang nicht so natürlich hinbekommen. Das heißt also,
das, was wir mit zwei Stereo-Mikrofonen aufnehmen und dann auf unsere Kopfhörer abspielen,
das nehmen wir nicht wirklich in einem Raum um uns herum wahr,
sondern der Raum bildet sich plötzlich in unseren Kopf ab.
Das heißt also, das Raumklangereignis findet in unserem eigenen Kopf statt.
So, Raumklang dann herzustellen für innerhalb von virtuellen Welten,
da können natürlich unsere Geräuschquellen synthetisch oder natürlich sein,
Unsere Geräuschquellen senden Schallwellen, in der Regel in alle Richtungen aus.
Die Schallwellen werden an Objektoberflächen reflektiert. Das müssen wir in
unserer virtuellen Welt dann auch berücksichtigen. Wenn wir Gegenstände in
unsere virtuelle Welt hineinsetzen und wir haben irgendwo eine Schaltquelle,
deren Schall auf eine Gegenstandsoberfläche trifft, dann wird dieser Schall reflektiert.
Der geht nicht einfach durch und verschwindet irgendwo. Auch das
müssen wir berücksichtigen. Schall wird also reflektiert und gebrochen. Das heißt,
wir können den Schall im Prinzip ganz genauso betrachten,
wie das Licht, das wir bei Raytracing simulieren den Lichtgang,
können wir auch den Schallgang simulieren.
Für VR-Systeme verwenden wir in der Regel Kopf-Ohr-Hörer oder Kopfhörer,
weil die den Raumklang am besten wiedergeben und relativ leicht zu transportieren sind, gerade Ohrhörer.
Sie stören uns in der Regel kaum. Man kann auch komplexe Lautsprechersysteme verwenden,
dann haben wir im Grunde genommen in Bezug auf den Fall etwas Ähnliches erreicht,
wie wir in Bezug auf die Optik mit Caves machen.
Also solche komplexen Lautsprechersysteme habe ich hier einfach mal in diesem Beispiel dargestellt,
wir haben hier einen Raum, den wir beschallen wollen.
Da haben wir also jede Menge Lautsprecher,
die die Klänge richtungsabhängig in diesen Raum hineinbringen.
Und wir können diese Lautsprecher dann entsprechend steuern,
sodass der Klang in sich in dem Raum bewegt,
so wie es sich auch ein optisches Bild in Abhängigkeit von der Szenensituation bewegen kann.
Hier hätten wir das Ganze mal in einem Foto.
Hier hätten wir also so eine typische Cave.
Wir haben hier unten unsere Projektionswende, uns umgeben,
sodass wir also optisch einen Raum wahrnehmen, indem wir uns frei bewegen können.
Und dann haben wir hier oben überall die unterschiedlichen Lautsprecher angebracht.
Und dann könnten wir da tatsächlich in dieser virtuellen Welt simulieren,
dass irgendwo von da hinten ein Monster angelaufen kommt.
Und das wird dann vor unserem Auge immer größer,
weil es immer näher kommt. Und entsprechend hören wir dann
auch über die Steuerung die akustische Steuerung über die Lautsprecher,
das Schnauben und Stampfen und Brüllen des Monsters,
wie es so nach und nach auf uns zukommt und immer lauter wird.
Das kann man also damit ganz gut machen.
Ist natürlich mit erheblich größerem Aufwand verbunden,
als wenn man ein Hit-Mounty-Display und Kopfhörer hätte
So, für die haptische Wahrnehmung.
Unser haptisches System dient der Orientierung. Das wissen Sie,
wenn Sie mal im Dunklen durch einen bekannten Raum
gegangen sind und aus irgendeinem Grunde das Licht nicht einschalten,
wollten Sie orientieren sich trotzdem in dem Raum.
Sie kennen den Raum ja. Und Sie wissen genau,
wenn ich an der Stelle ungefähr den Lichtschalter finde,
kannte ich ihn einschalten oder wenn ich noch zwei Schritte gehe,
habe ich da die Tür, durch die ich gehen möchte oder ähnliches.
Wir nutzen dafür die taktile Information, die wir durch die Sensoren
unserer Haut aufnehmen Wir nutzen ebenfalls kinesthetische Informationen, das heißt Bewegungswahrnehmung.
Das heißt also, die Wahrnehmung unserer Gelenkwinkel der Muskelspannung,
wir merken also, ob ein Gegenstand schwer ist oder nicht,
ohne ihn vorher auf die Waage gelegt zu haben.
Einfach daran, dass wir unsere Muskeln unterschiedlich stark anspannen.
In Abhängigkeit davon, ob wir einen leichten Gegenstand oder einen
genauso geformten, genauso großen, schweren Gegenstand aufheben.
Ja, die Gelenkwinkel zeigen uns, wo wir gerade sind,
ob wir also irgendwo in der Hocke sind,
ob wir im Laufen begriffen sind oder ähnliches
Die haptischen Interfaces, die wir in VR-Systemen verwenden,
sind sehr anwendungsorientiert. Wir haben da Force-Feedback für,
dass uns ein Gefühl für Härte, Gewicht und so weiter gibt.
Und ein taktiles Feedback für die Oberflächenbeschaffenheit,
mit dem wir also fühlen, ob eine Oberfläche rau oder glatt ist,
ob der Gegenstand heiß oder kalt ist oder ähnliches.
Und dann haben wir weiterhin sogenannte Fibro-Taktik-Takile-Displays,
die bestehen normalerweise aus einer einzelnen vibrierenden Komponente,
also bei ihren Handys, wenn sie die nicht laut stellen,
Sunden, die so still in ihrer Jackentasche herum und sie wissen,
aha, da ist jetzt irgendwas los.
Das wäre also so ein typisches Fibrotaktiles Display,
taktile Displays, die stimulieren die Haut,
da werden sowohl elektrotaktile als auch thermische oder mechanische Displays angewandt,
die entsprechend unsere Haut stimulieren.
Das heißt also, wenn wir Temperaturunterschiede wahrnehmen wollen,
dann nehmen wir thermische Displays, wenn es darum geht,
zum Beispiel die Oberflächenbeschaffenheit zu wahrzunehmen,
dann können mechanische Displays verwendet werden und ähnliches.
Und dann haben wir kinesthetische Displays, die Rechner gesteuert,
die Oberfläche von Gegenständen verändern. Man kann sich das so vorstellen,
wie bei der Breischrift, der Blindenschrift. Sie kennen sicherlich die Blindenschrift,
auch vielen Verpackungen sind solche kleinen Beulen nach außen eingestanzt,
über die ein blinder Mensch mit den Fingerspitzen fahren kann und
dann anhand der Konstellation dieser Beulen erkennen kann,
was da steht.
Das heißt also,
die Schrift lesen kann
Und auf die Weise könnte man theoretisch die Form von Gegenständen dadurch beschreiben,
dass man kleine Stempel dicht an dicht nebeneinander stellt und die Stempel
unterschiedlich weit aus einer Ebenenoberfläche herausfährt und damit also eine geschwungene Oberfläche darstellt.
Das wäre also so ein typisches, ein typisches kinesthesthetisches Display. Ja,
dann haben wir Single Force Feedbacks,
wie bei den Joysticks, mit Kraftrückkopplung oder Exoskelette,
bei dem wir die einzelnen Gliedmaßen eines Menschen von außen bewegen
und man also anhand der Einstellung der Gliedmaße sehen kann,
wie man sich bewegt.
Dieses hier wäre ein typisches haptisches Interface vor das Feedback-Interface.
Man kann das bewegen, aber in Abhängigkeit von der Anwendung
ist diese Bewegung praktisch gebremst. Und ich hatte,
glaube ich, mal das Beispiel erzählt,
dass ich bei im Institut für Mathematik und Datenverarbeitung in der Medizin
hier in Eppendorf mal so ein Gerät verwendet habe,
dass da für chirurgische Eingriffe für die Simulation
chirurgische Eingriffe eingesetzt wurde
Und dann habe ich also mit so einem Gerät mal eine
virtuelle Schädeldecke aufgebohrt, ganz vorsichtig. Und es war tatsächlich so,
ich habe also dieses Gerät wie ein Bohrer in der Hand gehabt,
habe ihn ganz vorsichtig über den Knochen bewegt.
Und es passierte relativ wenig und da musste ich also schon
richtig Druck ausüben, damit das Ding langsam anfängt zu fräsen.
Und dann habe ich nicht aufgepasst. Ich bin eben kein
guter Chirurg. Dann war ich also irgendwann an einer Stelle
durch den Schädelknochen hindurchgekommen und in dem Moment ruckte meine Hand vorwärts.
Das heißt also, die Kraft, Rückkopplung wahrgegeben, der Fädel,
Knochen bildete keinen Widerstand mehr und das Gerät ließ mich dann einfach nach vorne sausen.
Es ist also ein typisches Fast-Feed-Feedback-Gerät, hier ist eine andere
Variante eines solchen Gerätes. Hier haben wir ein komplexes,
haptisches Feedback an kinesthetisches. Da sitzt man wie auf,
nein, ich will nicht sagen wie auf einem elektrischen Stuhl.
Also man sitzt auf so einem Stuhl,
die Gliedmaßen werden in solche künstliche Arme, Gelenkarme eines solchen Ja,
Roboter-ähnlichen Gerät ist eingespannt und dieses Gerät bewegt mich jetzt.
Das heißt, dieses Gerät hebt meinen Arm oder hebt mein Bein oder bewegt mich.
Und ich kann anhand meiner eigenen Körperbewegung jetzt mich praktisch auf diese Welt einstellen.
So, Geruch, Geschmack, bin gleich fertig. Geruch,
Geschmack ist noch ganz interessant, dient auch der Orientierung.
Geruch und Geschmack sind wichtig, auch in virtuellen Welpen,
denn in den realen, natürlichen Welt hinterlassen,
Geruch und Geschmack, nachhaltige, oft auch emotionale Erwänderungen.
Und darum ist es wichtig, Geruch und Geschmackseindrücke auch in virtuelle Systeme zu einzubeziehen.
Da sind wir aber noch in den Anfängen der Entwicklung.
Das sieht noch nicht so besonders gut aus.
Es gibt Geruchsinterfaces, sogenannte olfaktorische Interfaces. Es gibt Geschmack-Interfaces
, die speisen bzw. Getränkesimulationen durchführen. Geruchsinterface, ein typisches
wäre ein solcher Sniffman. Das Ding produziert also Gerüche,
man trägt es um den Hals, sodass diese Gerüche aufsteigen und in die Nase steigen.
Nachteil bei diesen Geräten ist die notwendige, zwangsläufige Trägheit,
die da drin steckt. Das heißt also,
wenn sie in einer Umgebung herumgehen und sie gehen,
also sagen wir, an einem Blumenstand vorbei,
dann wechen sie den Duft der Blumen noch,
wenn sie ein ganzes Ende weiter entfernt sind,
weil dieses Gerät in Duft der Blumen noch nicht so schnell losgeworden ist.
Und damit verhält sich ein Blumenstand mit Duften der Blumen im Prinzip,
genau wie eine Döner wurde, wenn sie da vorbeigehen,
dann riechen sie in dem Moment,
in dem sie da praktisch in unmittelbaren Einflussbereich sind,
riechen sie das.
Aber wenn sie dann einige hundert Meter weggegangen sind,
riechen sie eine Dönerboote immer noch,
aber ein Blumenstand garantiert nicht mehr
Und solche feinen Unterschiede schaffen diese Geräte einfach noch nicht so.
Ähnlich ist es mit den Geschmacksinterfaces. Da wird also mit diesem Ding
hier ein bestimmter Geschmack simuliert und man soll damit schon,
ich habe es noch nicht ausprobiert,
man soll damit schon ganz gut, sagen wir,
den Geschmack von Pizza, vom Geschmack eines Stakes unterscheiden können oder so.
Aber ich muss ganz ehrlich sagen, selbst wenn der Geschmack,
der natürliche Geschmack nahezu hundertprozentig getroffen wird,
mich würde es nicht überzeugen,
wenn ich so ein Ding in den Mund stecke
Was also so aussieht,
sieht wie so ein aufgewickelter Verband null oder sowas,
wenn ich das zwischen den Zellen habe,
dann kann das noch so sehr nach Pizza oder nach dem Steak schmecken.
Das überzeugt mich noch nicht so richtig, ja.
Sprüht das ein, was in den Mund oder sind das Elektroinpolen
, sind die die Schwachsnerven? Das sind elektrochemische Stimulantien,
die da drin praktisch erzeugt werden,
freigesetzt werden und die man dann über die eigenen Geschmacksnerven
aufnimmt.
Ja, dann haben wir Motion-Tracker und sowas. Schnittstelle zwischen Gehirngesetz
, so etwas. Dass man also im Grunde genommen die Technik,
die sich aus der Verwendung von Elektroentzifferloganen, EECs ergibt,
dann auch weiter nutzbar macht und versucht,
anhand der dominierenden Hirnströme oder so bestimmte Informationen abzulesen.
Und dass man versucht,
diese Hirnströme als Benutzer an auch wirklich kontrolliert fließen zu lassen
und damit dann einen Computer steuern kann,
rudimentär wird das eingesetzt,
aber auch da steckt noch eine ganze Menge drin
An Entwicklungsarbeit drin. So,
und damit möchte ich nicht nur für heute,
sondern für dieses Semester diese Vorlesung Realtime Indractive Media und
den Teil der Computergrafik,
den ich Ihnen vortragen durfte,