Ja, guten Tag zusammen. Nachdem wir die Technik jetzt
wieder im Griff haben, können wir uns unserer Materie wieder zuwenden.
Wir waren in der vergangenen Woche damit angefangen, uns zu überlegen,
wie können wir die virtuellen Darsteller in einer virtuellen Welt,
also virtuelle Personen, die sich in einer virtuellen Welt aufhalten sollen,
bewegen, bewegen, sodass ihre Bewegungsabläufe natürlich wirken,
sodass also die virtuelle Umgebung möglichst überzeugend wirkt auf Menschen,
die in diese Umgebung hineinschauen oder per Immersion direkt in eine solche Umgebung eintauchen.
Und wir hatten gesehen, Ein guter Weg, virtuelle Darsteller,
sich bewegen zu lassen, ist ganz einfach der,
dass man Bewegungsabläufe natürlicher Menschen unmittelbar kopiert und überträgt auf die virtuellen Darsteller.
Und die Verfahren, die dazu angewendet werden,
die finden wir unter dem Begriff Motion Capital.
Und wir hatten da zunächst einmal zwei unterschiedliche Möglichkeiten des Motion
Captures für Die Erfassung von Bewegungen natürlicher Menschen kennengelernt.
Zunächst einmal optische Erfassungssysteme. Und dann,
das wollen wir uns heute noch etwas näher ansehen,
die magnetischen Systeme zur Positionsorientierungs- bzw. Bewegungserfassung.
Notion Capture ist also die Technik,
die heute noch am häufigsten angewendet wird,
um virtuellen Darstellern eine möglichst natürlich wirkenden Bewegungsablauf beizubringen
Ja, wir messen also beim Motion-Capture die Bewegungen realer Lebewesen in den meisten Fällen Menschen,
aber natürlich gilt das gleich auch für andere Lebewesen.
Ich habe schon ganz interessante Motion-Capture-Aufnahmen von Hunden gesehen,
die dann auf virtuelle Hunde übertragen wurden und die virtuellen Hunde wirken dann
so in ihren Bewegungsabläufen zumindest auf mich als Nicht-Hundebesitzer sehr natürlich.
So, ja, bei den optischen Systemen der Bewegungserfassung hatten
wir unterschieden zwischen passiven optischen Systemen und aktiven optischen Systemen.
Nochmal ganz kurz, passiver optische Systeme sind solche Systeme,
bei denen wir den virtuellen, den real existierenden Menschen an
charakteristischen Punkten an seinem Körper Reflektoren anbringen, also einfach weiße Markierungen.
In der Regel ist es an den Gelenken,
sodass man also die Gelenkpositionen messen kann und dann bringt man genügend viele Kameras im Raum an,
mit deren Hilfe wir diese Markierungen erfassen können und dann können wir also aus den unterschiedlichen Kamerapositionen jeweils eine Markierung betrachten und für diese Markierung ihre Position im dreidimensionalen Raum.
Ziemlich genau bestimmen. Und wir hatten gesehen,
im Prinzip würden da ja zwei Kameras ausreichen,
mit deren Hilfe wir da schon exakt triangulieren könnten,
aber aufgrund technischer Probleme, zum Beispiel der schlichten Tatsache,
dass eine Markierung durchaus mal durch den Körper des Menschen verdeckt sein kann,
der sie trägt,
in Bezug auf den Blickwinkel einer der Kameras,
dann filmt diese Kamera für die Positionsermittlung dieser Markierung weg und man würde dann nur noch
mit einer Kamera diese Markierung sehen und damit können wir die Markierung dann nicht mehr genau positionieren und darum verwendet man also in der Regel mehrere in praktischen Systemen,
vier bis sechs, solche unterschiedlich positionierte Kameras,
sodass man auch in den meisten Fällen solche Probleme ausgleichen kann,
dass durch die Betrachtungsrichtung von einer Kamera aus, mehrere solcher Markierungen, sehr dicht beieinander liegen, sodass man sie nicht mehr auseinanderhalten kann und damit die Positionierung nicht mehr eindeutig wird.
Mit mehreren Kameras schafft man das dann also in der Regel ganz gut. Das Problem,
das wir dann immer noch haben, ist dadurch gegeben,
dass sämtliche Markierungen für die Kameras immer vorhanden sind und falls sie also für eine Kamera sichtbar sind,
dann sieht die Kamera auch die Markierungen alle und dann muss entschieden werden,
welche der vielen Markierungen, die von einer Kamera ausgesehen werden,
jetzt korrespondierend sind zu den vielen Markierungen, die eine zweite Kamera, eine dritte Kamera sieht.
Und da können dann also auch noch kleine Probleme auftreten,
dass man also keine eindeutige Zuordnung finden kann oder nicht immer eindeutige Zuordnungen finden kann.
Und diese Probleme können wir mit den aktiven optischen Systemen
in der Regel aus der Welt schaffen.
Da verwendet man nicht reflektierende Markierungen an den Gelenken unseres Real existierenden Menschen,
der sich da bewegt, sondern wir verwenden da LEDs,
die wir einzeln ansteuern können.
Das heißt, wir können also in einem Augenblick eine einzige
LED ansteuern und was jetzt alle Kameras in diesem Augenblick wahrnehmen,
ist genau diese eine LED.
Das heißt, hier fällt also die Zuordnung, das Zuordnungsproblem
weg, dass wir bei den passiven optischen Systemen haben.
Das Verfahren ist dann natürlich etwas aufwendiger als das mit den,
das passive optische System, aber Und dafür auch sicherer und genauer.
So, die andere Möglichkeit ist, die Bewegungserfassung mit magnetischen Sensoren.
Und da habe ich so ein schönes Bildchen gefunden.
Hier haben wir einen Menschen, von dem die Bewegungsabläufe erfasst werden sollen.
Und da haben wir also eine ganze Reihe von magnetischen Sensoren
an allen Gliedmaßen angebracht oder zumindest an den relevanten Gliedmaßen angebracht
Die dann das gestatten, die Position und die Orientierung dieses Gliedes
genau zu messen. Und wir könnten dann die Daten,
die da gemessen worden sind, also jetzt zum Beispiel am Unterarm,
am Unterschenkel und so weiter,
wir können diese Daten dann direkt auf unseren virtuellen Darsteller übertragen.
Und wir haben damit die Möglichkeit,
wirklich in Echtzeit die Bewegung des real existierenden Menschen
auf den virtuellen Darsteller abzubilden und den dann mitbewegen zu lassen
Die magnetischen Systeme zur Positionsorientierungs- beziehungsweise bewegungserfassen Fassung,
die ermitteln jetzt die Position und die Orientierung über die relative Stromstärke der magnetischen Felder von drei zueinander orthogonalen Spulen,
die wir jeweils im Sender und im Empfänger haben.
Hier umgehen wir dann das Problem der optischen Verdeckungen,
dass wir bei den optischen Systemen hatten,
haben aber handeln uns dabei aber ein neues Problem ein,
nämlich das Problem, dass Stromquellen,
die wir irgendwo in dem Messumfeld haben, Lampen, Computer,
auch Pflichte, Metallteile, die da irgendwo drin sind in dem Gesamtraum,
dass die unseren Magnetfelder stören und dann zu Fehlmessungen führen.
Weiterhin können wir uns vorstellen, dass der Kabelsalat,
den ein Mensch mit sich herumschleppt, wenn er sich da bewegt,
auch ein bisschen hinderlich ist. Das heißt also,
eine richtig freie Bewegung ist damit nicht so recht möglich,
dass es bei den optischen Systemen natürlich erheblich der Mensch bemerkt ja gar nicht,
dass er da irgendwelche Reflektoren oder LEDs an seinen Gelenken hat
und kann sich also wirklich ganz frei bewegen.
Das ist hier ein Beispiel aus der etwas früheren Zeit der magnetischen Bewegungsmessung.
Heute werden da schon drahtlose Systeme oder zum großen Teil drahtlose Systeme eingesetzt,
sodass also das Problem der Verkabelung nicht mehr ganz so gegeben ist,
wie wir das früher einmal hatten
Aber ein weiteres Problem gegenüber optischen Systemen ist das,
dass unser Erfassungsraum deutlich kleiner wird,
weil wir ja nicht mit wahnsinnig starken Magnetfeldern arbeiten können,
sondern dass auch irgendwie auf ein erträgliches Maß bringen müssen.
Und dadurch wird natürlich der Erfassungsraum,
der Raum, in dem sich unsere Person bewegen kann,
deutlich kleiner ausfallen als bei unseren optischen Erfassungssystemen,
bei denen wir ja auf relativ große Entfernungen noch
optisch messen können
Ja, wir hatten gesehen,
die Bewegungserfassung des Motion Capture ist im Grunde genommen immer noch die Technik,
die allgemein eingesetzt wird, in den meisten Fällen eingesetzt wird,
um virtuellen Darstellern Bewegung beizubringen.
Vorteile sind die Motion Capture Systeme arbeiten in Echtzeit.
Wir können also die Bewegungen des realen Menschen oder des
realen Lebewesens direkt auf das aktuelle Lebewesen übertragen.
Und damit ist es gerade für Filmproduktionen besonders gut geeignet.
Der Arbeitsumfang hängt nicht von der Länge und der Komplexität des Einsatzes ab.
Das heißt also, wir können praktisch permanent in beliebig lange
Bewegungen erfassen und die übertragen und müssen also nicht große umfangreiche Programme ablaufen lassen,
die solche Bewegungen dann per Simulation generieren.
Wir können komplexe und sehr realistische physikalische Interaktionen einfach und vor
allen Dingen auch physikalisch korrekt wiedergeben mit diesen Systemen.
Und wenn wir an Filmproduktionen denken, können wir auch sagen,
ein einziger Mensch kann im Grunde genommen beliebig viele Darsteller in der virtuellen Welt steuern. Das heißt also,
wir brauchen dann nicht für jeden virtuellen Darsteller in einem Film mit vielen,
vielen Personen, virtuellen Personen dann entsprechend genauso viele reale Menschen,
die die jetzt zum Laufen bringen und die die bewegen,
sondern wir können sagen,
können mit einer endlich kleinen Anzahl realer Menschen oder reale Lebewesen eine recht große Anzahl von virtuellen Darstellern bewegen.
So, das sind die Vorteile der Bewegungserfassung.
Es gibt natürlich auch ein paar Nachteile.
Wir brauchen natürlich für die Erfassung und für die Bearbeitung der Daten
spezielle Hardware und Software und diese Systeme
sind teuer
Dann benötigen wir für die Bewegungserfassung besonders ausgestaltete Räume.
Wir hatten gesehen, wenn wir optische Bewegungserfassung durchführen,
dann brauchen wir einen Raum, in dem natürlich nichts herumsteht.
Der muss leer sein. Der muss abgedunkelt sein können.
Der darf keine reflektierenden Objekte enthalten. Das heißt,
die Wände müssen also auch nach Möglichkeit irgendwie mattschwarz sein, damit da nichts reflektiert.
Die Darsteller, die da drin, die Realen, Darsteller,
die darin sich bewegen, sollten auch entsprechende Kleidung tragen,
also so mattes Schwarzes, da auch besonders gut geeignet.
Und dann brauchen wir natürlich die entsprechenden Kameras,
die Reflektoren bzw. LEDs, die wir an den Darstellern anbringen,
damit wir das Ganze erfassen können.
Und bei den magnetischen Erfassungssystemen ist es natürlich auch entsprechend aufwendig.
Das heißt also, wir hatten ja gesehen, wo Probleme bei der magnetischen Erfassung liegen.
Wir benötigen also Elektromagnetisch absolut saubere Räume, in denen wir arbeiten.
Da dürfen also keine störenden Magnetfelder so der Metallgegenstände,
die da quasi Schatten werfen im elektromagnetischen Feld, existieren.
Die Räume müssen auch, was das betrifft,
elektromagnetisch sauber sein, damit wir da vernünftig arbeiten können.
Das heißt also, das ist ein zweites Problem,
das wir lösen müssen. Dann können wir feststellen,
wie in sehr vielen anderen Gebieten, der modernen Elektronik,
dass die Entwicklung bei diesem Erfassungssystemen rasant voranschreitet,
Es werden immer neue Anforderungen gestellt und diese Anforderungen werden durch Neuentwicklungen dann auch befriedigt.
Und das bedeutet, wenn wir heute ein solches System anschaffen,
ist es in kürzester Zeit schon wieder veraltet.
Und das heißt, es wäre dann erforderlich,
wenn wir auf der Höhe der Zeit bleiben müssen,
um konkurrenzfähig zu sein, dass wir wieder spezielle Hard- und Software,
die teuer ist, anschaffen müssen.
Ein weiterer Nachteil, ein wichtiger Nachteil, bei den Systemen der Bewegungserfassung ist,
dass wir die Ergebnisse üblicherweise dann in irgendeiner Form nachbearbeiten müssen.
Denn so wie sie als Rohdaten aus dem Erfassungsraum vorliegen,
beschreiben sie ja nur diesen einen aktuellen Bewegungsvorgang,
den unser tatsächliches, unser echtes Lebewesen im Erfassungsraum da vorgegeben hat.
Das heißt also, wenn da jemand permanent auf und ab geht,
aber in einem kleinen Bereich,
dann kann unser virtueller Darsteller hinterher auch immer permanent auf und
ab gehen
Schön, aber für etwas komplexere Dinge, wie zum Beispiel Computerspiele,
nicht besonders gut geeignet, denn wir würden uns furchtbar langweilen,
wenn wir in eine virtuelle Welt hineinschauten und da wäre also eine virtuelle Person,
die wäre bevölkert mit einer virtuellen Person,
die immer auf und ab geht.
Ich möchte, würden wir sagen, ja, schön,
guckt man sich einmal an. Vom zweiten Mal sagt,
fängt man leise an zu gehen und ein drittes Mal wird man
es wahrscheinlich gar nicht mehr ansehen. Das heißt also,
die mühsam erfassten Bewegungen, die wir in unserer Bewegungserfassungsumgebung aufgenommen haben,
sind im Grunde genommen nur für eine ganz spezielle Anwendung tatsächlich zu gebrauchen,
wenn wir nicht ein bisschen mehr damit machen.
Und wir werden nachher noch ein paar Techniken kennenlernen,
die es uns gestattet. Die ist uns gestatten,
dann praktisch solche Bewegungsabläufe zu segmentieren in kleine Bewegungsteile zu zerlegen,
die wir dann wie Bausteine verwenden können und beliebig rekombinieren können,
sodass wir auch beliebige andere Bewegungsabläufe damit formen können,
generieren können, die über das, was in dem Raum,
in dem Bewegungsraum direkt erfasst worden ist,
dann doch weit hinausgehen
Ja, eine andere, ein anderes Problem,
ein anderer Nachteil bei der Bewegungserfassung ist,
dass wir keine Bewegungen durchführen können in unserer virtuellen Welt,
die nicht den physikalischen Gesetzen gehorchen.
Da kann man jetzt natürlich sagen, ja,
wir wollen ja in unserer virtuellen Welt sehr realitätsnah bleiben, damit sie überzeugend ist.
Aber gelegentlich möchte man so den einen oder anderen kleinen Trick einführen,
den man in einer virtuellen Welt eben Da bieten kann der in der realen Welt nicht machbar ist,
der aber irgendwo in einem Film oder so ganz nett ist.
Nicht zum Beispiel, wir beobachten,
wie da ein Eisenbahn vorbeifährt und wir haben einen virtuellen Darsteller,
der guckt und dreht den Kopf und dreht den Kopf,
bis die Bahn da hinten wieder verschwindet und plötzlich hört er
da noch was und dreht den Kopf noch ein Stück weiter.
Dann dreht sich also mit dem Kopf einmal um und schaut
dann praktisch direkt geradeaus nach hinten
Ich gehe fast jede Wette ein, dass man im
ersten Augenblick das gar nicht für so absolut unnormal hält.
Und erst beim zweiten hinschauen, denkt, nee, da hat was nicht gestimmt.
Aber es passt unheimlich gut in eine solche Szene.
Ja, man kann also eine solche Szene wunderbar so komponieren.
Mit dieser Technik ist es dann leider nicht machbar. Ja,
da ist bei der Bewegungserfassung sind unsere Gelenke tatsächlich so,
wie sie physikalisch vorgegeben sind, auch beschränkt in ihrer Bewegungsfreiheit.
Der letzte Punkt, ich glaube,
das hatte ich in der vorigen Woche auch schon mal kurz angedeutet,
ist der, dass unsere virtuellen Darsteller in ihren Proportionen,
im Prinzip weitestgehend den Personen entsprechen müssen, deren Bewegung wir erfassen. Ja,
das heißt also, wenn wir jetzt eine Person haben,
eine normal gebaute, reale Person,
von der wir Bewegungen abgreifen und wir hätten dann einen virtuellen Darsteller,
der ganz furchtbar lange Beine hat, dann kann das dazu führen,
dass unsere reale Person im Bewegungserfassungsumfeld zehn Schritte in eine bestimmte Richtung geht und da ein Ziel erreicht,
das sie erreichen will, um da einen Gegenstand zu erfassen,
mit dem sie etwas machen möchte.
Und wenn wir diese Bewegungen jetzt direkt eins zu eins auf unseren virtuellen Darsteller übertragen,
dann macht der virtuelle Darsteller zehn Schritte und sich
damit weit über das Ziel hinausgegangen,
weil seine Schritte natürlich erheblich länger sind aufgrund seiner längeren Beine
Oder ein anderes Beispiel, das ich irgendwo gesehen habe,
wenn wir uns vorstellen, wir wollen in unserer virtuellen Welt,
also eine Cartoon-Figur steuern mit Hilfe der Bewegungsdaten,
die wir in der realen Welt erfassen.
Und unsere Cartoon-Figur hat furchtbar große Hände.
Dann tritt genau das gleiche Problem auf. Wenn dann
unser realer Mensch irgendwo hingreift und einen Gegenstand aufnehmen will und
diese Bewegung wird direkt auf die Cartoon-Figur übertragen,
dann greift diese Hand mit den Fingerspitzen
längst durch die Tiefplatte hindurch
Auf der der Gegenstand liegt, den sie ergreifen soll.
Also auch das muss dann in irgendeiner Weise übertrieben werden.
Und dazu sind dann entsprechende Nachbearbeitungstechniken erforderlich. Das bedeutet eben nicht,
dass also die Bewegungserfassung des Motion Capture grundsätzlich nicht geeignet ist dafür,
sondern es geht einfach nur mit Hilfe von weiteren Bearbeitungen dieser Bewegungen.
So, ein anderer Begriff aus dem Bereich der Animation,
den ich kurz erwähnen möchte,
ist die Keyframe-Animation,
Das ist in der Regel so, dass ja die Berechnung jedes einzelnen Bildes,
denken Sie daran, wenn wir einigermaßen ruckfreien Film generieren wollen,
dann brauchen wir mindestens 25 Bilder pro Sekunde.
Und wenn wir so viele Bilder generieren wollen,
ist natürlich der Berechnungsaufwand für die,
die für eine solche Bildsequenz entsprechend wahnsinnig hoch,
wenn wir die Bildrate noch ein kleines bisschen erhöhen würden oder wollten,
wäre also die entsprechende der entsprechende Berechnungsaufwand auch Viel größer.
Und da hilft man sich, dass man sagt,
es werden charakteristische Bilder in einer Sequenz komplett generiert.
Und die Bilder, die man dann noch zusätzlich braucht,
die also unsere Anforderungen von mindestens 25 Bilder pro Sekunde erfüllen,
die legt man dann praktisch dazwischen als sogenannte Inbetweens.
Und die werden dann aus den Schlüsselbildern per Interpolation
durch geeignete Interpolation generiert
Techniken, die man da verwendet, sind also zum einen direkte Interpolationstechniken,
die also eine geometrische Form in eine andere überführen.
Und man verwendet da so etwas für Interpolierende des Plines. Wenn wir so etwas mit Objekten machen,
die wir mit Hilfe unserer bekannten Techniken des geometrischen Modellierens geschaffen haben,
dann müssen wir darauf achten,
dass also unsere Gegenstände in dem einen Schlüsselbild und in dem nächsten Schlüsselbild in ihren Eckpunkten übereinstimmen,
nicht in der Position der Eckpunkte, aber in der Anzahl der Eckpunkte.
Das heißt also, Die Topologie muss übereinstimmen, sodass wir ein,
das Objekt in der einen, in dem einen Bild,
in dem einen Frame auch wirklich richtig in ein neues Bild in dem anderen Frame,
im nächsten Frame übertragen können und dazwischen dann die entsprechenden Interpolationen durchführen können.
Also Ausgangs- und Zielgeometrie müssen in Bezug auf die Eckpunkte übereinstimmen, ja? Ich weiß nicht,
ob ich das jetzt richtig verstanden habe,
aber für mich kennt das weniger,
nach einem Ansporn von der Rechenzeit,
aber wir müssen der Fax sehen, die der Zwischenlimen weder,
also gerade Interpolation kann man einfach mal smart auch berechnen,
sondern viel mehr Einsparungen von Modulierungsaufwand,
weil da nur bestimmte wieder vorgehen, in den ersten Umteil.
Ja, das ist richtig. Also das ist das ganz wesentlich
bei dieser Technik. Wenn wir also dieses Beispiel betrachten,
dass wir eine geometrische Form ordiniert haben und in eine neue Form überführen,
dann können wir uns die Zwischenformen oder die Modellierung der Zwischenformen vereinfachen, dadurch, dass wir interpolieren.
Das andere Inbetweening wäre die Interpolation formbeschreibender Parameter. Es geht
im Prinzip auch auf das Gleiche hinaus. Wenn wir also die Die Form eines Gegenstandes haben formbeschreibende Parameter wären,
also zum Beispiel, wenn wir Kugeln haben,
der Kugel Radius, oder wenn wir Zylinder haben,
der Radius und die Länge des Zieling, das sind so etwas,
es wäre also etwas anders als das,
was wir hier haben, wenn wir über Eckpunkte modelliert haben,
dann können wir auch eine Figur in die nächste überführen,
die natürlich zunächst einmal den gleichen Gegenstand repräsentiert.
Das heißt, eine Kugel kann in eine Kugel oder generell
ein Elipsoid, kann in ein anderes Elipsoid überführt werden durch
entsprechende Modifikation der frauenbeschreibenden Parameter
So, kleines Beispiel, nur zur Verdeutlichung,
wenn wir dieses Quadrat überführen wollen, in diese Figur,
dann können wir ein Inbetweeting machen über eine Zwischenfigur,
bei der wir dann die beiden Eckpunkte B und C aufeinander fallen lassen und
hinterher im letzten Schritt dann B und C wieder auseinanderziehen in den gegengesetzter Richtung,
sodass wir dann praktisch C unten haben und B oben haben.
Und entsprechend können wir eine solche Interpolation auch mit mehr zwischen Bildern durchführen,
das kommt einfach darauf an, wie viele Bilder wir benötigen und was unsere Interpretation zulässt.
Das heißt also, haben wir ein geeignetes Interpolationsverfahren,
das von hier hin führt und dabei sinnvolle Zwischenfiguren erzeugt,
die dann hinterher, wenn wir das Ganze praktisch kontinuierlich ablaufen lassen,
also die Bilder in schneller Folge ablaufen lassen,
so etwas wie eine kontinuierliche Formveränderung generiert.
So, jetzt nochmal zur Bewegung
Aus der Robotik kennen wir die Begriffe der direkten und der inversen Kinematik und diese Begriffe,
die sind für uns in der Animation auch sehr wichtig,
wenn wir uns vorstellen,
wie können wir eigentlich Bewegungsabläufe von virtuellen Darstellern richtig steuern.
Das heißt, wir haben einen virtuellen Darsteller, stellen wir uns vor,
der steht an einer ganz bestimmten Stelle im Raum und er
soll dann am Ende Dieser Szene an einer anderen Stelle im Raum stehen und etwas ergreifen.
Und wir müssen jetzt versuchen, aus der Position,
in der unser virtueller Darsteller am Anfang ist,
die Endposition zu erreichen, in der er diese Greifbewegung beginnt.
In der Robotik ist das schon seit vielen Jahrzehnten etwas,
das man häufig macht, Da geht es darum,
dass wir unseren, unser Handhabungsgerät so steuern müssen,
dass es von irgendeiner Ausgangsposition zum Beispiel erfassen einer Sprühdüse in eine Endposition,
Sprühdüse ausrichten auf einen Gegenstand, der gefärbt werden soll,
kommen muss.
Das heißt also,
wir müssen die Position und die Orientierung unseres Endeffektors,
der Endeffektor wäre also in diesem Fall die Sprühdüse,
in Abhängigkeit von den eingestellten Gelenkwinkeln
Berechnen. Das heißt, wir müssen also vorgehen,
die Gelenkwinkel und in Abhängigkeit von diesen Gelenkwinkeln finden wir heraus, wo der Enteffektor hinzeigt.
Und genauso machen wir das bei der Computeranimation. Das heißt,
wir geben eine Reihe von Gelenkwinkeln vor für die unterschiedlichen Gelenke in unserer kinematischen Kette,
die unser Skelett repräsentiert und werten diese Gelenkwinkel aus und bekommen heraus,
wie jetzt der Kopf orientiert ist,
wo der Kopf sich befindet, wie er orientiert ist,
wie die Hand unseres virtuellen Darstellers orientiert ist,
damit sie also etwas ergreifen kann oder der Fuß,
damit er an einer bestimmten Stelle stehen kann und so weiter.
Das Problem, das sich hierbei ergibt, ist,
dass wir eigentlich in der Regel das Ziel kennen,
dass unser virtueller Darsteller erreichen soll und nicht den Weg auf dem er dahin kommt.
Wenn wir den Bewegungsablauf von einem Motion-Capture-Prozess übernehmen, dann können wir,
wenn wir alle Probleme, die wir dabei gesehen haben,
eliminieren könnten, dann können wir sagen, okay,
unser realer Darsteller macht genau die erforderlichen Bewegungen,
die wir benötigen,
damit unser virtueller Darsteller am Ende mit seiner Hand an dieser Stelle ankommt.
Und das übertragen wir dann auf den virtuellen Darsteller
und dann klappt das
Wenn wir aber die einzelnen Bewegungen jetzt irgendwie zusammensetzen,
dann müssen wir sie geschickt so zusammen entsetzen,
dass am Ende das Ziel auch wirklich erreicht wird,
das wir erreichen wollen.
Das heißt, wir kennen die Ausgangsposition unseres virtuellen Darstellers.
Wir kennen die Endposition des virtuellen Darstellers in dieser Szene
und wir suchen die Gelenkwinkel, die wir benötigen,
damit sich unser virtueller Darsteller auf einem sinnvollen Wege zu diesem Ziel hinbewegt.
Und um das Problem lösen zu können, benötigen wir die inverse Kinematik.
Die dient also der Ermittlung der Gelenkwinkelveränderungen in Abhängigkeit von einer gewünschten Position und einer gewünschten Orientierung,
der entsprechenden Gliedmaßen, also zum Beispiel der Hand des Kopfes,
wenn ich also dann hier irgendwie ankomme und mir das genauer ansehen will,
muss meine Hand irgendwie das berühren können.
Mein Kopf muss sich dem Gegenstand nähern, den ich da
genauer untersuchen will. Ich habe also ganz bestimmte Zielpositionen,
die ich erreichen möchte. Und ich suche die entsprechenden Gelenkwinkelveränderungen,
die ich benötige, um dieses Ziel zu erreichen.
Das ist also die inverse Cinematik und das ist auch das Problem,
dass wir schon seit Jahren eben seit Jahrzehnten in der Robotik
haben und dort gelöst haben.
Und das müssen wir entsprechend auf die virtuellen Welten und
die Bewegung virtueller Darsteller übertragen.
Also du musst
noch einmal grafisch zu veranschaulichen
Bei der direkten Kinematik gehen wir davon aus,
dass wir bestimmte Gelenkwinkel vorgeben und Veränderungen dieser Gelenkwinkel über eine bestimmte Zeitspanne
vorgeben und damit dann die endgültige Position der jeweiligen Gliedmaßen des Kopfes,
der Hand, der Hände, der Füße und so weiter,
in Abhängigkeit von diesen Gelenkwinkeln und ihrer Veränderung über die Zeit erreichen.
Das Umgekehrte, die inverse Kinematik Die geht davon aus,
dass wir wissen, hier wollen wir sein am Ende.
Da soll unser Kopf sein, da soll die Hand sein,
die andere Hand hier unserer Füße sollen hier stehen.
Unsere Knie sollen auf diese Weise gebeugt sein.
Und wir fragen uns, wie können wir da hinkommen,
wenn wir vorher da waren, welche Gelenkwinkelveränderungen müssen wir dabei berücksichtigen.
Ja, das zu lösen ist nicht so feuchtbar einfach.
Da gibt es eine ganze Reihe von wichtigen Problemen.
Zum einen
die Mehrdeutigkeit
Es gibt garantiert unterschiedliche Wege, eine gewünschte Position und Orientierung
am Ende zu erreichen von einer gegebenen Ausgangsposition aus.
Ja, wenn ich also zum Beispiel meinen Finger an die
Stirn führen möchte. Und ich habe vorher so dargestanden,
dann wäre dies ein durchaus sinnvoller Weg.
Er führt genau dahin. Ich könnte auch so machen
War ein anderer Weg. Ich kann auch so machen.
Es gibt also unterschiedliche Wege. Was ich nicht machen kann,
ist, da hintenrum, das hatten wir schon gesehen,
irgendwo gibt es Bewegungseinschränkungen für unsere Gelenke.
Da kommen wir also nicht drum. Aber wie wir sehen,
es gibt eine ganze Vielzahl von,
gerade bei komplexeren kinematischen Ketten,
eine ganze Vielzahl von unterschiedlichen Bewegungsabläufen,
die zu einer
ein und derselben
Endposition führen können
Und wichtig ist, wenn wir zunächst einmal frei versuchen,
zu sagen, welche Gelenkwinkel benötige ich,
welche Folge von Gelenkwinkeln benötige ich für die vielen Gelenke meiner kinematischen Kette,
um aus einer bestimmten Ausgangsposition eine bestimmte Endposition zu erreichen,
dann können natürlich auch dabei unzulässige Konstellationen auftreten.
Nicht, dass mein System könnte zunächst mal versuchen,
wenn ich die Hand gerade so an der Hüfte hatte und ich möchte hier hinkommen,
den Arm da hinten weiter hochzudrehen,
weil das vielleicht zum Ziel der nähere Weg ist.
Und dann stellen wir fest, geht nicht,
der Arm darf nicht der Raum, weil wir da unmögliche Gelenkwinkel ein durchführen wollen.
Oder was natürlich auch nicht geht, ich kann,
wenn ich die Hand hier habe und ich möchte mir an die Stirn zeigen,
ich kann diese Hand jetzt nicht hier durch meinen Körper hindurchführen, um dahin zu zeigen.
Also hier haben wir Kollisionen, die nicht auftreten dürfen und die berücksichtigt werden müssen. Das heißt also,
ganz wichtig ist, wenn wir eine komplexe kinematische Kette haben,
Eine bestimmte Ausgangsposition für diese kinematische Kette vorgeben,
eine bestimmte Endposition für diese kinematische Kette vorgeben,
dann müssen wir sinnvolle Gelenkwinkelveränderungen herausfinden,
die es uns gestatten von der Anfangsposition in die Endposition zu kommen.
Und das ist nicht immer einfach. Die grundlegende Methoden,
die da eingesetzt werden, sind also zum einen alte Breife-Methoden,
dann geometrische Methoden und numerische Methoden.
Die algebräischen Methoden die versuchen, durch sukzessive Invertierung unserer Transformationsmatrizen,
schrittweise die einzelnen Gelenkwinkel-Drecktor-Komponenten zu berechnen,
sodass wir also irgendwann dann am Ende ankommen.
Damit ist noch nicht gewährleistet, dass das tatsächlich eine sinnvolle Bewegung war.
Da kann es auf dem Wege eben passieren, dass ich sage,
ja, ich möchte also zum Beispiel diesen Stab hochheben,
wie ich stehe hier und habe da irgendwo ein Problem.
Da steht der Tisch im Weg und ich muss mir also
etwas anderes ausdenken,
ich muss einen Umweg machen,
damit ich da rumkomme
Und da müssen also hier dann entsprechende mehrere Versuche gemacht werden,
bis man den richtigen Weg findet. Dann haben wir geometrische Methoden,
die ausgehend von der Geometrie unserer Skelettes die Komponenten unseres Gelenkwinkels,
Winkel Vektors, ermitteln uns schließlich am Ende numerische Methoden,
die iterativ unsere Gelenkwinkel Vektorkomponenten ermitteln.
Und da haben wir natürlich wie bei iterativen Problemen immer
das Ausgangsproblem wie Welchen Staatwert wähle ich für meine Iteration,
damit sie auch vernünftig konvergiert gegen das Ziel?
So. Viele dieser Probleme, die wir bei automatischen Bewegungsgenerierungen haben,
die können wir natürlich eben durch das Motion-Capturing vermeiden. Und wir hatten gesehen,
da war eines der wichtigen Probleme, dass wir den bei der Anpassung,
bei der Übertragung oder Abbildung der Bewegungsabläufe,
die wir von einer natürlichen Person oder einem natürlichen Lebewesen erfasst haben und dann abbilden auf unseren virtuellen Darsteller,
dass wir da darauf achten müssen,
dass die Proportionen im Wesentlichen übereinstimmen.
Und wenn das nicht der Fall ist,
dann können wir einen Trick anwenden und das ist das
sogenannte Motion Retargeting
Übertragen wir die Bewegungen, die wir beim Motion Capture erfasst haben,
nicht unmittelbar auf unseren virtuellen Darsteller, sondern über einen kleinen Umweg.
Wir bilden diese Bewegungsabläufe zunächst einmal auf ein Zwischenskelett ab,
auf ein vereinfachtes Zwischenskelett ab und bewegen dann dieses ein vereinfachte und dieses vereinfachte Zwischenskelett.
Das hat die Proportionen unseres virtuellen Darstellers und wir bilden also zunächst einmal
die erfassten Bewegungsabläufe auf das Zwischenskelett ab und bewegen dann das Zwischenskelett so,
dass es die Bewegungsziele auch tatsächlich erreicht.
Das heißt also, da bilden wir praktisch die Gelenkematratzen für
unseren virtuellen Darsteller aus dem Zwischenskelett noch einmal neu und bilden das dann auf unseren virtuellen Darsteller ab.
Und die Technik sieht dann also im Prinzip so aus im Motion Capture,
haben wir unser Skelett, das wir schon kennengelernt haben,
das also relativ komplex ist,
das weitestgehend die Bewegungen unseres realen Menschen aufnehmen kann und wiedergeben kann.
Diese Bewegungen übertragen wir auf ein einfaches Zwischenskelett,
das im Prinzip unseren virtuellen Darsteller in den Proportionen entspricht und
wir passen die Bewegungen dieses,
also die Gelenkwinkel dieses Zwischenskelettes dann den erforderlichen Bewegungen unseres
virtuellen Darstellers an
So, eine weitere Aufgabe, die wir bei der Animation haben,
ist, wir müssen unsere virtuellen Darsteller vernünftig gehen oder laufen lassen können.
Wir haben gesehen, wir können Bewegungsabläufe zum einen von einem
natürlichen Menschen aufnehmen und dann direkt übertragen.
Wir können das über das Zwischenskelett übertragen. In beiden Fällen ist es aber so,
dass wir immer noch die unmittelbare Kopplung zwischen der Erfasstenbewegung und der Bewegung und unseres virtuellen Darstellers haben.
Wir wollen aber irgendwann einmal dahin kommen, dass wir sagen,
unser virtueller Darsteller sollte sich auch autonom bewegen können.
Das heißt, unser virtueller Darsteller bekommt irgendwo ein Bewegungsziel,
zum Beispiel kriegt er die Aufgabe von hier aus da hinten
in die Ecke zu gehen oder da durch die Tür den Raum zu verlassen.
Und er bekommt irgendwie mitgeteilt, wo der Weg verläuft,
den er nehmen muss und das Gehen auf diesem Wege,
das muss er dann selbst schaffen.
Und dazu müssen wir uns jetzt erst einmal überlegen,
was bedeutet eigentlich Gehen? Generell und inwieweit können wir das
dann übertragen auf unsere virtuellen Darsteller? Zunächst mal,
wenn wir es also ein wenig analysieren, dann können wir sehen,
gehen, in der Regel eine periodische Bewegung ist.
Man macht also so einen Schritt nach dem anderen und im Prinzip gleichen sich diese Schritte.
Der Bewegungsablauf ist also eine rein periodische Angelegenheit und wenn wir so elf periodische Abläufe sehen,
dann assoziieren wir dann natürlich auch gleich,
wenn wir so etwas generieren wollen, periodische Funktionen,
die uns helfen, das auch synthetisch zu machen.
Also Gehen ist eine periodische Bewegung. Wir müssen diese periodische Bewegung
zunächst einmal normalisieren, damit wir sie an Unterschied unterschiedliche Anatomien anpassen können.
Denn wir hatten ja gesehen, es hängt sehr stark davon ab,
wie groß eine Person ist, wie lang die Beine der Person sind.
Davon hängt es ab, wie viele die Schritte,
die Person braucht, um von hier nach da hinten zu kommen.
Also eine bestimmte Wegstrecke zurückzulegen. Das müssen wir also hier
machen. Wir müssen also das Gehen anpassen an unterschiedliche Anatomien
von virtuellen Darstellern
Dann, wenn wir das Gehen weiter analysieren,
dann stellen wir fest, beim Gehen bewegt sich der Körperschwerpunkt
zwischen der rechten und der linken Körperseite hin und her.
Das heißt also, in Abhängigkeit von den Beinen,
auf dem wir dann gerade stehen beim Gehen,
bewegen wir den Körperschwerpunkt hin und her.
In der Regel schaukeln wir dann nicht, wie ein Seemann bei starkem Seegang,
wenn wir auf einem festen und ruhigen Untergrund gehen.
Aber wenn Sie genau darauf achten, merken Sie,
so ein kleines bisschen geht der Körper dabei hin und her,
bewegt sich also nach rechts und links, gehen.
Auch das ist wichtig,
wenn wir das nicht berücksichtigen würden und unsere virtuellen Darsteller würden,
also ganz brav ihren Körperschwerpunkt auf einer geraden Linie vorwärts bewegen,
dann würden wir sofort den Eindruck haben, da stimmt was nicht.
Das wirkt unnatürlich. So, was noch?
Beim Gehen steht ein Fuß immer auf dem Boden.
Wir heben in der Regel beim Gehen, beim normalen,
natürlichen Gehen nie beide Füße, Füße gleichzeitig vom Boden,
aber es gibt immer Zwischenpositionen,
in denen beide Füße gleichzeitig auf dem Boden stehen
So, wenn wir jetzt diese Bewegungsabläufe synthetisieren wollten,
also berechnen wollten, nicht durch Motion Capture übertragen wollen,
von realen Menschen oder Lebewesen, sondern synthetisch berechnen wollen,
dann können wir uns vorstellen,
dass wir mithilfe von Sinusfunktionen mit unterschiedlichen Amplituden und Frequenzen,
die globalen Transformationsbewegungen simulieren können, also die vertikalen Bewegungen,
die beim Gehen auftreten, wenn sie mal Menschen beim Gehen beobachten,
Kopf wandert immer so quasi auf einer Sinuskurve entlang,
weil ja ein Fuß immer so irgendwie über die Fußspitze abrollt.
Das hebt den Kopf an und dann fällt man in den nächsten Schritt,
dann geht der Kopf wieder runter, dann geht der hoch und so.
Das heißt, wir können also sehen,
der Kopf wandert auf eine Sinuskurve, dann hatten wir schon gesehen,
die Querbewegungen, die daher rühren,
dass der Schwerpunkt der Körperschwerpunkt nach rechts und links bewegt wird beim Laufen.
Dann haben wir die reine Frontalbewegung,
die uns vorwärts bringt
Dann, wenn wir Menschen genauer betrachten, sehen wir,
dass speziell das Becken, das war praktisch der größte Knochen ist,
den wir im Menschen finden, dass sich dieses,
dass dieses Becken beim Gehen auch eigene, deutlich bemerkbare Bewegungen durchführt.
Das hat vorwärts und Rückwärtsbewegungen, die von den Schritten abhängig sind.
Es hat rechts und links Bewegungen, die den Schwerpunkt,
die Bewegung des Schwerpunktes ausgleichen und das Becken dreht sich in der Hüfte weg,
diese Bewegung müssen, können wir alle im Prinzip mit entsprechenden Senusfunktionen,
da sie für periodisch sind, mit entsprechenden Sinusfunktionen simulieren.
Alternativ wäre es auch möglich, dass wir periodische Spline-Funktionen,
wie wir sie auch schon kennengelernt haben,
verwenden können für die Bewegungen der einzelnen Gelenke.
Und für die entsprechende Drehung des Oberkörpers bei der Fahrtbewegung.
Alle diese Ansätze zeigen aber, dass die Gehbewegungen,
die wir damit simulieren, sehr unrealistisch wirken.
Weil diese Funktionen ja sehr regelmäßig periodisch sind und unser
normaler G-Prozess so regelmäßig überhaupt nicht ist. Das heißt,
wir haben da also recht komplexe Bewegungsabläufe,
auch beim ganz normalen, ruhigen Vorwärtsgehen,
die mithilfe solcher Funktionen unheimlich schwer so simuliert werden können,
dass sie wirklich realistisch wirken
Die Alternative ist, dass man eine solche Bewegung,
wie das Gehen zum Beispiel, versucht, indirekt zu übertragen,
von realen Lebewesen auf die virtuellen Lebewesen. Und eine Möglichkeit,
das zu machen, die in der Praxis angewendet ist,
ist, dass man zunächst einmal Bewegungsdaten von Menschen, Tieren,
Lebewesen allgemein erfasst, dass man diese Bewegungsdaten analysiert und versucht,
aus diesen Bewegungsdaten sogenannte Bewegungsgrundkomponenten herauszufiltern.
Die in irgendeiner Form immer wieder auftauchen,
die man in irgendeiner Form skalieren kann und dann zusammensetzen kann,
wie aus einem Baukasten Bausteine zusammengesetzt werden und damit dann gerecht
komplexe Bewegungsabläufe schaffen kann
Da ist also der erste Schritt, dass man diese Bewegungsgrundkomponenten herausfindet,
in der angelsächsischen Literatur läuft das unter PCA, Principle and Pony and Analysis.
Wir gehen aus von Daten, die wir in einem Motion-Capture-Prozess erfasst haben.
Und da nehmen wir uns jetzt unterschiedliche Personen,
deren Bewegungsabläufe wir erfassen, um sie dann näher zu analysieren.
Das heißt also, wir nehmen Personen in unterschiedlichen Alters,
denn wenn wir mal irgendwo so im Straßencafé sitzen und die Menschen,
die da draußen vorbeilaufen, genauer betrachten,
dann sehen wir, dass viele Faktoren, das Gehen,
die G-Bewegung eines Menschen beeinflussen.
Das ist vor allem zum einen das Alter des Menschen,
alte Menschen laufen ganz anders als ganz junge Menschen.
Das Geschlecht macht einen Unterschied,
man kann doch in der Regel relativ deutlich erkennen,
ob da eine Frau oder ein Mann hergeht,
die Größe macht einiges aus,
kleine Menschen laufen ganz anders als große Menschen
Dann macht es natürlich ganz viel aus, in welcher Form
man sich fortbewegt. Geht man einfach nur oder läuft man
? Und so weiter. Das heißt also,
diese unterschiedlichen Fortbewegungsformen von unterschiedlichen Menschen werden mit Hilfe unserer Motion
Capture Technik aufgenommen und dann zerlegt in die Principle Component.
Und diese Grundkomponenten der Bewegung werden dann praktisch zunächst mal
als Rohdaten gespeichert,
um sie
dann weiterverwenden zu können
Die Daten werden, wenn wir an das Gehen denken,
in zwei Schrittzyklen zerlegt und dann normalisiert,
damit wir sie übertragen können auf Menschen unterschiedlicher Größe zum Beispiel.
Und dann können wir sie wiederholt zusammensetzen. Zwei Schrittzyklen,
einfach deshalb, weil wir nach zwei Schritten wieder in einer vergleichbaren Ausgangsposition sind.
Nicht, wenn ich also irgendwo stehe und das linke Weinvorsätze,
dann muss ich das rechte Bein vorsetzen,
damit ich danach wieder das linke Bein vorsetzen kann
Dadurch hast du meine Feriode da drin, die durch unseren zwei Schritt Zyklus repräsentiert ist.
Dann brauchen wir in unserer, bei unseren Bewegungsgrundkomponenten auch eine neutrale Ausgangsposition.
Das heißt also, eine Position, die einen entsprechenden Darsteller zeigt,
wenn er ganz normal aufrecht steht und sich aus dieser Ausgangsposition zunächst einmal vorwärts bewegt.
Und Bewegungsabläufe, die wir auf diese Weise generiert haben,
und zusammensetzen, die wirken erheblich natürlicher als Bewegungsabläufe,
die wir über irgendwelche komplexen Funktionen, periodischen Funktionen simuliert haben.
So, da habe ich auch irgendwo mal ein Bildchen zugefunden,
wie unterschiedliche Menschen unterschiedlich gebaute Menschen,
Menschen unterschiedlichen Alters unterschiedlichen Geschlechts gehen und interessant wäre das jetzt,
das habe ich jetzt leider nicht gefunden,
dass tatsächlich mal in Bewegung zu sehen,
also nicht nur eingefrorenes Bild von einem solchen Bewegungsablauf,
sondern tatsächlich dem Bewegungsablauf als solchen sehen könnte.
Aber wir können hier schon sehen, dass also einfach eine
einfache Gehbewegung schon recht unterschiedlich durchgeführt wird von den Menschen.
Es gibt Bewegungsabläufe, die wir auch durch Algorithmen oder Formen
beziehungsweise durch Porzeduren beschreiben können, die dann entsprechende physikalische Gesetze wiedergeben,
bei der Gehbewegung des Menschen haben wir gesehen,
führt das nicht geradezu zufriedenstellenden Resultaten.
Aber wenn wir an eher technische Systeme denken, die sich bewegen,
dann geht das da in der Regel schon ganz gut.
Wir können also die Bewegung eines Fahrzeuges entlang einer Bahnkurve
auch durch entsprechende Algorithmen oder Prozeduren oder entsprechende Formeln beschreiben und dann
diese Bewegung durchführen lassen und die Bewegung sieht dann in der Regel ziemlich natürlich,
in Anführungsstrichen,
aus,
sofern man den Begriff natürlich dann auf ein solches technisches System
übertragen kann
Das Gleiche gilt natürlich für die Flugbahn eines Geschosses, also die berühmte Wurfparabel,
die wir eben als eine ganz einfache Farbe vorgeben können.
Und dann können wir sehen, ein Gegenstand,
der auf eine solche Bahn gerät, der wird sich so und so verhalten.
Das Gleiche gilt dann auch eben für Pendelbewegungen, wenn wir daran denken,
dass wir irgendwo eine Schaukel für sich hinschaukeln lassen wollen,
deren Schwingung dann nicht besonders weiter angeregt wird.
Dann können wir also eine ganz einfache periodische,
gedämpfte Schwingung annehmen, wenn wir noch zusätzliche Anregungen reinbringen,
können wir das auch mit relativ einfachen Erweiterungen der gedämpften periodischen Schwingung machen.
Das sieht also auch ganz natürlich aus. Wo sich regelbasiertes Verhalten auch noch einigermaßen anwenden lässt und zeigen lässt,
ist bei der sogenannten Verhaltensanimation, wenn wir daran denken,
wie Vogelschwärme fliegen oder Viehhirden irgendwo rumlaufen,
wenn sie also irgendwo ein Nuftbild haben im Flugzeug oder Hubschrauber sitzen und irgendwie über die Prärie fliegen und da irgendwelche Büffelherden rumrennen sehen,
dann gibt es da so charakteristische, charakteristisches quasi regelbasiertes Verhalten,
dass man da ganz gut simulieren kann und das dann auch recht natürlich wirkt.
Ähnliches kann man beobachten und dann auch realisieren bei dem Verhalten von Menschenmengen,
wie bewegen sich größere Mengen von Menschen,
wenn sie irgendwie durcheinander laufen, mit unterschiedlichen Zielen,
auch da lassen sich gewisse Regeln formulieren, die dann zu rechtnatürlichen Darstellungen führen.
Und notwendigerweise brauchen wir das dann eben auch für autonome Darsteller,
wobei dann die Bewegungsabläufe bestimmten Algorithmen oder Formeln folgen, der einzelne Bewegung Schritt,
aber der Technik entnommen ist, die wir gerade kennengelernt haben.
So, das zunächst einmal zu den Bewegungen von virtuellen Darstellern in einer virtuellen Welt.
Meine Frage. Sie haben ja auch diverse Kilomatik vorgestellt.
Nutzt man die wirklich auch in der Bildbearbeitung,
Winterarbeitung oder in der Computergrafik? Sie wird auch benutzt,
also in der Robotik natürlich, aber auch in dem Umfeld,
in dem wir uns hier in der Animation bewegen,
also in der Computergrafischen Animation.
Und wir werden da gleich noch in diesem Teilkapitel sehen,
dass die tatsächlich auch der Bedarf dafür besteht,
so etwas zu machen
Das war nur ein Beispiel, was ein Videospielwelt geben. Zum Beispiel ein Charakter,
was greifen will, da brauchen wir ja auch inverse Kinomatik,
um das irgendwie vielleicht realistisch auszusehen,
als irgendwie ein Türgriff oder so, wenn der halt da hingreift,
weil der halt einen fixen Punkt im Monat hat,
irgendwie seine Knochen, also alle ordnen,
dass es normal aussieht.
Hab ich das so irgendwie gemacht. Ja.
Das sind also eine ganze Reihe von Szenen,
in denen dann unsere virtuellen Darsteller,
ob das nun Menschen sind oder andere Lebewesen,
tatsächlich bestimmte Ziele erreichen müssen und zwar präzise erreichen müssen
Und da kommen wir nicht daran vorbei, die inverse Kinematik zu benutzen.
Und was ist mit Mose und Capturing? Können wir das
nachher nicht ansetzen? Motion Capturing ist teilweise möglich, wenn wir daran denken,
dass wir zum Beispiel so etwas wie Filme machen.
Da wird es gemacht. Motion Capturing geht nicht mehr in dem Fall,
in dem wir so etwas wie Spiele haben,
bei denen also die virtuelle Welt sich erst durch den Einfluss eines Spielers oder mehrerer Spieler,
die da mehr oder weniger immersiv drin teilnehmen,
verändern kann
Das heißt also, der Ablauf, der sich dann ergibt, ist nicht vorhersehbar.
Und in den Fällen müssen unsere virtuellen Darsteller dann tatsächlich in der Lage sein,
von sich aus bestimmte vorgegebene Ziele zu erreichen,
weil wir dann den realen Menschen nicht mehr zur Verfügung haben,
der dann diese Bewegung sofort durchführt.
So, wir wollen jetzt also einmal komplette virtuelle Menschen betrachten,
Gehen wir davon aus, wir wissen, wie sich diese Menschen bewegen können.
Und wir haben also praktisch die Grundtechnik der Bewegung irgendwie in den Griff bekommen.
Das klappt. Wir haben jetzt eine komplette virtuelle Welt,
in der virtuelle Darsteller sich bewegen und sehr wahrscheinlich darüber hinaus
zusätzlich zu den virtuellen Darstellern auch noch reale Menschen bewegen und
für diese realen Menschen steigt natürlich der Identifikationsgrad mit ihrer virtuellen Umgebung zunehmender Immersion.
Das heißt, je besser sie in diese virtuelle Umgebung eintauchen können,
desto mehr identifizieren sie sich mit dieser Umgebung.
Und natürlich, je realistischer das,
was sie da in dieser virtuellen Welt vorfinden, auf sie wirkt,
desto mehr und besser können sie sich mit dieser Welt identifizieren.
Von der natürlichen Welt wissen wir,
dass sie bevölkert ist, von autonom agierenden und miteinander
interagierenden Lebewesen
Und etwas Vergleichbares wollen wir natürlich auch für unsere virtuelle Welt schaffen.
Das heißt also, unsere virtuelle Welt sollte autonom agierende und
miteinander interagierende Lebewesen enthalten, damit sie realistisch wirkt.
Diese virtuellen Lebewesen, vor allen Dingen die virtuellen Menschen,
die müssen also autonom agieren können.
Sie müssen selber entscheiden können, was sie als nächstes machen,
dass sie zum Beispiel da drüben zu der Tür gehen wollen,
dem das Signal ausgelöst wird oder so etwas.
Sie müssen miteinander kommunizieren, können wahrnehmbar für Außenstehende miteinander kommunizieren können.
Und da tritt bei all dem,
womit wir uns hier jetzt beschäftigen wollen, immer wieder das Problem auf,
dass wir ja im Grunde genommen so eine virtuelle Welt vollkommen synthetisch erschaffen.
Und wir wissen, dass alle Informationen über diese virtuelle Welt
permanent in unserem System vorhanden sind. Das heißt also,
wenn wir zwei virtuelle Darsteller hätten in unserer virtuellen Welt,
die miteinander kommunizieren sollen, dann können wir natürlich sagen,
okay, der eine kann ja ohne weiteres auf die Daten,
die entsprechenden Informationen, die über den anderen gespeichert sind,
zugreifen.
Und damit ist die Kommunikation auf einen unmittelbaren Wege gewährleistet.
Eine solche Kommunikation würde uns als realen Menschen,
wenn wir in eine solche virtuelle Welt eintauchen,
aber wahrscheinlich überhaupt nicht gut gefallen.
Das klingt irgendwie so ein bisschen jenseitig,
märchenhaft oder sonst irgendwie
Wenn da plötzlich Lebewesen sind,
die ja ganz offensichtlich so etwas wie Gedanken lesen oder so etwas,
die Dinge wahrnehmen, die außerhalb des menschlichen Wahrnehmungsbereiches liegen,
die zum Beispiel sehen können, wahrnehmen können,
optisch wahrnehmen kann, was da hinten passiert, die hören können,
was irgendwo weit weg gesprochen wird oder sonst irgendwas.
Bloß weil unser blödes System natürlich immer alle Daten gleichzeitig zur Hand hat.
Das heißt, wir müssen also etwas simulieren, dass einer natürlichen Kommunikation entspricht.
Das heißt, unserer virtuellen Darsteller müssen sich genauso verhalten,
wie wir uns verhalten, wenn wir kommunizieren.
Das heißt, wenn wir also verbal kommunizieren,
wir wenden uns in der Regel unserem Gesprächspartner zu.
Wir schauen ihn an. Wir sprechen zu ihm und
unser Gesprächspartner bekommt genau die Informationen mit,
die verbal akustisch von uns losgeschickt worden ist.
Höchstens diese Information, denn sie kann ja noch beeinträchtigt werden
durch irgendwelche Nebengeräusche,
Hintergrundgeräusche oder sonst irgendwas
Wir haben es oft genug erlebt. Wir leben es oft genug im täglichen Leben,
dass wir miteinander sprechen und zweimal nachfragen müssen,
wenn jemand etwas zu uns gesagt hat,
bloß weil gerade der Bus vorbeigefahren ist oder die Bahn vorbeigefahren ist.
Und wir haben es akustisch gar nicht mitbekommen.
Und das ist natürlich etwas, das müssen wir in unserer
virtuellen Welt auch berücksichtigen, wenn unsere Kommunikationsabläufe natürlich wirken sollen.
Ja, dann müssen unsere virtuellen Darsteller kooperieren können.
Das heißt also, sie müssen irgendwelche Handlungen aufeinander abstimmen und
die Handlungen müssen vernünftig aufeinander abgestimmt
Sein. Einer der Darsteller kann spontan irgendwie eine Handlung initiieren,
der andere muss dann entsprechend darauf reagieren, vernünftig reagieren.
Und natürlich sollten unsere virtuellen Darsteller auch so etwas wie Gefühle
zeigen können, damit sie natürlich wirken.
Ja, kommt das Aussehen unserer virtuellen Darsteller, sollte natürlich sein.
Und das zum Äußeren Erscheinungsbild und dessen,
was also einen Menschen Als allererstes, als Menschen ausmacht,
gehört die Haut.
Das ist das, was man sieht. Und wir müssen also versuchen,
unsere virtuellen Darsteller mit einer Oberfläche zu versehen, die natürlich wirkt.
Dazu müssen wir eine verformbare Haut auf unser Skelett auftragen und
dann entsprechende Verformungen, die den natürlichen Verformungen bei natürlichen Bewegungsabläufen
entsprechend beschreiben
Wir können da in der Praxis unterscheiden zwischen skelettbasierten Verformungen.
Wir können datengesteuerte Methoden einsetzen oder physikalisch basierte Ansätze und
wir wollen uns das einmal im Einzelnen etwas näher ansehen.
In Realzeit werden in der Regel entweder skelettbasierte oder datengesteuerte Methoden eingesetzt,
physikalisch basierte Ansätze sind in der Regel viel zu komplex,
um sie in Realzeit tatsächlich durchführen zu können
Mhm. Skelett. Skelettbasierte Verfarmung der Haut ist am weitesten verbreitet,
ist also die klassische Methode, die da einverwendet wird.
Die ersten Ansätze davon finden wir in der Literatur bereits 1987.
Da haben wir zum Beispiel gelenkabhängige lokale Verfarmungen.
Das heißt, jeder Stützpunkt auf der Hautoberfläche,
die Hautoberfläche wird im Grunde genommen modelliert wie ein,
als ein Netz.
Ein Gitternetz von Dreiecken
Und jeder Stützpunkt wird durch eine gewichtete Kombination der Gelenke beeinflusst,
die irgendwo noch mit dem entsprechenden Haut, mit der entsprechenden Hautpartie zusammenhängen.
Und wir gehen dann von einer neutralen Grundposition aus.
Und wenn wir die Gelenke bewegen werden, die Hautpartien entsprechend verschoben.
Das Problem hierbei ist, dass es auch unerwünschte,
das heißt auch unnatürliche Verformungen gibt, speziell bei starken Gelenkwinkeländerungen.
Ich habe da ganz lustige Sachen auch schon gesehen, sehen,
die, ja, ich würde sagen, da entstehen so eine Art Gartenschlauch-Effekte.
Nicht, wenn sie einen Schlauch, ich habe jetzt keinen mit,
einen Gartenschlauch biegen um 90 Grad,
sie haben ihn erst gerade gehalten und dann biegen sie ihn an einer Stelle um 90 Grad.
Haben sie ja im Prinzip so etwas wie die elastische Oberfläche
eines Armes und den sie dann am Ellbogengelenk biegen.
Nur die Form, die dieses Gelenk dann annimmt,
die stimmt Überhaupt nicht, mit dem über allem,
was sie an ihrem eigenen Ellbogen beobachten. Können Sie mal ausprobieren,
wenn Sie irgendwo so einen Gartenschlauch oder sonst wie einen Kunststoffschlauch verwenden und den mal so knicken,
um 90 Grad biegen und vergleichen Sie, dass man mit Ihrem eigenen Ellbogen gelenkt,
wenn Sie das um 90 Grad biegen, die Form ist komplett anders.
Dieser Gartenschlauch, der wird in der Regel dann zur Seite
auseinandergehen und in der Mitte praktisch.
Also er wird in der Biegeachse oder Drehachse des Gelenkes,
wird er auseinandergehen und im Gelenk selbst zieht er sich zusammen.
Und das ist etwas, das macht also ihr Gelenk garantiert nicht
Man kann die Resultate von solchen Verformungen dann auch verbessern.
Dadurch, dass man praktisch so eine Art Muskelschicht zwischen der
flexiblen Haut und dem starren Knochen einschiebt.
Ein einfaches Modell, das schon ganz gute Resultate bringt,
ist die Verwendung von Ellipsoiden, die wir an den Knochen orientieren,
die wir also, wo wir praktisch sagen,
wir haben den Knochen als Längsachse eines Ellipsoids.
Und da rumlegen wir dann unser Ellipsoid und wir können dann
diese Ellipsoide auch praktisch ein bisschen aufblasen oder dünner machen,
in Abhängigkeit von der Bewegung und können damit solche Muskelbewegungen wie Lied des Bizeps und vergleichbare Muskeln durchaus ganz brauchbar realisieren.
Realistischer als das sind biomechanische Modelle der Muskelverformung,
dass man also tatsächlich die einzelnen Muskeln im Körper durch
biomechanische Modelle versucht zu simulieren.
Da haben wir allerdings dann auch an
erheblich größeren Berechnungsaufwand
Ja, datengesteuert sieht es so aus,
dass wir als Grundlage in ganz realistische Hautformen,
das heißt Oberflächenfarmen verwenden,
die wir durch Oberflächenvermessung realer Menschen gewonnen haben oder die wir aus Simulationen mit realistischen Modellen,
also biologischen Modellen, gewonnen haben oder die,
auch das wird in der Praxis häufig gemacht von erfahrenen Designern modelliert werden.
Also gute Designer schaffen es durchaus, die unterschiedlichen Formen unserer Muskulatur
in Abhängigkeit von bestimmten Bewegungsabläufen dann auch gut zu zu beschreiben.
Und diese beschreibenden Daten werden dann erfasst und dann auf unsere Bewegungsabläufe übertragen.
Und dann können wir die entsprechende Verfarmung des Muskels und damit
der anliegenden Haut ganz realistisch wiedergeben. Das Ziel dabei ist Echtzeitanimation.
Und wir gehen da in der Regel auch wieder mit dem In-Bit-Tweening-Verfahren vor.
Das heißt, wir übernehmen von unserem jeweiligen Modell Schlüsselpositionen,
die Formen und die für die Zwischenpositionen verwenden wir geeignete Interpolations- oder andere Blending-Funktionen,
Verfahren, die uns die Formen in den Zwischenpositionen geben.
Neuerdings arbeitet man da nicht mehr unbedingt zwangsläufig mit einem vordefinierten Skelett,
sondern man geht von einer Menge verformter Oberflächennetze aus,
die für unterschiedliche Positoren unseres virtuellen Darstellers stehen und dann werden die Knochen,
die Formen, also die Längen,
die Orientierung der Knochen nur noch gefetzt und daraus dann die entsprechenden Zwischenpositoren ermittelt.
Das Ganze funktioniert allerdings nur bei relativ starren Strukturen,
wenn da mehr Beweglichkeit drinsteckt, dann werden die Zwischenpositionen doch wieder unnatürlich.
So, das zunächst einmal zu unserem Körperbau, zu unserer Anatomie,
die wir übertragen auf unsere virtuellen Darsteller, damit in einer Form,
dass sie möglichst realistisch wirken und möglichst realistisch aussehen.
Das komplexeste und komplizierteste an Menschen,
gerade auch im Zusammenhang mit der Kommunikation zwischen Menschen,
ist das Gesicht. Und da können Sie sich vorstellen,
dass da sehr viel Arbeit investiert worden ist schon,
um ein möglichst hohen Grad an Realismus in Bezug auf die Gesichtsanimation zu erzielen.
Unser Gesicht besteht aus einer unheimlich großen Anzahl von einzelnen Muskeln,
Sehnen, die die kleinsten Teile unseres Gesichtes unabhängig voneinander sich verformen lassen.
Und damit eine Vielzahl von unterschiedlichen Ausdrücken in das Gesicht bringen können,
die Mimik also permanent ganz, ganz komplex verändern können.
Und wir versuchen jetzt, Eine Gesichtsanimation durchzuführen,
nach Möglichkeit in Echtzeit und mit einem möglichst geringen Datenaufwand.
Und das bei der Komplexität, die einem natürlichen Gesicht zugrunde steckt.
Das ist also ein ganz, ganz tolles, aufwendiges,
aber auch Interessantes an Gebiet der Fahrfunk- und Entwicklung.
Wir gebrauchen das natürlich für die ganzen normalen virtuellen Darsteller in
Filmen und in Computerspielen und so weiter
Einen ganz einfach in der normalen täglichen Praxis versucht man auch dahin zu kommen,
dass man zum Beispiel in synthetischen Auskunftssystemen virtueller Ansprechpartner hat,
mit denen man sprechen kann. Das heißt also,
das Ganze nicht mehr nur rein akustisch macht und irgendwo eine ganz offenbar synthetische Stimme hört,
die einem antwortet, zum Beispiel einem das Kinoprogramm erzählt oder so etwas,
sondern man möchte dahin kommen,
dass man praktisch einen virtuellen Menschen der lebensecht wirkt,
vor sich auf dem Bildschirm sieht und mit diesem Menschen sprechen kann,
wie mit einem ganz normalen Menschen, den man per Telekommunikation,
Bildkommunikation telefoniert.
Und dass dieser virtuelle Mensch nicht nur sehr natürlich spricht,
was die Akustik betrifft,
sondern dass sich auch sein Gesicht sehr realistisch verhält und
er eine wirklich natürliche,
wo dann naturgetreue Mimik zum Ausdruck bringt
Wir verwenden dafür sehr feine Gittermodelle für die Formbeschreibung des Gesichtes,
weil eben das Gesicht sich in sehr kleinen Details verändern kann.
Wir benötigen dann für die Verformung des Gesichtes,
für die Beschreibung der Verformung des Gesichtes, sehr effektive Verfahren.
Wir brauchen Muskulaturbasierte, Bewegungsmodelle. Das haben wir
bei den anderen Bewegungen bisher nicht so gemacht.
Da haben wir
unsere Bewegungsmodelle eher skelettbasiert
Angenommen und die Muskulatur dann praktisch nur noch so als eine Verkleidung auf das Skelett gelegt.
Bei dem Gesicht haben wir ja nicht viel Skelett, das sich bewegt.
Die gesamte oder der größte Teil der Bewegung des Gesichtes ist rein muskulaturbasiert.
Und wichtig ist, da wir das ganze Jahr kombinieren wollen mit natürlicher Sprache,
wir müssen dann das Gesicht auch an eine natürliche, gesprochene Sprache anpassen.
Das heißt also, wir müssen, praktisch etwas modellieren für unsere virtuellen Darsteller,
dass das visuelle Gegenstück zur gesprochenen Sprache ist.
Und wir wissen, dass die kleinsten Einheiten der gesprochenen Sprache die sogenannten Vornehme sind.
Das sind die kleinsten, akustisch wahrnehmbaren Bestandteile einer natürlichen Sprache.
Und wir suchen praktisch visuelle Gegenstücke zu diesem Vornehmen,
die also genau dazu passen, dass also jemand,
wenn der O sagt, auch einen Mund macht,
wie wenn er O sagt und nicht den Mund furchtbar weit und breit aufmacht oder ähnliches.
Ja, dass das also ganz genau zueinander fasst,
dass wir also eine gute Synchronisation zwischen den akustischen Ablauf der
natürlichen Sprache und dem entsprechenden, der entsprechenden Darstellung im Gesicht haben.
So, und wie wir das hinkriegen,
das wollen wir uns dann nächste Woche nochmal ansehen.
Für heute danke ich Ihnen für Ihre Aufmerksamkeit, für Ihr Mitmachen.
Ich wünsche Ihnen noch eine Schöne Woche,
seien Sie vorsichtig, wenn Sie draußen laufen.
Es hat die ganze Zeit geschneit, es wird immer weißer.
So, ich wünsche Ihnen noch eine schöne Woche.
Bis nächste Woche